💻 computer science

Lighting-grounded Video Generation with Renderer-based Agent Reasoning

Dit paper introduceert LiVER, een diffusion-gebaseerd framework dat video's genereert met volledige controle over 3D-scenefactoren zoals lay-out, belichting en camerabeweging door middel van een nieuwe dataset, een renderingsgebaseerde agent en een progressieve trainingsstrategie.

Oorspronkelijke auteurs: Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die een droom wil verfilmen. Je zegt tegen je crew: "Ik wil een scène in een futuristische stad, met zacht zonlicht dat door glazen gebouwen breekt, terwijl de camera langzaam omhoog zweeft."

In de wereld van kunstmatige intelligentie (AI) is dit tot nu toe als proberen een film te maken met een blind team. De AI kon prachtige beelden maken, maar als je specifiek vroeg om hoe het licht viel of waar de camera precies ging, werd het vaak een rommeltje. Het licht leek niet op de schaduwen, en de camera bewoog soms als een dronken vlieg.

De auteurs van dit paper, LiVER, hebben een oplossing bedacht die werkt als een slimme regisseur-assistent die eerst een perfect 3D-model bouwt voordat de film begint.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Regisseur-Assistent" (De Agent)

Stel je voor dat je een tekst geeft aan een zeer slimme assistent. Deze assistent is geen gewone chatbot; het is een 3D-architect.

Wat hij doet: Hij luistert naar je zin ("futuristische stad") en bouwt direct een ruw, driedimensionaal model van die stad. Hij plaatst de gebouwen, bepaalt waar de struiken staan, en kiest een "hemel" (een HDR-omgevingskaart) die precies dat zachte, warme zonlicht heeft dat je wilde.
De analogie: Het is alsof je een schets maakt op papier voordat je gaat schilderen. De assistent zorgt dat alle objecten op de juiste plek staan en dat het licht fysiek correct valt, nog voordat de echte video wordt gemaakt.

2. De "Magische Projectie" (De Renderer-based Scene Proxy)

Normaal gesproken probeert AI te raden hoe licht werkt. LiVER doet het anders. Het gebruikt een 3D-engine (zoals die in videospellen wordt gebruikt) om een "projectie" te maken van het model.

Wat het is: In plaats van één foto, maakt de AI een stapel van drie speciale lagen:
1. Diffuus: De basisvorm en kleur (zoals een muur in het donker).
2. Ruw: Hoe het licht erop valt als het oppervlak ruw is (zoals beton).
3. Glanzend: Hoe het licht reflecteert op gladde oppervlakken (zoals glas of water).
De analogie: Stel je voor dat je een poppenhuis bouwt en het eerst volledig verlicht met een zaklamp. Je kijkt niet alleen naar de poppen, maar ook naar waar de schaduwen vallen en hoe het licht op het glas knalt. Deze "schaduwen en reflecties" worden de blauwdruk voor de AI.

3. De "Schilder" (De Video Generator)

Nu komt de echte AI-schilder (een zogenoemd "diffusiemodel") aan het werk.

Hoe het werkt: De schilders krijgen niet alleen je tekst, maar ook die blauwdruk met schaduwen en lichtsporen van stap 2.
Het resultaat: Omdat de schilders precies weten hoe het licht moet vallen, kunnen ze een video maken die eruitziet als een echte film. De schaduwen bewegen mee met de zon, en glas reflecteert de omgeving op een manier die echt voelt.

Waarom is dit zo speciaal?

Vroeger was het alsof je een schilderij maakte door blind te gissen waar de zon stond. LiVER geeft de AI een fysieke wet als leidraad.

Controle: Je kunt later nog steeds de "zon" verplaatsen in het 3D-model, en de AI past de video direct aan. De schaduwen verschuiven, de reflecties veranderen, maar de gebouwen blijven staan.
Consistentie: De camera beweegt soepel, net zoals een echte cameraman dat zou doen, omdat de AI de "route" van de camera al in het 3D-model heeft gepland.

De "Receptenboek" (De Dataset)

Om deze assistent en schilder te trainen, hebben de onderzoekers een enorm boek met recepten gemaakt genaamd LiVERSet.

Het bevat duizenden video's van echte locaties (waar ze met speciale technieken de lichtbronnen hebben gemeten).
En duizenden video's die ze zelf hebben gegenereerd in een virtuele wereld met allerlei gekke lichteffecten (zoals een zon die razendsnel om een gebouw draait).
Dit zorgt ervoor dat de AI leert hoe licht zich gedraagt in elke situatie, niet alleen in de standaardzonsopgang.

Samenvatting

Kortom: LiVER is een systeem dat eerst een fysiek correct 3D-model bouwt met de juiste lichten en camera, en dit model gebruikt als een stevige ruggengraat om een video te genereren. Het zorgt ervoor dat de AI niet meer "raadt" hoe licht werkt, maar het weet hoe het werkt. Het resultaat zijn video's die eruitzien als echte films, met perfecte schaduwen, reflecties en camera-bewegingen, gewoon op basis van wat je zegt.

Probleemstelling

Hoewel diffusiemodellen aanzienlijke vooruitgang hebben geboekt in het genereren van video, blijft de controleerbaarheid een grote beperking. Bestaande methoden modelleren cruciale scènefactoren zoals lay-out, belichting en cameratrajecten vaak als verweven (entangled) of slechts zwak gemodelleerd. Dit leidt tot:

Moeilijkheden bij het reproduceren van complexe fysieke interacties (bijv. occlusie).
Onrealistische lichteffecten (schaduwen, reflecties, omgevingsocclusie) die niet overeenkomen met de materiaaleigenschappen (zoals huid, metaal of glas).
Gebrek aan expliciete controle, wat essentieel is voor toepassingen zoals filmmaken en virtuele productie.

Bestaande 3D-gestuurde methoden bieden weliswaar een sterke geometrische basis, maar negeren vaak de fysiek nauwkeurige belichting (bijv. het meenemen van BRDF - Bidirectional Reflectance Distribution Function), wat resulteert in inconsistenties in de gegenereerde video's.

Methodologie: LiVER Framework

LiVER (Lighting-grounded Video genERation) is een diffusie-gebaseerd framework dat videogenese conditioneert op expliciete 3D-scène-eigenschappen. Het framework bestaat uit drie hoofdblokken:

1. Renderer-based Agent Reasoning

Om hoog-niveau gebruikersinstructies (tekst) om te zetten in gestructureerde 3D-controlesignalen, wordt een agent-systeem gebruikt:

Scène Bouwen: De agent parsen objectcategorieën en ruimtelijke relaties uit de tekst, bouwt een gestructureerde scènegraf en haalt geschikte 3D-mesh-assets op.
Lichtopstelling: De agent selecteert of genereert een HDR-omgevingskaart (environment map) die past bij de beschreven sfeer (bijv. "warm", "bewolkt").
Camera Planning: Op basis van cinematografische hints (bijv. "orbit", "dolly zoom") genereert de agent een gladde cameratraject.
Proxy Rendering: In plaats van volledige 3D-representaties direct te gebruiken, worden deze parameters door een fysiek gebaseerde renderer (Blender) omgezet in een 2D Scene Proxy. Deze proxy bestaat uit een stapel van render-passes:
- Diffuse: Voor omgevingslicht.
- Rough GGX: Voor brede reflecties.
- Glossy GGX: Voor spiegelende highlights.
  Dit behoudt fysiek realistische lichtinformatie terwijl het de scène lay-out behoudt.

2. Lighting-grounded Video Genese

Het model bouwt voort op een pre-getrainde video-diffusiemodel (Wan2.2-5B) en introduceert twee nieuwe modules om de proxy te integreren:

Proxy Encoder: Een lichtgewicht 2D-convolutie-netwerk dat de stapel render-passes (9 kanalen: 3 voor RGB in 3 passes) omzet in compacte feature-voorstellingen.
Adapter: Deze module injecteert de gecodeerde proxy-features direct in de latente ruimte van de video. Het leert een ruimtelijk residu dat wordt opgeteld bij de video-latente code ( $z' = z + \alpha \cdot z_y$ ), waarbij $\alpha$ initieel op nul staat om de training te stabiliseren.

3. Drie-staps Trainingsstrategie

Om de controle te leren zonder de generatieve kwaliteit van het basismodel te beschadigen, wordt een gefaseerde aanpak gebruikt:

Conditioning Pathway Training: Alleen de encoder en adapter worden getraind (10 epochs) om de proxy naar ruwe controlesignalen te vertalen.
Joint LoRA Fine-tuning: LoRA-lagen in het basismodel worden ontvriest en samen met de encoder/adapter fijn afgestemd (10 epochs) voor semantische uitlijning.
Lighting Diversity Expansion: Het model wordt getraind op een mix van realistische en synthetische data (1:1) om de diversiteit van lichteffecten te vergroten.

Dataset: LiVERSet

Om het model te trainen en evalueren, hebben de auteurs een nieuwe dataset samengesteld met meer dan 11.000 video's (81 frames, 720x1280):

LiVER-Real: Bestaande real-world video's waarvoor een annotatie-pijplijn is ontwikkeld om 3D-geometrie, HDR-lichtkaarten en camera-posities te reconstrueren (met behulp van VGGT, Grounding-DINO, SAM 2, en DiffusionLight-Turbo).
LiVER-Syn: Synthetische data gegenereerd met Blender en Objaverse-XL assets, voorzien van dynamische HDR-lichtveranderingen (rotatie van de lichtbron) om een breed scala aan fysiek correcte lichtverschijnselen te bieden.

Resultaten

De prestaties van LiVER zijn geëvalueerd tegen state-of-the-art methoden zoals CameraCtrl, MotionCtrl en VideoFrom3D.

Kwaliteit & Realisme: LiVER behaalt de beste scores op FVD (Fréchet Video Distance) en FID, wat aangeeft dat de gegenereerde video's visueel realistischer en dichter bij de echte verdeling liggen dan concurrenten.
Controleerbaarheid:
- Lichtfouten: LiVER toont de laagste fouten in het herwinnen van HDR-lichtkaarten (SI-MSE), wat betekent dat het licht fysiek correct is.
- Cameratraject: Lage fouten in absolute trajectfout (ATE) en rotatie, wat aantoont dat de camera het voorspelde pad nauwkeurig volgt.
- Lay-out: Hoogste mIoU (mean Intersection-over-Union), wat aangeeft dat objecten en hun vormen nauwkeurig behouden blijven.
User Study: In een studie met 25 deelnemers werd LiVER in alle dimensies (Video Kwaliteit, Scène Controle, Camera Controle, Licht Controle) significant vaker verkozen boven de baselines (bijv. 83,4% voor Video Kwaliteit vs. <9% voor concurrenten).

Belangrijkste Bijdragen

Framework: Een nieuw framework voor belichtings-gebaseerde videogenese dat fysiek realistische lichteffecten combineert met precieze controle over lay-out en camera.
Dataset: De introductie van LiVERSet, een grote dataset met dichte annotaties voor zowel real-world als synthetische video's, inclusief HDR-lichtkaarten en 3D-geometrie.
Agent & Proxy: Een renderer-based agent die tekst omzet in een gestructureerde scène, en een "scene proxy" (stapel 2D render-passes) die fysieke lichtinformatie efficiënt communiceert aan het diffusiemodel.
Trainingsschema: Een drie-staps trainingsschema dat zorgt voor stabiele convergentie en het behoud van de visuele kwaliteit van het basismodel terwijl het lichtcontrole leert.

Significantie

LiVER zet een nieuwe standaard voor controleerbare videogenereatie door de kloof te overbruggen tussen generatieve kwaliteit en scène-niveau controle. Door licht, lay-out en camera te ontkoppelen en expliciet te modelleren via fysiek gebaseerde proxies, maakt het framework videoproductie mogelijk die niet alleen visueel overtuigend is, maar ook voldoet aan de eisen van professionele toepassingen zoals virtueel filmmaken. Het biedt gebruikers een flexibele workflow waarbij ze een gegenereerde 3D-proxy kunnen importeren in standaard 3D-software voor verdere bewerking, wat een unieke combinatie is van geautomatiseerde generatie en creatieve vrijheid.