🤖 machine learning

HorizonRelight: Relighting Long-horizon Videos Consistently via Diffusion Transformers

Oorspronkelijke auteurs: Jing Yang, Mayoore Jaiswal, Zian Wang, Steven Zeng, Rochelle Pereira, Yajie Zhao, Jianyuan Min

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

Oorspronkelijke auteurs: Jing Yang, Mayoore Jaiswal, Zian Wang, Steven Zeng, Rochelle Pereira, Yajie Zhao, Jianyuan Min

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een thuemvideo hebt van een familie diner en je wilt de verlichting veranderen van een warme, gezellige zonsondergang naar een koel, sfeervol blauw maanlicht. Je wilt dat de hele video eruitziet alsof deze onder dat nieuwe licht is gefilmd, zonder dat de personages gaan flikkeren of de kamer plotseling van vorm verandert.

Dit is het probleem dat HorizonRelight oplost.

Hier is de eenvoudige uitleg van hoe het werkt, met behulp van alledaagse analogieën:

Het Probleem: De "Puzzelstukjes"-fout

Huidige video-AI-tools zijn als kunstenaars die alleen op kleine plaknotities van 5 seconden kunnen schilderen. Als je ze een video van 2 minuten geeft, hakken ze deze op in stukjes van 5 seconden, schilderen elk stukje, en plakken ze daarna weer aan elkaar.

Het Probleat: Omdat de kunstenaar elk plaknotitie onafhankelijk van elkaar schildert, kan het einde van de ene notitie er net iets anders uitzien dan het begin van de volgende. Wanneer je ze aan elkaar plakt, zie je een "naad" of een fout waarbij de verlichting verspringt of het object gaat flikkeren.
De term uit het artikel: Dit wordt "temporale discontinuïteit bij chunk-grenzen" genoemd.

De Oplossing: De "Verbandenband"-aanpak

HorizonRelight verandert de workflow. In plaats van 5-seconden plaknotities in isolatie te schilderen, behandelt het de video als een verbrandenband.

De "Warm-Start" (De eerste stap):
Voordat de lopende band begint te bewegen, neemt het systeem een enkele "startafbeelding" (gegenereerd door een slimme AI zoals ChatGPT of een gespecialiseerde tool) die precies laat zien hoe de scène eruit zou moeten zien onder het nieuwe licht. Denk hierbij aan het plaatsen van de eerste dominosteen. Het vertelt de AI: "Begin hier, en behoud deze look."
"Het Stokje Doorgeven" (Chained Propagation):
Dit is de magische truc. Wanneer de AI klaar is met het schilderen van het eerste 5-seconden chunk, stopt het niet zomaar. Het neemt de laatste paar frames van dat chunk en geeft ze door aan de AI die werkt aan het volgende chunk.

Analogie: Stel je een estafette voor. De hardloper (het video-chunk) loopt niet alleen zijn eigen race; hij geeft het stokje (de visuele staat) door aan de volgende hardloper. De volgende hardloper start precies waar de vorige is geëindigd, waardoor de verlichting en schaduwen vloeiend doorlopen zonder sprongen.

De "Trainingsgym" (Masked Self-Conditioning):
Om de AI te leren hoe ze deze estafette perfect moet uitvoeren, hebben de onderzoekers haar op een speciale manier getraind. Tijdens de training zouden ze delen van de video verbergen (maskeren) en de AI vragen om te raden wat er volgt op basis van alleen de frames die ze net heeft gezien.

Analogie: Het is als een leraar die een student de eerste helft van een zin laat zien en vraagt om de zin af te maken. Door dit keer op keer te oefenen, leert de AI om het verhaal natuurlijk te "vervolgen" in plaats van elke keer opnieuw te beginnen.

Wat dit bereikt

Geen Flikkeringen Meer: Omdat de AI zich constant de eind van het vorige chunk "herinnert", blijft de verlichting consistent. Je zult niet zien dat de grijze bal in de video plotseling van kleur verandigt wanneer de video overgaat naar het volgende 5-seconden segment.
Lange Video's: Dit stelt het systeem in staat om lange video's aan te kunnen (zoals een hele filmscène of een lange reisvlog) zonder dat de kwaliteit verslechtert of de verlichting halverwege vreemd wordt.
Stijloverdracht: Het artikel merkt op dat deze "startafbeelding"-truc ook gebruikt kan worden om de stijl van de video te veranderen (bijvoorbeeld een echte video veranderen in een cartoon), terwijl de verlichting consistent blijft, en niet alleen om de lichtbron te veranderen.

Het Nadeel (Beperkingen)

Het artikel is eerlijk over een beperking: als je de video extreem lang maakt (veel langer dan een typische filmscène, bijvoorbeeld meer dan 300 frames), kunnen de fijne details (zoals de textuur van een shirt of de scherpte van een gezicht) een beetje wazig worden. De verlichting blijft perfect, maar de "scherpte" vervaagt enigszins naarmate je verder op de lopende band komt.

Samenvatting

HorizonRelight is een nieuwe manier om de verlichting in lange video's te veranderen. In plaats van de video te behandelen als een stapel losse, onverbonden clips, behandelt het de video als één continue stroom waarbij het einde van de ene clip helpt bij het schilderen van het begin van de volgende. Dit zorgt ervoor dat de nieuwe verlichting van begin tot eind natuurlijk en stabiel oogt.

Technische Samenvatting: HorizonRelight

Probleemstelling

Moderne video-relighting, wat controleerbare lichtbewerkingen mogelijk maakt vanuit een enkele invoervideo, leunt zwaar op video-diffusiemodellen. De huidige state-of-the-art backbones (bijv. DiffusionRenderer, UniRelight) worden echter getraind op korte, vastlengte clips vanwege de hoge geheugenkosten van spatiotemporele zelf-aandacht in Diffusion Transformers (DiT). Om langdurige video's te verwerken, maken deze systemen gebruik van een "chunked sliding-window" inferentiestrategie.

Het artikel identificeert een kritieke foutmodus in dit regime: temporele discontinuïteiten bij chunk-grenzen. Omdat elke chunk grotendeels onafhankelijk wordt verwerkt, moet het model voor elke windowverschuiving de latente oorzaken (zoals intrinsieke scène-attributen en verschijningskenmerken) opnieuw afleiden. Dit creëert een mismatch tussen training en test, waarbij het model is getraind op korte clips maar wordt ingezet op lange sequenties, wat leidt tot zichtbaar flikkeren, verschijningsdrift en inconsistente verlichting over chunk-grenzen heen. Zoals in het artikel wordt aangetoond, produceren zelfs identieke doelverlichting onafhankelijke chunk-runs zichtbaar verschillende resultaten, wat de langdurige consistentie doorbreekt.

Methodologie

HorizonRelight herformuleert langdurige relighting niet als een reeks onafhankelijke korte clip-generaties, maar als een temporeel geconditioneerd latent domeintranslatieprobleem. Het framework introduceert twee kernmechanismen om cross-chunk continuïteit af te dwingen:

1. Gepropageerde Context via Masked Target-Domain Self-Conditioning

De auteurs stellen een trainings- en inferentiestrategie voor waarbij het model leert om een gerelateerde sequentie voort te zetten op basis van gedeeltelijk bewijs, in plaats van vanaf nul te beginnen.

Training: Het model wordt getraind met masked target-domain self-conditioning. Tijdens de training wordt een subset van de target-domein latente frames (de "gerelichte" output) gemaskeerd. Het model wordt geconditioneerd op de bronvideo (input) en het niet-gemaskeerde deel van het target-domein, waarbij het leert de ontbrekende frames te voorspellen. Dit leert het model om een sequentie voort te zetten op basis van partiële temporele context.
Inference (Chained Generation): Bij de inferentie verwerkt het model video-chunks sequentieel. Voor chunk $k$ worden de eindlatente frames van de voorspelling van chunk $k-1$ gepropageerd en gebruikt als het "geobserveerde" anker voor het begin van chunk $k$ . Dit ketent de generatie effectief, waardoor wordt gewaarborgd dat de gerelichte staat wordt voortgezet in plaats van opnieuw te worden afgeleid, wat de grenzen tussen chunks minimaliseert.

2. Warm-Start Prompting

Om de keten te initialiseren voor de allereerste chunk (waarvoor geen voorafgaande gepropageerde context bestaat), introduceren de auteurs warm-start prompting.

In plaats van een "cold start" (willekeurige ruis of puur bron-geconditioneerde generatie), wordt de eerste chunk geïnitialiseerd met een relit prompt anchor.
Deze anchor kan een enkele afbeelding of een korte video zijn die is gegenereerd door een extern controleerbaar generatief model (bijv. Nano Banana Pro, ChatGPT) die de invoerscène weergeeft onder de doelverlichting.
Deze anchor vestigt de initiële target-domein staat (verschijning en verlichting) voor de gehele sequentie. Het framework ondersteunt flexibele initialisatiemodi, inclusief beeldgebaseerde, video-gebaseerde of cold-start, waarbij beeldgebaseerde prompting met een goed uitgelijnde anchor de meest stabiele resultaten oplevert.

Architectuur

Het systeem volgt een tweestaps-pipeline aangepast van DiffusionRenderer:

Inverse Stage: Voorspelt aanpasbare scène-attributen (G-buffers: basecolor, normal, depth, roughness, metallic) vanuit de invoervideo.
Forward Stage: Synthetiseert de gerelichte RGB-video, geconditioneerd op de voorspelde G-buffers en de doelverlichtingsconditie (HDRI).
Beide stadia maken gebruik van de voorgestelde masked self-conditioning en context-propagatie. De forward stage gebruikt specif specifiek de gepropageerde gerelichte latent van de vorige chunk om de generatie van de huidige chunk te conditioneren.

Belangrijkste Bijdragen

Herformulering van Langdurige Relighting: Het artikel verschuift het paradigma van onafhankelijke chunk-verwerking naar een geketend, temporeel geconditioneerd latent translatieproces.
Masked Target-Domain Self-Conditioning: Een nieuwe trainingsdoelstelling die het model in staat stelt om de relighting voort te zetten op basis van gedeeltelijke gepropageerde context, wat de train-test mismatch in sliding-window inferentie direct aanpakt.
Warm-Start Prompting: Een principiële initialisatiemethode met behulp van externe generatieve modellen om de target-domein staat in te stellen, wat een algemene interface biedt voor prompt-gebaseerde relighting en stijltransfer.
Verenigd Framework: De aanpak ondersteunt zowel inverse decompositie (G-buffer voorspelling) als forward relighting met consistente temporele propagatie over beide stadia.

Resultaten

De auteurs evalueren HorizonRelight op zowel synthetische datasets (procedureel gerenderd uit Objaverse) als in-the-wild YouTube Creative Commons video's.

Temporele Consistentie: Kwalitatieve en kwantitatieve resultaten tonen een aanzienlijke verbetering in temporele consistentie.
- Boundary Artifacts: De methode vermindert grensbewegingen tussen chunks grotendeels. Verschilkaarten tussen aangrenzende chunks laten zien dat veranderingen alleen geconcentreerd zijn rond echte scènedynamiek (beweging), terwijl baselines (DiffusionRenderer, UniRelight) brede, ongewenste verschijningsveranderingen vertonen in statische regio's.
- Kwantitatieve Metrieken: Op een synthetische dataset met een gecontroleerde "duplicate-reverse" opstelling bereikt HorizonRelight aanzienlijk lagere Mean Squared Error (MSE) bij chunk-grenzen vergeleken met baselines. Bijvoorbeeld, in de relighting-taak daalde de boundary MSE van ~0,1048 (DiffusionRenderer) naar ~0,0729 (Ours). Op 100 in-the-wild YouTube clips verminderde de methode de boundary MSE met meer dan 94% vergeleken met UniRelight en DiffusionRenderer.
Generaliteit: Het framework ondersteunt diverse initialisatiemodi (cold start, video prompting, image prompting). Hoewel cold starts haalbaar zijn, verbetert warm-start prompting met een hoogwaardige anchor de preservatie van spectrale details en verlichtingskenmerken aanzienlijk.
Uitgebreide Toepassingen: Het warm-start mechanisme wordt aangetoond langdurige stijltransfer en content-editing te ondersteunen, niet alleen relighting, door een geprompte verschijning door de gehele sequentie te propageren.

Beperkingen en Claims

Het artikel hanteert een bescheiden houding ten aanzien van de beperkingen:

Degradatie van Fijn Detail: Hoewel de relighting-consistentie behouden blijft over lange periodes, merkt het artikel op dat fijne scènedetails geleidelijk degraderen na extreem lange ketens (bijv. na ~300 frames of vijf chunks). Dit wordt toegeschreven aan de geleerde verschijningsprior en beperkingen in de datadekking, in plaats van een falen van het propagatiemechanisme zelf.
Scope: De auteurs verduidelijken dat de methode is ontworpen voor praktische langdurige shots (typische filmshots van 5–25 seconden) en niet voor onbeperkte toekomstige generatie. De keten is bedoeld om bij scèneveranderingen te worden gereset in praktische workflows.
Niet Autoregressieve Generatie: Het artikel onderscheidt de aanpak van autoregressieve videogeneratie. HorizonRelight genereert geen nieuwe content, maar reguleert elke chunk opnieuw met behulp van de bronvideo en G-buffers, waarbij de vorige gerelichte output alleen wordt gebruikt als een kleur-cue bij de grens om de verschijning te stabiliseren.

Betekenis

HorizonRelight pakt een fundamentele bottleneck aan bij het toepassen van video-diffusiemodellen op langdurige taken: de afweging tussen computationele beperkingen (vaste vensters) en temporele consistentie. Door langdurige relighting te behandelen als een domeintranslatieprobleem met geleerde continuatie, maakt het werk de generatie van temporeel consistente, hoogwaardige gerelichte video's mogelijk vanuit enkele inputs, zonder dat de backbone op lange sequenties opnieuw getraind hoeft te worden. De introductie van warm-start prompting overbrugt verder de kloof tussen controleerbare generatieve modellen en video-editing pipelines, wat een flexibele interface biedt voor prompt-gebaseerde visuele effecten.