💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

Het artikel introduceert LatSearch, een nieuwe methode die een latente beloningsmodel gebruikt om tijdens het denoising-traject van videodiffusiemodellen efficiënter te zoeken en te hersamplen, waardoor de inferentie-schaalbaarheid en de kwaliteit van gegenereerde video's aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

LatSearch: De Slimme Zoektocht voor Beter Videomaken

Stel je voor dat je een kunstenaar bent die een film wil maken, maar je hebt geen camera, alleen een magische doos (een AI-model) die beelden uit het niets kan toveren. Je geeft de doos een opdracht: "Maak een vlinder die van wit naar geel verandert."

Deze magische doos werkt door te "ontdooien". Het begint met een doos vol statische ruis (zoals een tv zonder signaal) en haalt er beetje bij beetje het beeld uit, net zoals een beeldhouwer die een blok marmer langzaam wegbeitelt tot een standbeeld overblijft.

Het Probleem: De Gok met het Begin
Vroeger dachten wetenschappers: "Als we maar het perfecte 'ruis-blok' aan het begin vinden, komt het eindresultaat vanzelf goed." Ze probeerden dus te gokken op het allerbegin. Maar dit had twee grote nadelen:

Te laat feedback: Je merkt pas aan het einde van de film of het goed gelukt is. Als het mislukt, heb je al uren rekenkracht verspild.
Te duur: Om de beste optie te vinden, maakten ze duizenden versies en keken ze pas aan het eind welke het beste was. Dat is alsof je 100 cakes bakt, ze allemaal opeet om te proeven, en dan pas besluit welke je had moeten maken.

De Oplossing: LatSearch (De Slimme Zoektocht)
De auteurs van dit papier, LatSearch, hebben een nieuwe manier bedacht. Ze vergelijken het proces met het zoeken naar de beste route in een groot, donker bos.

In plaats van één pad te volgen en hopen dat je de uitgang vindt, of 100 paden te lopen en pas aan het einde te kijken welke het kortst was, doet LatSearch het anders:

De Tussentijdse Checkpoint (De "Magische Lens"):
LatSearch heeft een slimme assistent (het Latent Reward Model). Deze assistent kan kijken naar het beeld terwijl het nog in de ruwe, onduidelijke fase zit (in de "latente ruimte"). Hij hoeft niet te wachten tot de film klaar is.
- Analogie: Stel je voor dat je een schilderij maakt. Normaal wacht je tot het schilderij droog is om te zien of het mooi is. De assistent van LatSearch kan echter al kijken naar de ruwe schetsen en zeggen: "Hé, die lijn ziet er beloftevol uit, maar die andere lijn loopt vast in de war."
De Slimme Verdeling (Resampling):
De AI maakt niet één versie, maar een hele groepje kandidaat-versies (bijvoorbeeld 6). Tussentijds kijkt de assistent naar deze groep.
- Hij zegt: "Deze drie versies zien er veelbelovend uit, die twee zijn wat raar, en die ene is echt een mislukking."
- In plaats van de slechte eruit te gooien en alleen de beste te houden, maakt hij nieuwe versies die lijken op de goede kandidaten. Het is alsof je in een spelletje "Hot or Cold" speelt: als je warm bent, ga je in die richting doorzoeken, maar je probeert ook een paar nieuwe hoekjes om zeker te zijn dat je de beste plek niet mist.
De Grote Knip (Pruning):
Aan het einde van het proces, als de video bijna klaar is, houdt hij slechts de allerbeste kandidaat over. Omdat hij al tussentijds de slechte paden heeft opgespoord en gecorrigeerd, hoeft hij niet meer te rekenen aan versies die al vastliepen.

Waarom is dit geweldig?

Sneller: Omdat de AI niet meer hoeft te wachten tot het eind om te zien of het mislukt is, en omdat hij niet 100 volledige films hoeft te maken om de beste te kiezen, gaat het veel sneller. De paper zegt dat het tot 79% sneller is dan de beste bestaande methoden.
Beter: De video's zijn niet alleen sneller gemaakt, maar ook mooier. De bewegingen zijn natuurlijker, de tekst wordt beter gevolgd en de beelden zijn scherper.
Efficiënt: Het is alsof je een chef-kok bent die 100 soepen probeert. De oude methode was: maak 100 soepen, proef ze allemaal, en gooi er 99 weg. LatSearch is: maak 6 soepen, proef ze halverwege, voeg aan de goede wat extra kruiden toe, en gooi de slechte er direct uit. Je hebt minder ingrediënten nodig en je krijgt een betere soep.

Samenvattend:
LatSearch is een slimme manier om AI-video's te maken. Het laat de computer niet blindelings hopen op een goed begin, maar laat hem tijdens het maken constant controleren of het goed gaat. Hierdoor maakt hij prachtige video's in een fractie van de tijd die daarvoor nodig was. Het is de overgang van "gokken en hopen" naar "slim plannen en corrigeren".

Probleemstelling

De recente successen van inference-time scaling (het verhogen van de rekentijd tijdens het generatieproces) in grote taalmodellen (LLMs) hebben inspiratie opgeleverd voor video-diffusiemodellen. Bestaande methoden om de kwaliteit van gegenereerde video's te verbeteren, lopen echter op twee belangrijke beperkingen vast:

Afhankelijkheid van initiële ruis: Veel methoden proberen de "golden noise" (de beste initiële ruis) te vinden of te optimaliseren. Zodra het denoising-traject begint, ontbreekt er echter mechanismen om tussentijdse fouten te detecteren of te corrigeren. Fouten die in het begin worden geïntroduceerd, hopen zich op door het lange traject heen.
Vertraging en hoge kosten van beloningssignalen: Bestaande zoekmethoden (zoals Best-of-N of evolutionaire algoritmen) evalueren pas aan het einde van het proces, wanneer de video volledig is gedecodeerd. Dit leidt tot:
- Vertraging (Reward Delay): Het feedbacksignaal komt te laat om de generatie te sturen.
- Hoge rekentijd: Het decoderen van meerdere volledige video's voor evaluatie is extreem rekenintensief, wat het gebruik van krachtige zoekalgoritmen onpraktisch maakt.

Het doel is dus een methode te vinden die tussentijdse feedback biedt zonder de zware kosten van het decoderen van volledige video's.

Methodologie: LatSearch

De auteurs stellen LatSearch voor, een nieuwe methode voor inference-time scaling die gebruikmaakt van Latente Beloningsgeleiding (Latent Reward Guidance). In plaats van te wachten op het eindresultaat, evalueert het systeem tussentijdse toestanden (latents) direct in de latente ruimte.

De kerncomponenten zijn:

1. Latent Reward Model (LRM)

Dit is een model dat kwaliteitsscores toekent aan gedeeltelijk gedenoiste latents op willekeurige tijdstippen ( $t$ ), zonder deze eerst naar videoruimte te decoderen.

Invoer: Een latent tensor ( $z_t$ ), de tekst-prompt ( $p$ ) en de tijdstap ( $t$ ).
Uitvoer: Scores voor drie dimensies: Visuele Kwaliteit (VQ), Bewegingskwaliteit (MQ) en Tekst-uitlijning (TA).
Training: Omdat er geen directe "ground truth" bestaat voor tussentijdse latents, gebruiken de auteurs een similarity-grounded credit assignment. Ze meten de cosinussimilariteit tussen een tussentijdse latent ( $z_t$ ) en de uiteindelijke schone latent ( $z_0$ ). De video-level beloning (verkregen via externe verifiers op de finale video) wordt vervolgens evenredig toegewezen aan de tussentijdse latents op basis van deze similariteit.
Verliesfunctie: Het model wordt getraind met een combinatie van regressieverlies (voor absolute scores) en preferentieverlies (RLHF-geïnspireerd, om de relatieve rangorde tussen kandidaten te verbeteren).

2. Reward-Guided Resampling and Pruning (RGRP)

Op basis van het LRM voert LatSearch een zoektocht uit over meerdere kandidaat-trajecten tijdens het denoising-proces:

Candidate Generation: Er worden meerdere kandidaten gegenereerd door de initiële ruis te verstoren.
Resampling (Verrijking): Op specifieke tijdstippen worden de kandidaten gescoord door het LRM. In plaats van deterministisch de beste te kiezen, worden kandidaten probabilistisch herhaald (resampled) op basis van hun genormaliseerde beloningswaarde. Dit voorkomt over-reliance op het beloningsmodel en behoudt diversiteit.
Uniqueness Pruning: Dubbele kandidaten (dezelfde zaad/seed) worden verwijderd om rekenkracht te besparen.
Final Pruning: Aan het einde van het schema wordt alleen de kandidaat behouden met de hoogste cumulatieve beloning over het hele traject. Deze wordt vervolgens gedecodeerd tot de finale video.

Belangrijkste Bijdragen

Tussentijdse Evaluatie in Latente Ruimte: De eerste methode die een beloningsmodel toepast op gedeeltelijk gedenoiste latents op willekeurige tijdstippen, waardoor procesniveau-supervisie mogelijk wordt voor visuele kwaliteit, beweging en tekstuitlijning.
Efficiënte Zoekstrategie (RGRP): Een nieuwe zoekalgoritme dat probabilistisch resampling en cumulatieve beloning combineert om de zoekruimte efficiënt te verkennen zonder de kosten van volledige video-decodering.
Modelonafhankelijkheid: De methode werkt als een wrapper rond bestaande video-generatiemodellen (zoals Wan2.1) en is niet afhankelijk van specifieke architectuurdetails.

Resultaten

De methode is geëvalueerd op de VBench-2.0 benchmark, een uitgebreide set met metingen voor creativiteit, gezond verstand, controleerbaarheid, menselijke getrouwheid en fysica.

Kwaliteitsverbetering: LatSearch verbetert de video-kwaliteit consistent ten opzichte van de baseline (Wan2.1-1.3B). De beste configuratie bereikte een stijging van +3,35% in de gemiddelde VBench-score.
Efficiëntie:
- LatSearch is 4,77x sneller dan de state-of-the-art zoekmethode EvoSearch bij het bereiken van vergelijkbare kwaliteit.
- Het reduceert de runtime met maximaal 79% ten opzichte van andere geavanceerde zoekmethoden.
- De decoder-tijd blijft bijna gelijk aan de baseline (omdat er maar één video wordt gedecodeerd), terwijl de meeste extra rekentijd in de efficiënte latente ruimte plaatsvindt.
Schalbaarheid: De methode werkt even goed op grotere modellen (Wan2.1-14B), wat aantoont dat het schaalbaar is voor krachtigere backbones.

Betekenis en Impact

LatSearch oplost een fundamenteel probleem in video-generatie: het gebrek aan bruikbare feedback tijdens het generatieproces. Door de evaluatie te verplaatsen van de dure videoruimte naar de goedkope latente ruimte, maakt het krachtige zoekalgoritmen (zoals Monte Carlo Search) praktisch toepasbaar voor video-diffusie.

Dit leidt tot:

Hogere kwaliteit: Minder artefacten, betere beweging en nauwkeurigere tekstuitlijning.
Betere controle: De mogelijkheid om vroeg in het proces slechte trajecten te verwijderen.
Duurzaamheid: Een aanzienlijke reductie in rekentijd en energiegebruik vergeleken met bestaande "brute-force" zoekmethoden.

Kortom, LatSearch biedt een nieuwe route voor schaalbare en efficiënte video-generatie door de principes van inference-time scaling te combineren met tussentijdse latente evaluatie.