💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

Das Paper stellt LatSearch vor, einen effizienten Suchalgorithmus für Video-Diffusionsmodelle, der durch latente Belohnungsmodelle und eine Strategie aus belohnungsgesteuertes Resampling und Beschneiden (RGRP) die Inferenzzeit-Skalierung ermöglicht, um die Qualität, Kontrolle und Effizienz der Videogenerierung zu steigern.

Ursprüngliche Autoren: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Veröffentlicht 2026-03-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Regisseur, der einen Film mit Hilfe einer künstlichen Intelligenz (KI) dreht. Die KI ist wie ein sehr talentierter, aber manchmal etwas chaotischer Schauspieler. Wenn Sie ihr einen Drehbuch-Prompt geben (z. B. „Ein Schmetterling, dessen Flügel von weiß zu gelb wechseln"), beginnt sie zu improvisieren.

Das Problem bei herkömmlichen Methoden ist, dass die KI erst am Ende des Films schaut, ob der Schauspieler gut war. Wenn der Film fertig ist und der Schauspieler am Anfang einen Fehler gemacht hat (z. B. die falsche Farbe gewählt hat), ist es zu spät. Der ganze Film ist verdorben. Man müsste den ganzen Film neu drehen, was extrem lange dauert und viel Energie kostet.

Die Forscher aus diesem Papier haben eine clevere Lösung namens LatSearch entwickelt. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Goldene Rauschen"-Mythos

Bisher haben andere Forscher versucht, den Anfang des Films zu perfektionieren. Sie haben gedacht: „Wenn wir nur den ersten Rausch-Start (das 'Rauschen') perfekt wählen, wird der ganze Film toll."

Die Analogie: Das ist wie der Versuch, einen perfekten Kuchen zu backen, indem man nur die Zutaten mischt, aber den Ofen ignoriert. Wenn der Ofen dann zu heiß wird oder der Teig sich falsch verhält, nützt die perfekte Mischung nichts.
Der Nachteil: Diese Methoden sind entweder zu starr oder sie müssen den ganzen Film fertigstellen, um zu sehen, ob er gut ist. Das kostet viel Zeit und Rechenleistung.

2. Die Lösung: LatSearch – Der „Live-Regisseur"

LatSearch ändert die Strategie komplett. Anstatt nur auf das Ende zu warten, schaut der Regisseur während des gesamten Drehs zu.

Stellen Sie sich vor, die KI dreht nicht nur einen Film, sondern sechs verschiedene Versionen gleichzeitig (wie sechs parallele Sets).

Der Live-Check: In regelmäßigen Abständen (z. B. nach 10, 15 und 20 Sekunden des Drehs) hält der Regisseur an und fragt einen Experten (das Latente Belohnungsmodell): „Wie sieht es auf Set 1 aus? Wie ist die Bewegung auf Set 3?"
Das Belohnungs-System: Dieser Experten-Check ist genial, weil er nicht den fertigen Film ansieht (was teuer wäre), sondern nur den rohen Entwurf (die „Latente"). Das ist wie wenn ein Regisseur nur auf die Skizze der Kulisse schaut, um zu wissen, ob die Szene funktioniert, anstatt den ganzen Film zu schneiden.

3. Die Magie: „Resampling" und „Beschneiden" (RGRP)

Hier kommt der zweite Teil der Lösung ins Spiel, der die Effizienz steigert:

Resampling (Neu-Auswahl): Wenn Set 3 gerade toll aussieht, aber Set 5 chaotisch ist, gibt LatSearch nicht einfach Set 5 ab. Stattdessen nutzt es eine Art „Glücksrad". Es gibt Set 3 eine höhere Chance, weitergedreht zu werden, aber es wirft Set 5 nicht sofort komplett weg. Es versucht, das Beste aus beiden Welten zu machen.
Beschneiden (Pruning): Am Ende des Drehs (bevor der Film fertig ist) schaut sich der Regisseur an, welche der sechs Sets über die gesamte Zeit hinweg die besten Bewertungen bekommen haben. Er behält nur das eine beste Set und löscht alle anderen.
Der Vorteil: Da er die schlechten Sets schon früh aussortiert hat, muss er nicht den ganzen Film für alle sechs Sets fertig drehen. Er spart sich die Arbeit für die schlechten Versionen.

4. Das Ergebnis: Schneller und Besser

Dank dieser Methode passiert Folgendes:

Qualität: Der Film ist besser, weil Fehler früh erkannt und korrigiert werden.
Geschwindigkeit: Es ist bis zu 79 % schneller als die besten bisherigen Methoden. Warum? Weil die KI nicht den ganzen Film für schlechte Ideen fertigstellen muss. Sie schneidet die schlechten Pfade früh ab.
Kosten: Es wird weniger Rechenleistung verschwendet, da keine fertigen Videos für den Vergleich entschlüsselt werden müssen.

Zusammenfassung in einem Satz

LatSearch ist wie ein Regisseur, der während des Drehs in Echtzeit prüft, welche Kameraaufnahmen gut laufen, die schlechten sofort verwirft und nur die besten weiterdreht – statt fünf ganze Filme zu drehen, um am Ende einen einzigen guten zu finden.

Das Ergebnis: Bessere Videos, weniger Wartezeit und weniger Stromverbrauch. Ein Gewinn für alle, die KI-Videos erstellen wollen!

1. Problemstellung

Die Arbeit adressiert die Herausforderungen der Inferenzzeit-Skalierung (Inference-Time Scaling) bei Video-Diffusionsmodellen. Während große Sprachmodelle (LLMs) durch Suchalgorithmen während der Inferenz (z. B. Best-of-N, Beam Search) erheblich verbessert werden können, stoßen Video-Generierungsmodelle an Grenzen:

Fehlende Zwischenbewertung: Bestehende Methoden zur Optimierung des Start-Rauschens („Golden Noise") oder Suchverfahren bewerten die Qualität oft erst am Ende des Generierungsprozesses (nach dem vollständigen Decodieren zum Video).
Verzögerte Signale & Fehlerakkumulation: Da keine Bewertung der latenten Zwischenzustände erfolgt, können Fehler, die früh im Denoisings-Prozess auftreten, nicht korrigiert werden und akkumulieren sich über den langen Pfad.
Hoher Rechenaufwand: Methoden, die auf der Bewertung fertiger Videos basieren (z. B. durch Decodieren mehrerer Kandidaten), verursachen enorme Rechenkosten, was den Einsatz leistungsfähigerer Suchalgorithmen verhindert.
Mangel an Zwischensupervision: Es fehlt an einem Mechanismus, der während des Denoisings Feedback zu visueller Qualität, Bewegungsqualität und Textausrichtung liefert, um die Suche effizient zu steuern.

2. Methodik: LatSearch

Die Autoren schlagen LatSearch vor, ein neues Framework, das eine Latent Reward-Guided Search (Suche mit latenter Belohnungssteuerung) implementiert. Der Ansatz besteht aus zwei Hauptkomponenten:

A. Latent Reward Model (Latentes Belohnungsmodell)

Anstatt fertige Videos zu bewerten, bewertet dieses Modell teilweise denoisierte Latente ( $z_t$ ) zu beliebigen Zeitpunkten $t$ im Diffusionsprozess.

Architektur: Das Modell nutzt einen Transformer-basierten Backbone (basierend auf Qwen2-VL), der Latent-Tokens, Zeitstempel-Embeddings und Text-Prompts verarbeitet. Spezielle Query-Tokens ([VQ], [MQ], [TA]) fragen die Scores für Visual Quality (Visuelle Qualität), Motion Quality (Bewegungsqualität) und Text Alignment (Textausrichtung) ab.
Training & Credit Assignment: Da keine Ground-Truth-Belohnungen für latente Zustände existieren, wird ein ähnlichkeitsbasiertes Credit-Assignment verwendet. Die Belohnung des finalen, sauberen Videos wird proportional zur kosinusbasierten Ähnlichkeit ( $s_t$ ) zwischen dem aktuellen latenten Zustand $z_t$ und dem finalen Zustand $z_0$ auf die Zwischenzustände verteilt.
Verlustfunktion: Das Modell wird mit einer Kombination aus Regressionsverlust (für absolute Scores) und Präferenzverlust (Pairwise Ranking, inspiriert von RLHF) trainiert, um die relative Reihenfolge von Kandidaten besser zu lernen.

B. Reward-Guided Resampling and Pruning (RGRP)

LatSearch nutzt das Belohnungsmodell, um während der Inferenz eine Menge von $N$ Kandidaten-Pfaden zu verwalten:

Kandidatengenerierung: Zu Beginn werden mehrere Pfade durch leichte Störungen des Basis-Rauschens initialisiert.
Resampling (Neusampling): An vordefinierten Zeitpunkten werden die Kandidaten vom Latent Reward Model bewertet. Anstatt den besten Kandidaten deterministisch zu wählen, werden Kandidaten basierend auf reward-normalisierten Wahrscheinlichkeiten (Importance Sampling) neu gesampelt. Dies fördert die Exploration und verhindert eine zu starke Abhängigkeit von einem möglicherweise unvollkommenen Reward-Modell. Ein „Uniqueness"-Mechanismus entfernt Duplikate, um Rechenzeit zu sparen.
Pruning (Beschneiden): Am Ende des geplanten Suchzeitraums wird der Kandidat mit der höchsten kumulativen Belohnung über alle Zeitpunkte hinweg ausgewählt. Alle anderen Pfade werden verworfen, und nur dieser eine Pfad wird bis zum Ende denoisiert und decodiert.

3. Wichtige Beiträge

Latentes Reward-Modell: Einführung eines Modells, das Zwischenzustände (Latents) direkt bewertet, was eine feinkörnige Steuerung des Generierungsprozesses ermöglicht, ohne das teure Decodieren in den Videoraum.
Effiziente Suchstrategie (RGRP): Entwicklung eines Algorithmus, der probabilistisches Resampling mit kumulativem Pruning kombiniert, um Exploration und Exploitation zu balancieren und Rechenressourcen effizient zu nutzen.
Skalierbarkeit: Der Ansatz ist modellagnostisch und funktioniert auf verschiedenen Backbones (getestet auf Wan2.1-1.3B und 14B).

4. Ergebnisse

Die Evaluation erfolgte auf dem VBench-2.0 Benchmark, der Videoqualität in fünf Dimensionen misst (Kreativität, Common Sense, Kontrollierbarkeit, Menschliche Treue, Physik).

Qualitätssteigerung: LatSearch verbessert die durchschnittliche VBench-2.0-Score im Vergleich zum Baseline-Modell (Wan2.1) um +1,94 Punkte (auf 53,84) und erreicht bei Verwendung des DPM-Solvers sogar +3,35 Punkte.
Vergleich mit State-of-the-Art:
- Gegenüber EvoSearch (evolutionäre Suche): LatSearch erreicht eine vergleichbare oder leicht bessere Qualität, ist aber 4,77-mal schneller.
- Gegenüber VideoReward (Best-of-N mit Decodierung): LatSearch ist deutlich effizienter.
- Gegenüber FreeInit/FreqPrior: LatSearch übertrifft diese Methoden signifikant in der Gesamtqualität.
Effizienz: LatSearch reduziert die Laufzeit im Vergleich zu Suchmethoden, die auf vollständiger Decodierung basieren, um bis zu 79%. Die Decoder-Zeit bleibt fast identisch zur Basislinie, da nur ein Pfad decodiert wird. Die zusätzliche Kosten für das Latent-Reward-Evaluation sind minimal (ca. 1 Sekunde pro Inferenz).
Human Preference: In einer menschlichen Bewertung bevorzugten Teilnehmer LatSearch-Videos in 75,32% der Fälle (insbesondere bei Bewegungsqualität und Textausrichtung).

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die Skalierung der Inferenzzeit bei Video-Diffusionsmodellen nicht durch bloßes Erhöhen der Denoising-Schritte oder durch teure Endbewertung erreicht werden muss. Stattdessen ermöglicht die Zwischenbewertung im latenten Raum eine effiziente, qualitätssteigernde Suche.

Paradigmenwechsel: Der Übergang von „End-of-Process"-Bewertung zu „Process-Level"-Supervision ist ein entscheidender Schritt für effizientes Video-Generieren.
Zukunft: Die Autoren sehen Potenzial in der Weiterentwicklung von temporalen Ähnlichkeitsschätzern und der Erweiterung auf Audio-Video-Generierung oder Videobearbeitung.

Zusammenfassend bietet LatSearch einen robusten Weg, um die Kontrolle über die Videoqualität zu erhöhen und gleichzeitig die Rechenkosten für hochwertige Generierung drastisch zu senken.