💻 computer science

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation

Proprio ist ein trainingfreies Framework, das die physikalische Plausibilität eingefrorener Videogeneratoren verbessert, indem es deren interne Flussresiduen unter latenten Perturbationen als Selbstbewertungssignal für die Verfeinerung und Auswahl zur Laufzeit nutzt.

Ursprüngliche Autoren: Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen magischen Künstler, der bewegte Bilder (Videos) aus dem Nichts malen kann. Dieser Künstler ist außerordentlich talentiert darin, Dinge schön und realistisch wirken zu lassen. Doch er hat eine blinde Stelle: Er versteht nicht immer, wie die reale Welt funktioniert. Er könnte einen Ball malen, der nach oben schwebt, statt nach unten zu fallen, oder eine Tasse, die zerbricht, bevor sie den Boden erreicht.

Lange Zeit versuchten Menschen, um diese Fehler zu beheben, einen „Physiklehrer" (eine externe KI oder einen Menschen) zu engagieren, der den Künstler beobachtet und sagt: „Nein, das ist falsch." Doch die Arbeit argumentiert, dass dies so ist, als würde man eine andere Person bitten, die Hausaufgaben des Künstlers zu korrigieren. Der Lehrer könnte eigene Vorurteile haben oder dieselbe „Sprache" wie der Künstler nicht sprechen, was zu Missverständnissen führt.

Hier kommt „Proprio" ins Spiel.

Die Autoren schlagen eine neue Methode vor, um dem Künstler zu helfen, seine eigenen Fehler zu beheben, ohne einen Lehrer zu engagieren. Sie nennen diese Methode Proprio, benannt nach dem biologischen Sinn der Propriozeption – der Fähigkeit, zu wissen, wo sich Ihr Arm befindet, ohne ihn anzusehen. Genau wie Sie Ihre eigene Bewegung spüren können, lässt Proprio den Videogenerator „fühlen", was er erschaffen hat, um zu prüfen, ob es Sinn ergibt.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Schütteltest" (Selbstbewertung)

Stellen Sie sich vor, der Künstler hat gerade ein Gemälde fertiggestellt. Anstatt einen Lehrer zu bitten, es anzusehen, gibt der Künstler dem Gemälde einen sanften, kontrollierten Schüttelstoß.

Die Logik: Wenn das Gemälde physikalisch korrekt ist (wie ein fallender Ball), verwirrt ein kleiner Schüttelstoß den Künstler nicht. Die internen Regeln des Künstlers darüber, wie sich Dinge bewegen, bleiben weiterhin gültig.
Der Fehler: Wenn das Gemälde falsch ist (wie ein schwebender Ball), lässt dieser kleine Schüttelstoß die interne Logik des Künstlers ins Wanken geraten. Der Künstler wird verwirrt darüber, wie er das Bild „korrigieren" soll, weil die Regeln der Physik gebrochen sind.
Die Bewertung: Proprio misst diese Verwirrung. Es berechnet eine „Bewertung" basierend darauf, wie sehr der Künstler ins Wanken gerät, wenn das Video leicht gestört wird. Eine niedrige Bewertung bedeutet, dass das Video stabil und physikalisch plausibel ist. Eine hohe Bewertung bedeutet, dass das Video wackelig ist und wahrscheinlich falsch.

2. Der „Scheinwerfer" (Dynamische Maskierung)

Nicht jeder Teil eines Videos muss gleichermaßen überprüft werden. Wenn ein Video eine Person zeigt, die regungslos sitzt, gibt es nichts zu prüfen. Aber wenn ein Auto einen Unfall baut, ist dort die Physik entscheidend.
Proprio verwendet einen dynamischen Scheinwerfer (eine Maske), um sich nur auf die bewegten Teile des Videos zu konzentrieren. Es ignoriert den statischen Hintergrund und zoomt auf die Handlung heran, wobei es fragt: „Macht diese spezifische Bewegung Sinn?" Dies macht den „Schütteltest" viel genauer.

3. Zwei Wege, die Kunst zu verbessern

Sobald der Künstler eine Bewertung hat, bietet Proprio zwei Möglichkeiten zur Verbesserung des Videos:

Die „Best of N"-Suche (Den Gewinner auswählen):
Stellen Sie sich vor, der Künstler malt 16 verschiedene Versionen derselben Szene. Proprio agiert wie ein schneller Richter, der jeder Version eine „Schütteltest"-Bewertung gibt. Anschließend wählt es die mit der niedrigsten Bewertung aus (die am wenigsten verwirrte) und sagt: „Das ist der Gewinner." Es ist, als würde man 16 Mal einen Würfel werfen und den besten Wurf auswählen.
Die „Selbstverfeinerung" (Die Kunst polieren):
Anstatt nur einen Gewinner auszuwählen, kann Proprio das Video tatsächlich anpassen. Es geht ganz zum Anfang zurück – zum „Rauschen" oder den rohen Zutaten, die der Künstler verwendet hat, um das Gemälde zu beginnen. Es passt diese Zutaten leicht an und bittet den Künstler, die Szene neu zu malen, in der Hoffnung, die Verwirrungs-Bewertung zu senken. Es ist wie ein Bildhauer, der ein winziges Stück Stein abschlägt, damit die Statue natürlicher steht, ohne die Werkzeuge oder die Ausbildung des Bildhauers zu ändern.

Warum dies wichtig ist

Die Arbeit zeigt, dass diese „Selbstprüf"-Methode besser funktioniert als das Bitten externer KI-Lehrer (wie großer Sprachmodelle), die Videos zu beurteilen.

Es ist eingebettet: Der Künstler bewertet seine eigene Arbeit unter Verwendung seiner eigenen internen Regeln, sodass es keine Sprachbarriere gibt.
Es ist trainingsfrei: Sie müssen den Künstler nicht neu trainieren oder ihm neue Physik beibringen. Sie nutzen einfach das bestehende Gehirn des Künstlers, um Fehler zu finden und zu beheben.
Die Ergebnisse: Bei Tests mit Videos von rollenden Bällen, kollidierenden Objekten und fließenden Flüssigkeiten wählte und erstellte Proprio erfolgreich Videos, die von Menschen als physikalisch realistischer bewertet wurden.

Zusammenfassend: Proprio gibt dem Videogenerator ein „Bauchgefühl" für seine eigene Arbeit. Indem es seine Kreationen sanft schüttelt und die Verwirrung misst, kann es entweder die beste Version auswählen oder die Zutaten subtil anpassen, damit sich die Physik richtig anfühlt, alles ohne die Notwendigkeit eines externen Lehrers.

Technische Zusammenfassung: Proprio: Latentes Selbst-Scoring und Verfeinerung zur Inferenzzeit für physikalisch plausible Videogenerierung

1. Problemstellung

Moderne generative Videomodelle, insbesondere diffusionsbasierte Architekturen, haben eine bemerkenswerte visuelle Wiedergabetreue erreicht. Dennoch verletzen sie häufig grundlegende physikalische Prinzipien und erzeugen Videos mit unrealistischen Kollisionen, unmöglichen Objektinteraktionen oder inkonsistenter Dynamik. Diese Mängel schränken ihre Nützlichkeit als zuverlässige Weltmodelle für nachgelagerte Anwendungen wie Robotik und Simulation ein.

Bestehende Lösungen für dieses Problem verlassen sich typischerweise auf externe Feedback-Mechanismen:

Interventionen zur Trainingszeit: Einbringen physikalischer Priors oder Verwendung kuratierter Datensätze (z. B. [35, 24]).
Externe Evaluatoren zur Inferenzzeit: Einsatz von Vision-Language-Modellen (VLMs) oder vortrainierten latenten Weltmodellen (z. B. V-JEPA [37, 41]) zur Bewertung oder Steuerung der Generierung.

Die Autoren identifizieren zwei kritische Einschränkungen im Paradigma des externen Feedbacks:

Verzerrung und Fehljustierung: VLMs vermischen physikalische Plausibilität oft mit der Text-Bild-Übereinstimmung oder visueller Ästhetik. Vortrainierte Weltmodelle operieren in ihren eigenen Repräsentationsräumen, was zu einer Diskrepanz zum latenten Raum des Generators führt.
Fehlende intrinsische Konsistenz: Externe Evaluatoren sind mit unterschiedlichen Zielen trainiert und stimmen nicht mit den spezifischen Denoising-Dynamiken des Generators überein, wodurch sie möglicherweise generatorspezifische Inkonsistenzen über die Sampling-Schritte hinweg übersehen.

Die Arbeit stellt eine zentrale Frage: Kann ein Videogenerator seine eigenen Denoising-Dynamiken als in sich geschlossenes Signal nutzen, um die physikalische Plausibilität seiner Ausgaben zu bewerten und zu verbessern?

2. Methodik: Proprio

Die Autoren schlagen Proprio vor, ein training-freies Framework zur Inferenzzeit, das einen eingefrorenen Videogenerator befähigt, seine eigenen Ausgaben zu bewerten und zu verfeinern. Inspiriert von der biologischen Propriozeption (dem Sinn für die eigene Bewegung) behandelt die Methode den internen Flow-Residual des Modells unter kontrollierten Störungen als Selbst-Scoring-Signal.

2.1 Kernkonzept: Flow-Residuale als Selbst-Scoring

Die Methode stützt sich auf die Beobachtung, dass Proben, die mit der vom Generator erlernten Verteilung konsistent sind (d. h. natürliche Dynamiken), bei Störungen kleinere und stabilere Residuale hervorrufen sollten.

Störung: Für ein generiertes latentes Video $z_0$ konstruiert die Methode gestörte Latente $z_t$ zu verschiedenen Scheduler-Zeitpunkten $t$ unter Verwendung von kontrolliertem Rauschen $\epsilon$ .
Berechnung des Residuals: Das Modell sagt ein Flow-Feld $\hat{v}_\theta(z_t, t, c)$ voraus. Der Zieltransport ist $v^*(z_0, \epsilon) \approx \epsilon - z_0$ . Das Flow-Residual ist die Diskrepanz:
$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$
Bewertung: Die quadrierte Norm dieses Residuals dient als lokaler Score. Niedrigere Residuale deuten darauf hin, dass das Modell die Probe unter Störung besser „erklären" kann, was eine höhere physikalische Plausibilität impliziert.

2.2 Signalaggregation und Verfeinerung

Um einen robusten Score zu erzeugen, aggregiert Proprio Residuale über mehrere Dimensionen:

Multi-Störung & Multi-Zeitpunkt: Der Score wird über mehrere Rauschrealisierungen und Zeitpunkte gemittelt, um die Empfindlichkeit gegenüber spezifischen Rauschinstanzen zu verringern.
Inverse-Varianz-Gewichtung: Zeitpunkte mit hoher Varianz in den Residualen (instabile Schätzungen) werden herabgestuft, während stabile Zeitpunkte priorisiert werden.
Dynamische spatiotemporale Maskierung: Eine Maske $\mathcal{M}$ $M$ wird angewendet, um den Score auf bewegungsrelevante Bereiche zu fokussieren und statischen Hintergrundrauschen zu filtern, das für die physikalische Plausibilität weniger aussagekräftig ist. Drei Maskierungsstrategien werden untersucht:
- Bewegungsmaske: Basierend auf zeitlichen Differenzen in decodierten Frames.
- Textbewusste Maske: Basierend auf Änderungen der Cross-Attention zwischen latenten und Prompt-Token.
- Attention-basierte Maske: Basierend auf Änderungen der Self-Attention-Features.

2.3 Strategien zur Inferenzzeit

Proprio nutzt den berechneten Score $S(z_0)$ in zwei primären Modi:

Best-of-N-Suche: Generierung von $N$ Kandidaten-Latenten und Auswahl desjenigen mit dem niedrigsten Selbst-Score.
Selbstverfeinerung: Anstatt den Generator neu zu trainieren, optimiert die Methode das anfängliche Sampling-Rauschen. Sie parametrisiert das Rauschen als $\zeta = \mu + \sigma \odot \zeta_0$ (wobei $\zeta_0$ Basisrauschen ist) und verwendet Gradientenabstieg, um $\mu$ und $\sigma$ so zu aktualisieren, dass der Proprio-Score minimiert wird. Ein KL-Divergenz-Regularisierer stellt sicher, dass das optimierte Rauschen nahe am ursprünglichen Gaußschen Prior bleibt.

3. Hauptbeiträge

Generator-native Selbst-Bewertung: Einführung eines training-freien Frameworks, das das Denoising-Residual eines eingefrorenen Generators als intrinsischen Proxy für physikalische Plausibilität wiederverwendet und damit die Notwendigkeit externer Reward-Modelle eliminiert.
Selbstjustierung zur Inferenzzeit: Ein Mechanismus, um diesen Selbst-Score in ein Optimierungsziel umzuwandeln und Ausgaben zu verfeinern, indem nur die Parameter des initialen Rauschens aktualisiert werden, während die Gewichte des Generators fixiert bleiben.
Empirische Validierung: Demonstration konsistenter Verbesserungen sowohl auf Text-zu-Video (T2V)- als auch auf Bild-zu-Video (I2V)-Benchmarks, die zeigen, dass ein einziger eingefrorener Generator sowohl als Sampler als auch als Selbst-Evaluator fungieren kann.

4. Experimentelle Ergebnisse

Die Autoren evaluieren Proprio auf den Benchmarks VideoPhy2 (T2V) und Physics-IQ (I2V) und vergleichen es mit zufälliger Auswahl, VLM-basierten Scorern (Qwen-7B) und externen Weltmodell-Baselines (WMReward).

Leistungssteigerungen:
- Auf TurboWan2.2 verbessert Proprio Physics-IQ von 32,2 auf 37,5 (+16,5 %) und VideoPhy2-hard physical commonsense von 45,6 auf 55,0 (+20,6 %).
- Proprio schneidet bei der Bewertung konsistent besser ab als VLM-basierte Scoring-Verfahren und übertrifft WMReward oft, insbesondere bei Metriken für physikalischen Common Sense (PC).
- Ein hybrides Scoring-Verfahren (Kombination aus globalem und bewegungsbewusstem Score) bietet das robusteste Gleichgewicht zwischen semantischer Adhärenz und physikalischer Konsistenz.
Menschliche Evaluation:
- Bei paarweisen Vergleichen bevorzugten menschliche Bewerter Proprio-ausgewählte oder verfeinerte Videos in Bezug auf physikalische Plausibilität in etwa 67 % der Fälle.
- Die visuelle Qualität wurde weitgehend erhalten; die Bewerter zeigten in vielen Fällen keine starke Präferenz gegen die Baseline, was darauf hindeutet, dass die Verbesserungen nicht auf Kosten der Ästhetik erfolgen.
Ablations-Erkenntnisse:
- Rauschniveaus: Die informativsten Scoring-Signale stammen aus mittleren Rauschniveaus (0,3–0,6 der Sampling-Schritte). Geringes Rauschen ist zu lokal, während hohes Rauschen die probespezifische Struktur verliert.
- Varianz-Gewichtung: Die inverse Varianz-Gewichtung verbessert die Leistung bei nicht destillierten Modellen signifikant, indem stabile Zeitpunkte priorisiert werden.
- Suche vs. Verfeinerung: Die Suche (Best-of-N) ist für T2V aufgrund der hohen Szenenvielfalt sehr effektiv. Für I2V, wo Kandidaten an dasselbe Bild gebunden sind, spielt die Verfeinerung eine dominantere Rolle.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass eingefrorene Videogeneratoren handlungsrelevante interne Signale zur Bewertung und Verbesserung der physikalischen Plausibilität enthalten. Durch die Neuinterpretation der eigenen Flow-Residuale des Modells als Likelihood-Präferenz-Signal zeigt Proprio, dass:

Externe Evaluatoren für die physikalische Justierung nicht zwingend erforderlich sind; die internen Dynamiken des Generators sind ausreichend.
Skalierung zur Inferenzzeit (Suche und Verfeinerung) erhebliche Gewinne ohne Nachtraining erzielen kann.
Die Methode einen Perspektivwechsel bietet: Zukünftige Systeme werden interne Generator-Signale zunehmend für die Selbstbewertung nutzen, anstatt sich ausschließlich auf externe Überwachung oder zusätzliche Reward-Modelle zu verlassen.

Anerkannte Einschränkungen:

Proprio ist durch das im Basis-Generator kodifizierte Wissen begrenzt; es kann keine Dynamiken wiederherstellen, die das Modell nicht gelernt hat.
Es erhöht die Inferenzkosten aufgrund der Notwendigkeit mehrerer Kandidaten-Bewertungen und Verfeinerungsschritte.
Die gradientenbasierte Verfeinerung stützt sich derzeit auf destillierte Modelle, um die Rechenmachbarkeit zu gewährleisten, da die Rückwärtspropagierung durch lange Denoising-Trajektorien in großen Modellen nach wie vor kostspielig ist.