VQQA: An Agentic Approach for Video Evaluation and Quality Improvement

Das Paper stellt VQQA vor, ein einheitliches Multi-Agenten-Framework, das durch dynamische visuelle Fragen und VLM-Kritiken als semantische Gradienten eine effiziente, black-box-fähige Prompt-Optimierung für die Videoqualität ermöglicht und dabei bestehende Methoden in Text-zu-Video- sowie Bild-zu-Video-Aufgaben signifikant übertrifft.

Das Wesentliche

Das große Problem: Der "Versteh-ich-nicht"-Video-Generator

Stell dir vor, du hast einen genialen, aber etwas störrischen Koch (den KI-Video-Generator). Du sagst ihm: "Mach mir ein Video von einem Hund, der im Regen tanzt und dabei einen roten Regenschirm hält."

Der Koch ist schnell, aber manchmal macht er Dinge falsch:

• Der Hund hat plötzlich vier Beine.
• Der Schirm ist blau, nicht rot.
• Der Hund tanzt, aber sein Körper bleibt steif wie eine Puppe.

Früher war das Problem: Wie sagen wir dem Koch, was falsch ist, ohne ihn zu verletzen oder ihn zu zwingen, sein Kochbuch (das Modell) komplett neu zu schreiben?

• Die alten Methoden waren wie ein strenger Lehrer, der nur eine Note gibt ("Schlecht!"), aber nicht sagt, warum.
• Andere Methoden waren wie ein teurer, weißer Kittel-Träger, der in die Küche gehen und die Zutaten (den Code) umrühren musste – das geht bei geschlossenen KI-Modellen (wie bei Google oder OpenAI) oft gar nicht.

Die Lösung: VQQA – Der "Video-Qualitäts-Detektiv"

Die Forscher von Google haben VQQA entwickelt. Man kann sich das wie einen intelligenten, mehrstufigen Filmkritiker-Agentsystem vorstellen, das mit dem Koch in einem geschlossenen Kreislauf arbeitet.

Stell dir VQQA als ein Team aus drei Spezialisten vor, die wie ein Krimi-Team arbeiten:

1. Der Detektiv (Question Generation)

Anstatt einfach zu sagen "Das Video ist schlecht", stellt dieser Agent gezielte Fragen, genau wie ein Detektiv, der Beweise sucht.

• Frage: "Ist der Hund wirklich rot?"
• Frage: "Tanzt er wirklich, oder steht er nur da?"
• Frage: "Verschwindet der Schirm in der Mitte des Videos?"
  Er passt seine Fragen dynamisch an das Video an. Er weiß genau, wonach er suchen muss.

2. Der Gutachter (Question Answering)

Dieser Agent schaut sich das Video an und beantwortet die Fragen des Detektivs.

• Antwort: "Der Hund ist braun, nicht rot. (Punkte: 20/100)"
• Antwort: "Der Schirm verschwindet in Sekunde 3. (Punkte: 10/100)"
  Das Ergebnis ist kein trockener Score, sondern eine klare Liste von Fehlern.

3. Der Regisseur (Prompt Refinement)

Jetzt kommt das Magische. Dieser Agent nimmt die Fehlerliste und schreibt den Befehl für den Koch (den KI-Generator) neu.

• Alter Befehl: "Hund tanzt im Regen."
• Neuer Befehl: "Ein roter Hund tanzt im Regen. Achte darauf, dass der rote Schirm die ganze Zeit sichtbar bleibt und nicht verschwindet."

Der Koch versucht es erneut. Das Team prüft wieder, findet neue Fehler, und der Regisseur verbessert den Befehl weiter. Das passiert so lange, bis das Video perfekt ist.

Warum ist das so besonders? (Die Analogie)

Stell dir vor, du versuchst, ein Bild zu malen, indem du jemandem nur mündliche Anweisungen gibst.

• Die alte Methode (Best-of-N): Du malst 10 Bilder, zeigst sie einem Freund, und er sagt: "Nimm Bild Nr. 7." Das ist teuer und ineffizient, weil du 10 Bilder gemalt hast, ohne zu wissen, was an den anderen 9 falsch war.
• Die VQQA-Methode: Du malst ein Bild. Der Freund sagt: "Der Himmel ist zu grau, und das Haus hat keine Tür." Du malst dasselbe Bild neu, aber diesmal mit blauem Himmel und einer Tür. Du lernst aus dem Fehler, statt nur zu raten.

Die "Globale Auswahl" – Der Sicherheitsanker

Ein großes Problem bei solchen Verbesserungen ist, dass man sich manchmal so sehr auf Details konzentriert, dass man vergisst, was der ursprüngliche Auftrag war (man nennt das "semantische Abdrift").

• Beispiel: Du wolltest einen "roten Hund". Der Regisseur korrigiert so oft, dass am Ende ein "roter Hund mit einem blauen Hut" rauskommt, der gar nicht mehr tanzt.

VQQA hat einen Sicherheitsanker: Am Ende jeder Runde schaut ein "Chef-Gutachter" (Global Rater) auf alle entstandenen Videos und vergleicht sie mit dem ursprünglichen Wunsch. Er wählt nur das Video aus, das dem ursprünglichen Auftrag am nächsten kommt, auch wenn es in der letzten Runde kleine Fehler hatte. So bleibt das Ziel immer im Fokus.

Das Ergebnis

Das System funktioniert wie ein geschlossener Kreislauf:

1. Video generieren.
2. Fragen stellen und Fehler finden.
3. Befehl verbessern.
4. Wiederholen.

In Tests hat VQQA gezeigt, dass es Videos deutlich besser macht als die bisherigen Methoden – und das mit nur wenigen Versuchen. Es funktioniert sowohl für Texte, die zu Videos werden, als auch für Bilder, die zu Videos werden.

Zusammenfassend: VQQA ist wie ein unermüdlicher Filmkritiker und Regisseur in einem, der dem KI-Generator nicht nur sagt, dass etwas falsch ist, sondern ihm genau erklärt, wie er es beim nächsten Mal besser machen kann – und das alles, ohne den Generator selbst zu öffnen oder zu verändern.

Technische Zusammenfassung

1. Problemstellung

Trotz rascher Fortschritte bei Video-Generierungsmodellen (z. B. auf Basis von Diffusion und Transformern) bleibt die Ausrichtung der Ausgaben auf komplexe menschliche Absichten eine große Herausforderung. Nutzer sehen sich häufig mit folgenden Problemen konfrontiert:

• Kompositionsfehler: Objekte werden falsch platziert oder interagieren nicht korrekt.
• Temporale Inkonsistenzen: Bewegungen sind unlogisch oder flackern.
• Physikalische Halluzinationen: Verletzung von physikalischen Gesetzen oder Common Sense.

Bestehende Lösungen zur Optimierung zur Laufzeit (Test-Time Optimization) haben erhebliche Nachteile:

• Passive Metriken: Herkömmliche Bewertungsmetriken (wie FVD oder CLIPScore) liefern keine handlungsorientierten Rückmeldungen.
• Hohe Kosten: Methoden wie „Best-of-N" (Stichprobenziehung vieler Kandidaten) sind rechenintensiv.
• White-Box-Zugriff: Fortgeschrittene Techniken erfordern oft Zugriff auf die internen Modellgewichte (Gradienten), was bei kommerziellen APIs (Black-Box) unmöglich ist.

Es fehlt an einem interpretierbaren, geschlossenen Regelkreis-System, das visuelle Fehler diagnostiziert und Videos iterativ über eine natürliche Sprachschnittstelle verbessert, ohne das zugrunde liegende Modell zu verändern.

2. Methodik: Das VQQA-Framework

VQQA (Video Quality Question Answering) ist ein einheitliches Multi-Agenten-Framework, das die Videoevaluation von einer passiven Metrik in einen dynamischen, aktiven Optimierungsprozess verwandelt. Es funktioniert als Black-Box-Optimierer und nutzt Vision-Language-Modelle (VLMs) als „semantische Gradienten".

Der Prozess besteht aus drei spezialisierten Agenten und einem globalen Selektionsmechanismus:

1. Question Generation (QG) Agent:

   • Analysiert den Eingabe-Prompt, die Bedingungen (z. B. Referenzbilder) und das generierte Video.
   • Generiert dynamisch eine Reihe von visuellen Fragen in drei Dimensionen:
     • Video-Prompt-Alignment: Entspricht das Video dem Text?
     • Visuelle Qualität: Gibt es Artefakte, Flackern oder physikalische Fehler?
     • Bedingungstreue: (Bei I2V) Stimmt das Video mit dem Referenzbild überein?

2. Question Answering (QA) Agent:

   • Bewertet das Video basierend auf den generierten Fragen.
   • Weist jedem Punkt einen normalisierten Score (0–100) zu.
   • Erstellt eine detaillierte Diagnosekarte der kritischen visuellen Fehler.

3. Prompt Refinement (PR) Agent:

   • Nutzt die Kritik des QA-Agenten (die niedrigen Scores und die zugehörigen Fragen) als semantischen Gradienten.
   • Synthese dieses Feedbacks in einen optimierten Prompt für die nächste Iteration.
   • Ziel ist es, spezifische Fehler zu beheben, ohne die ursprüngliche Absicht des Nutzers zu verändern.

4. Global Selection & Convergence:

   • Um „semantische Drift" (Abweichung vom ursprünglichen Ziel durch lokale Optimierungen) zu verhindern, bewertet ein Globaler VLM-Rater alle Kandidaten-Videos gegen den ursprünglichen Prompt.
   • Das beste Video wird basierend auf diesem globalen Score ausgewählt.
   • Ein dynamisches Stopp-Kriterium beendet den Prozess, sobald die Qualitätssättigung erreicht ist oder ein Zielwert erreicht wurde, um Rechenkosten zu minimieren.

3. Schlüsselbeiträge

• Paradigmenwechsel: Transformation der Videoevaluation von statischen Benchmarks hin zu einem dynamischen Frage-Antwort-Paradigma, das handlungsorientiertes Feedback liefert.
• Diskrete Text-Optimierung: Formalisierung der Test-Time-Skalierung als diskretes Optimierungsproblem. VQQA nutzt VLM-Kritiken als Ersatz für Gradientenabstieg, was eine Optimierung ohne Zugriff auf Modellgewichte (Black-Box) ermöglicht.
• Generalisierbarkeit: Das Framework ist modellagnostisch und funktioniert sowohl für Text-zu-Video (T2V) als auch für Bild-zu-Video (I2V) Aufgaben, ohne taskspezifisches Fine-Tuning.
• Effizienz: Durch die dynamische Fragestellung und den geschlossenen Regelkreis werden visuelle Artefakte in wenigen Schritten behoben, was deutlich effizienter ist als reine Stichprobenverfahren.

4. Ergebnisse

VQQA wurde auf etablierten Benchmarks (T2V-CompBench, VBench2, VBench-I2V) mit verschiedenen Modellen (CogVideoX-5B, Veo 3.1) und VLMs (GPT-4o, Gemini-3-Pro) getestet.

• Leistungssteigerung:
  • Auf T2V-CompBench erzielte VQQA mit Gemini-3-Pro eine absolute Verbesserung von +11,57 % gegenüber der Standard-Generierung und übertraf den besten Baseline (VQAScore) um +4,76 %.
  • Auf VBench2 wurde eine Verbesserung von +8,43 % erreicht.
  • Auch bei VBench-I2V wurden konsistent die besten Ergebnisse erzielt.
• Qualität der Fehlererkennung: VQQA zeigte eine signifikant höhere Recall-Rate (E2E-Recall +11,9 %) bei der Identifizierung visueller Fehler im Vergleich zu direkten VLM-Analysen, was zu robusteren Korrekturen führt.
• Effizienz: Der Prozess konvergiert schnell (durchschnittlich ca. 1,2–1,6 Iterationen), was die Gesamtkosten für Inferenz vergleichbar mit einem „Best-of-5"-Ansatz macht, aber mit deutlich höherer Qualität.
• Robustheit: Die Methode funktionierte auch bei proprietären Modellen wie Google Veo 3.1, die bereits interne Prompt-Optimierung besitzen, und verbesserte diese weiter.

5. Bedeutung und Ausblick

VQQA stellt einen wichtigen Schritt in Richtung kontrollierbarer und interpretierbarer KI-gestützter Inhaltserstellung dar.

• Black-Box-Kompatibilität: Es ermöglicht die Optimierung von Video-Generatoren über kommerzielle APIs, wo Gradienten-basierte Methoden versagen.
• Interpretierbarkeit: Im Gegensatz zu „Black-Box"-Optimierern liefert VQQA nachvollziehbare Gründe für Änderungen (durch die Fragen und Antworten), was das Vertrauen in den Prozess erhöht.
• Skalierbarkeit: Da das Framework auf der Sprachebene operiert, ist es leicht auf zukünftige Modelle und neue Modalitäten übertragbar.

Zusammenfassend demonstriert VQQA, dass ein agenter Ansatz, der Evaluation und Optimierung in einem geschlossenen Kreislauf verbindet, die Lücke zwischen der technischen Leistungsfähigkeit von Generativ-Modellen und der komplexen Absicht des menschlichen Nutzers effektiv schließen kann.