VQQA: An Agentic Approach for Video Evaluation and Quality Improvement

Dit paper introduceert VQQA, een multi-agent framework dat de kwaliteit van gegenereerde video's verbetert door visuele vragen te genereren en deze te gebruiken als semantische gradiënten voor een efficiënte, black-box promptoptimalisatie die aanzienlijk beter presteert dan bestaande methoden.

De kern

Stel je voor dat je een regisseur bent die een film wil maken met een AI. Je geeft de AI een opdracht: "Laat een rode auto razendsnel over een brug rijden." Maar de AI maakt een fout: de auto heeft geen wielen, of hij rijdt in de verkeerde richting, of de brug verdwijnt halverwege.

Vroeger was het lastig om de AI te corrigeren. Je moest ofwel heel veel tijd besteden aan het raden van de juiste woorden (prompt engineering), of je had toegang nodig tot de geheime binnenkant van de AI (wat vaak niet mag).

VQQA is een nieuwe, slimme manier om dit op te lossen. Het is alsof je een filmmaker-assistent aan het werk zet die niet alleen kijkt, maar ook vraagt en leert.

Hier is hoe het werkt, in simpele taal:

1. De Drie Assistenten (Het Team)

In plaats van één grote, saaie computer die alleen een cijfer geeft, heeft VQQA een team van drie digitale assistenten die samenwerken:

• De Vragende Regisseur (Question Generation):
  Deze assistent kijkt naar de video en de originele opdracht. Hij denkt: "Oké, de auto heeft geen wielen. Waarom?" en bedenkt dan slimme vragen om dat te checken. Bijvoorbeeld: "Zijn er wielen te zien?" of "Rijdt de auto in de juiste richting?". Hij maakt geen vaste lijstje, maar vraagt precies wat er mis is.
• De Kritische Critic (Question Answering):
  Deze assistent kijkt naar de video en beantwoordt de vragen van de Regisseur. Hij zegt niet alleen "Nee", maar geeft een score: "De wielen zijn er niet, score 0/100. De auto rijdt wel goed, score 90/100." Hij maakt een gedetailleerd verslag van wat er precies misgaat.
• De Scriptschrijver (Prompt Refinement):
  Dit is de magiër. Hij leest het verslag van de Critic en past de opdracht voor de AI aan. In plaats van alleen te zeggen "maak het beter", zegt hij: "De vorige video had geen wielen. Laten we de opdracht herschrijven: 'Laat een rode auto met duidelijk zichtbare wielen razendsnel over een brug rijden'."

2. De "Semantische Gradiënt" (De Kompasnaald)

In de oude methoden was het alsof je in het donker liep en hoopte dat je de juiste kant op ging. VQQA gebruikt wat ze een "semantische gradiënt" noemen.

Stel je voor dat je een berg beklimt in mist.

• Oude methode: Je probeert willekeurig een paar keer een stap te zetten en hoopt dat je hoger komt.
• VQQA methode: De Critic is als een kompas dat zegt: "Je bent 10 meter naar links afgeweken en 5 meter naar beneden gegaan." De Scriptschrijver gebruikt die informatie om de volgende stap precies in de goede richting te zetten. Het is alsof je de AI een spiegel geeft die precies laat zien waar de fout zit, zodat je die direct kunt oplossen.

3. De "Globale Keurmeester" (Voorkomen van Dwalen)

Soms kan het team zo druk zijn met het oplossen van kleine foutjes (zoals een misvormde wielen) dat ze vergeten waar het verhaal eigenlijk over ging. Misschien maken ze de auto zo perfect, dat hij niet meer op de brug staat.

Om dit te voorkomen, heeft VQQA een Globale Keurmeester. Deze kijkt naar alle versies van de video die gemaakt zijn en zegt: "Deze versie heeft perfecte wielen, maar de auto staat niet op de brug. Die versie is niet goed. Die versie daar, met iets minder perfecte wielen maar wél op de brug, is de winnaar."
Dit zorgt ervoor dat de AI niet "dwaalt" en het originele doel uit het oog verliest.

Waarom is dit zo cool?

• Het werkt als een gesprek: Je hoeft geen programmeur te zijn. Je praat gewoon met de AI in gewone taal.
• Het is snel: In plaats van 100 keer willekeurig een video te maken en de beste te kiezen (wat veel rekenkracht kost), maakt VQQA een paar keer een video, leert van de fouten, en maakt dan een betere versie. Het is alsof je een schilderij maakt: eerst een schets, dan de fouten corrigeren, dan de details toevoegen.
• Het werkt overal: Of je nu een video maakt van een tekst (Text-to-Video) of van een foto (Image-to-Video), dit team werkt voor beide.

Kortom: VQQA is geen statische test die alleen een cijfer geeft. Het is een actieve, lerende partner die samen met jou de video verbetert, vraagt wat er mis is, en de opdracht herschrijft tot de video perfect is. Het maakt AI-videomaken minder gokken en meer een bewuste creatie.

Technische samenvatting

Probleemstelling

Ondanks de snelle vooruitgang in video-generatiemodellen (zoals diffusion en transformer-architecturen), blijft het moeilijk om de output van deze modellen nauwkeurig af te stemmen op complexe menselijke intenties. Gebruikers ervaren vaak problemen zoals:

• Compositie-fouten (objecten die niet samenwerken).
• Temporele inconsistenties (flitsende beelden of onnatuurlijke beweging).
• Fysieke hallucinaties (objecten die zwaartekracht negeren).

Bestaande oplossingen voor testtijd-optimalisatie (test-time optimization) hebben twee grote tekortkomingen:

1. Rekenkracht: Methodes zoals "Best-of-N" of paarwijze toernooien (zoals in VISTA) vereisen het genereren en evalueren van enorme hoeveelheden kandidaat-video's, wat zeer rekenintensief is.
2. Toegang tot het model: Veel geavanceerde methodes vereisen "white-box" toegang tot de interne gewichten van het generatiemodel om gradiënten te berekenen. Dit is onmogelijk bij commerciële API's (black-box modellen).

Daarnaast zijn huidige evaluatiemethoden vaak passief; ze leveren een score op maar geen actieerbare feedback om de prompt te verbeteren.

Methodologie: VQQA Framework

De auteurs stellen VQQA (Video Quality Question Answering) voor, een unificerend, multi-agent framework dat video-evaluatie omzet van een passieve meting naar een dynamisch, gesloten lus-proces voor prompt-optimalisatie. Het systeem werkt volledig via een zwarte-doos (black-box) natuurlijke taal-interface en vereist geen toegang tot modelgewichten.

Het framework bestaat uit drie gespecialiseerde agents die in een iteratieve cyclus werken:

1. Question Generation (QG) Agent:

   • Analyseert de gegenereerde video, de originele prompt en eventuele voorwaarden (zoals referentie-afbeeldingen).
   • Genereert dynamisch een set gerichte visuele vragen (in plaats van statische rubrieken) over drie dimensies:
     • Video-Prompt Uitlijning.
     • Visuele Kwaliteit (artefacten, fysica).
     • Voorwaarde-Getrouwheid (bij I2V).

2. Question Answering (QA) Agent:

   • Functioneert als de primaire evaluator. Het beantwoordt de gegenereerde vragen door de video te inspecteren.
   • Levert genormaliseerde scores (0-100) en een gedetailleerde diagnostische kaart van visuele fouten.
   • Deze feedback fungeert als een semantische gradiënt: in plaats van wiskundige gradiënten (die niet bestaan voor discrete tekst), gebruikt het systeem de tekstuele kritiek om de fouten te lokaliseren.

3. Prompt Refinement (PR) Agent:

   • Gebruikt de diagnostische feedback (de lage scores en de bijbehorende redeneringen) om de oorspronkelijke prompt te herschrijven.
   • Het doel is om de specifieke visuele fouten in de volgende iteratie te corrigeren zonder de kernintentie van de gebruiker te verliezen.

Global Selection & Convergentie:
Om te voorkomen dat de iteratieve verfijning leidt tot "semantische drift" (waarbij de video steeds verder afwijkt van de oorspronkelijke intentie), voert een Global VLM Rater een holistische evaluatie uit van alle gegenereerde kandidaat-video's tegen de originele prompt. De video met de hoogste algehele score wordt geselecteerd.
Het proces stopt dynamisch wanneer een doelscore is bereikt of wanneer de verbetering over een bepaald venster (patience) stagneert, wat rekenkracht bespaart.

Belangrijkste Bijdragen

1. Actieve Evaluatie: VQQA transformeert video-evaluatie van passief benchmarken naar een dynamisch vraag-antwoord paradigma dat direct actieerbare feedback levert voor diverse generatietaken (T2V en I2V).
2. Testtijd-Schaling als Discrete Optimalisatie: Het formaliseert het optimaliseren van video-generatie als een discrete tekstprobleem. Door kritieken van Vision-Language Models (VLMs) te gebruiken als semantische gradiënten, wordt foutcorrectie mogelijk zonder modelgewichten aan te passen.
3. Modelonafhankelijkheid: Het systeem is strikt model-agnostisch en werkt even goed met open-weight modellen als met propriëtaire API's (zoals Google Veo), zonder taak-specifieke fine-tuning.

Resultaten

Uitgebreide experimenten tonen aan dat VQQA aanzienlijk beter presteert dan state-of-the-art methodes (zoals VPO, Best-of-N met VQAScore, en VideoScore2) op standaard benchmarks:

• T2V-CompBench: VQQA (met Gemini-3-Pro) bereikte een gemiddelde score van 53,46%, wat een absolute verbetering is van +11,57% ten opzichte van de ruwe generatie en +4,76% ten opzichte van de sterkste baseline. Er waren vooral grote winsten in consistentie van attributen, ruimtelijk begrip en numeriek vermogen.
• VBench2: VQQA behaalde een totale score van 50,41%, een verbetering van +8,43% ten opzichte van de baseline.
• VBench-I2V (Image-to-Video): Het systeem behaalde de hoogste scores op alle assen, met een verbetering van +1,24% ten opzichte van de baseline, ondanks de hoge verzadiging van deze benchmark.
• Efficiëntie: Het systeem convergeert snel, gemiddeld binnen 1,6 iteraties (of 1,25 op T2V-CompBench), wat de inferentiekosten vergelijkbaar maakt met een standaard "Best-of-5" strategie, maar met superieure kwaliteit.

Significantie

VQQA biedt een schaalbare, taak-agnostische oplossing om visuele generatiemodellen beter af te stemmen op complexe menselijke intenties. Door het gebruik van een gesloten lus met semantische gradiënten, overbrugt het de kloof tussen passieve evaluatiemetrics en actieve, iteratieve verbetering. Dit maakt het mogelijk om hoge kwaliteit video's te genereren met weinig iteraties, zelfs bij modellen waar men geen directe toegang toe heeft (black-box), wat een belangrijke stap is naar meer controleerbare en interpreteerbare AI-gestuurde contentcreatie.