Stel je een wereld voor waarin computers dromen kunnen, waarbij ze een eenvoudige zin als "een kat op een skateboard" kunnen veranderen in een bewegend beeld. Dit is de opwindende grens van videogeneratie, een veld waar kunstmatige intelligentie leert om video's te maken en te bewerken door simpelweg instructies te lezen. Maar hier zit het lastige deel: hoe weten we of een computer het goed heeft gedaan? In het verleden probeerden wetenschappers deze AI-films te beoordelen met vaste checklists, zoals een leraar die elke leerling dezelfde wiskundetoets geeft, ongeacht wat ze gevraagd werd op te lossen. Als de prompt vroeg om een specif kind aantal ballonnen, zou een vaste test dit misschien missen. Als de prompt vroeg of een personage gedurende de clip hetzelfde gezicht behoudt, zou een standaard test misschien niet merken als het gezicht veranderde. Omdat deze AI-films zo creatief en gevarieerd zijn, faalt een eenheidsworst-beoordelingssysteem vaak in het vatten van de echte magie — of de echte fouten.

Maak kennis met VideoArgus, een nieuwe manier om deze AI-video's te beoordelen die minder voelt als een rigide toets en meer als een slim, op maat gemaakt detectiveverhaal. In plaats van een enkele, onveranderlijke regelset voor iedereen te gebruiken, werkt VideoArgus als een briljante editor die de specifieke instructies voor elke videoverzoek leest en vervolgens een gloednieuwe, op maat gemaakte beoordelingsrubriek schrijft voor die specifieke opdracht. Het kijkt naar de prompt, de afbeeldingen en de doelen, en zegt: "Oké, voor deze specifieke video moeten we controleren of de tekst leesbaar is, of de kat op het skateboard blijft en of de achtergrond niet flikkert." Het gebruikt vervolgens een team van gespecialiseerde tools en AI-"ogen" om bewijs te zoeken voor die specifieage zaken, en scoort de video op basis van precies wat het had moeten doen. Deze aanpak suggereert dat door de regels af te stemmen op de specifieke taak, we een veel duidelijker beeld kunnen krijgen van hoe goed deze AI-modellen eigenlijk presteren, wat hels bij het bouwen van betere video-makers in de toekomst.

Het probleem met de "eenheidsworst"-beoordeling

Denk aan het beoordelen van AI-videogeneratie als het beoordelen van een kookwedstrijd waarbij elke deelnemer wordt gevraagd om een ander gerecht te maken. Sommigen maken soep, anderen bakken taarten en weer anderen grillen biefstukken. Als je een enkele, vaste checklist gebruikt voor iedereen die alleen vraagt: "Is het warm?" en "Ruikt het lekker?", dan mis je de essentie. Je zult niet weten of de taart is aangebrand of de soep te zout is, omdat de checklist niet ontworpen was voor die specifieke ingrediënten.

Lama tijd werkte de evaluatie van video op deze manier. Wetenschappers gebruikten benchmarks met vaste dimensies — zoals "bewegingskwaliteit" of "tekstovereenkomst" — die op elke video werden toegepast, ongeacht wat de prompt vroeg. Maar videogeneratie is rommelig. Soms vraagt de prompt om een specifiek aantal objecten (zoals "vijf rode appels"), soms vraagt het om een personage met een consistent gezicht te houden, en andere keren vraagt het om een video te bewerken op basis van een nieuwe instructie. Een vaste checklist mist deze taakspecifieke details vaak. Het is alsof je de hoogte van een wolkenkrabber en een paddenstoel met dezelfde liniaal probeert te meten; je krijgt wel een getal, maar het vertelt je niet of de paddenstoel wel hoog genoeg is voor zijn soort.

VideoArgus: De aangepaste detective

De auteurs van dit paper introduceerden VideoArgus, een framework dat het spel verandert door een steekproefspecifieke rubriek te creëren. Stel je voor dat er, nog voordat je de film bekijkt, een superintelligente AI-editor de prompt en de invoerbeelden leest. Vervolgens schrijft hij een unieke "beoordelingskaart" die alleen voor die specifieke aanvraag is bedoeld. Dit blad is geen generieke lijst; het is een gedetailleerd plan dat zegt: "Voor deze video moet ik controleren of de tekst op het bord correct gespeld is, of de hond in een cirkel rent en of de belichting consistent blijft."

Cruciaal is dat deze beoordelingskaart output-blind is. De AI schrijft de regels voordat hij de video ziet. Dit voorkomt dat het systeem de regels aanpast op basis van hoe goed de video eruitziet. Het zorgt ervoor dat elke gegenereerde video uit dezelfde prompt wordt beoordeeld tegen exact dezelfde aangepaste criteria.

Zodra de aangepaste rubriek is geschreven, gaat VideoArgus aan de slag. Het vraagt niet aan een algemene AI: "Is deze video goed?" In plaats daarvan breekt het de video af in kleine stukjes. Voor elke regel op de aangepaste kaart gebruikt het specifieke tools om bewijs te verzamelen.

• Als de regel over tellen gaat, gebruikt het mogelijk een tool om de objecten te tellen.
• Als de regel over tekst gaat, gebruikt het een Optical Character Recognition (OCR) tool om te lezen wat er op het scherm staat.
• Als de regel over het volgen van een personage gaat, gebruikt het een visuele tool om dat personage frame voor frame te volgen.

Het systeem combineert deze stukjes bewijs vervolgens om een score en een reden voor die score te geven. Het is als een detective die niet alleen raadt wie de dader is, maar vingerafdrukken, alibi's en getuigenverklaringen verzamelt om een solide zaak te bouwen. Het eindresultaat is een gedetailleerd rapport dat je niet alleen vertelt hoe de video scoorde, maar ook waarom, waarbij precies wordt aangegeven waar het succesvol was of faalde.

De VideoArgus-Bench: Een enorme testkeuken

Om te bewijzen dat dit idee werkt, bouwde het team VideoArgus-Bench, een enorme collectie van 1.026 verschillende video-uitdagingen. Deze uitdagingen dekken vijf verschillende soorten videotaken:

1. Text-to-Video (T2V): Een video maken van alleen woorden.
2. Text-and-Image-to-Video (TI2V): Een video maken van woorden en een beginfoto.
3. Text-and-Subject-to-Video (TS2V): Een video maken waarbij een specifiek personage (zoals een persoon of dier) consistent blijft.
4. Text-Driven Video Editing (TV2V): Een bestaande video aanpassen op basis van tekstinstructies.
5. Text-and-Subject-Driven Video Editing (TSV2V): Een video bewerken terwijl een specifiek onderwerp consistent blijft.

Ze gebruikten 653 unieke afbeeldingen en 416 unieke video's om deze uitdagingen te creëren. Voor elke van deze 1.026 inputs genereerden ze een aangepaste rubriek en "bevroren" deze. Dit betekent dat de regels vaststonden, wat ervoor zorgde dat wanneer ze verschillende AI-modellen testten, iedereen volgens exact dezelfde aangepaste regels speelde.

Wat ze vonden: Betere cijfers, duidelijkere antwoorden

De onderzoekers testten 55 verschillende combinaties van AI-modellen en taken met behulp van VideoArgus-Bench. Ze creëerden ook een aparte "menselijke alignment" set met 1.260 video's, waarbij 15 menselijke vrijwilligers de video's beoordeelden om te zien hoe goed de computer overeenkwam met echte mensen.

De resultaten waren veelbelovend. VideoArgus kwam veel beter overeen met menselijke oordelen dan de oude methoden met vaste checklists.

• Hogere overeenstemming: Wanneer de rangschikking van de video's door de computer werd vergeleken met de rangschikking door mensen, vertoonde VideoArgus een veel sterkere overeenstemming (gemeten via Spearman- en Kendall-correlaties). Bijvoorbeeld, in de Text-to-Video taak bereikte VideoArgus een correlatie van 0,496, terwijl de oude methode slechts 0,162 was. Dit betekent dat VideoArgus veel beter was in het uitzoeken welke video's mensen daadwerkelijk leuk vonden.
• De kracht van tools: Ze ontdekten dat het gebruik van gespecialiseerde tools (zoals OCR voor tekst of tracking voor beweging) een groot verschil maakte. Wanneer ze deze tools verwijderden en alleen een algemene AI gebruikten om te gokken, daalden de scores. Dit suggereert dat het hebben van de juiste "tools" voor de klus essentieel is voor een nauwkeurige beoordeling.
• Consistentie: Ze testten of de resultaten veranderden als ze andere AI-modellen gebruikten om de rubrieken te schrijven of om de beoordeling uit te voeren. De ranglijsten van de videomodellen bleven grotendeels gelijk (met correlaties rond de 0,90 tot 0,93), wat suggereert dat de methode robuust is en niet afhankelijk is van één specifiek AI-model dat perfect moet zijn.

De kosten van intelligentie

Eén interessante bevinding ging over de kosten. Het schrijven van een aangepaste rubriek voor elke video kost een beetje rekenkracht en geld (gemiddeld ongeveer $0,23 per video voor de generatie van de rubriek). Echter, omdat deze rubriek één keer wordt geschreven en vervolgens wordt hergebruikt voor elk model dat dezelfde prompt probeert op te lossen, worden de kosten gespreid. Zodra de rubriek klaar is, wordt de eigenlijke beoordeling van de video's lokaal op standaardcomputers uitgevoerd, wat het efficiënt maakt voor grootschalige tests.

De conclusie

VideoArgus suggereert dat de toekomst van het evalueren van AI niet draait om grotere, generieke checklists. Het draait om specificiteit. Door voor elke videoverzoek een aangepaste, op bewijs gebaseerde beoordelingsplan te creëren, kunnen we een veel duidelijker, eerlijker beeld krijgen van wat deze AI-modellen daadwerkelijk kunnen. Het is een verschuiving van de vraag "Is het geslaagd voor de test?" naar de vraag "Heeft het precies gedaan wat er van gevraagd werd?" en dat bewijzen met bewijslast. Deze aanpak helpt onderzoekers om de sterke en zwakke punten van hun modellen dieper te begrijpen, wat de weg vrijmaakt voor betere, meer betrouwbare videogeneratie in de toekomst.