In de afgelopen jaren hebben computers geleerd om bewegende beelden te creëren vanuit eenvoudige geschreven beschrijvingen. Deze technologie, bekend als text-to-video generatie, is verschoven van experimentele schetsen naar instrumenten die in staat zijn om coherente, stabiele en visueel indrukwekkende scènes te produceren. Kunstenaars, filmmakers en adverteerders beginnen deze systemen te gebruiken om nieuwe werelden te verbeelden, maar een fundamentele vraag blijft over: hoe weten we of het resultaat eigenlijk goed is? Lange tijd maten wetenschappers deze video's door technische details te controleren, zoals of de frames vloeiend doorliepen of of de computer de instructies letterlijk opvolgde. Echter, een video kan technisch perfect zijn en toch vlak, levenloos of artistiek saai aanvoelen. Het ontbrekende puzzelstukje is een manier om de menselijke ervaring van het kijken naar de video te meten — de schoonheid, de stemming en de emotionele resonantie ervan.

Een team van onderzoekers van Ant Group, de Beijing Film Academy en het Beijing Institute for General Artificial Intelligence heeft deze uitdaging aangepakt met een nieuw framework genaamd VGA-BenchV2. Hun werk gaat verder dan eenvoudige technische controles door een systeem te creëren dat video-esthetiek begrijpt en evalueert zoals een mens dat doet. Ze bouwden een enorme bibliotheek van meer dan 60.000 video's gegenereerd door 12 verschillende computermodellen, waarbij 1.016 zorgvuldig geschreven prompts werden gebruikt om specifieke visuele kwaliteiten te testen. Om hun computers te leren hoe ze deze video's moeten beoordelen, lieten het team menselijke experts meer dan 36.000 nieuwe beoordelingen en labels verstrekken. Deze menselijke feedback werd gebruikt om een hybride team van kunstmatige intelligentie-evaluatoren te trainen: één gespecialiseerd in het geven van een continue score voor schoonheid, en twee anderen die fungeren als visuele critici, die specifieke artistieke tags identificeren en controleren of de video logisch is. Het resultaat is een systeem dat niet alleen rangschikt hoe goed een video eruitziet, maar die oordeelsvorming ook gebruikt om de computermodellen te helpen leren en verbeteren.

De kern van dit nieuwe framework is een verschuiving van passieve meting naar actieve begeleiding. In het verleden waren benchmarks als rapportcijfers die simpelweg vertelden of een student geslaagd was of gezakt. VGA-BenchV2 fungeert meer als een tutor die precies uitlegt wat er verbeterd moet worden en vervolgens helpt de student te oefenen. De onderzoekers organiseerden hun evaluatie in twee hoofdcategorieën: esthetiek en generatiekwaliteit. De esthetische kant kijkt naar de artistieke elementen, zoals belichting, kleurharmonie, compositie en de algemene stemming van de scène. De generatiekant controleert of de video fysiek plausibel is, of de personages natuurlijk bewegen en of het verhaal overeenkomt met de geschreven prompt. Door deze brede concepten onder te verdelen in 52 specifieke subcategorieën, zorgde het team ervoor dat de evaluatie gedetailleerd en nauwkeurig was, waarbij alles werd gedekt van het type camerashot tot de realiteit van vloeiende bewegingen.

Om dit systeem te bouwen, begon het team met een grote set prompts, wat de geschreven instructies zijn die aan de video-generatoren worden gegeven. Deze 1.016 prompts waren ontworft om specifieke visuele effecten te triggeren, wat ervoor zorgt dat de resulterende video's eerlijk kunnen worden beoordeeld tegenover duidelijke criteria. Vervolgens verzamelden ze de output van 12 leidende video-generatiemodellen, waardoor een pool van meer dan 60.000 video's ontstond. De cruciale stap was de menselijke annotatiefase. De onderzoekers verzamelden een enorme hoeveelheid menselijke feedback en voegden 36.000 nieuwe taakniveau-annotaties toe aan hun bestaande gegevens. Dit omvatte meer dan 16.000 beoordelingen voor esthetische kwaliteit, waarbij mensen de video's scoorden op een schaal van nul tot tien, en meer dan 13.000 labels voor esthetische tagging, waarbij mensen specifieke visuele attributen identificeerden zoals de kleur van het licht of het type shot. Ze voegden ook duizenden aantekeningen toe over generatiekwaliteit om te garanderen dat de video's realistisch en consistent waren.

Met deze enorme hoeveelheid menselijk gelabelde data trainde het team drie gespecialiseerde kunstmatige intelligentie-evaluatoren. De eerste, genaamd VAQA-Net, leerde een continue score te voorspellen voor hoe mooi een video is, waarmee het effectief de menselijke blik voor compositie en toon nabootst. De andere twee evaluatoren, VTag-Net en VGQA-Net, zijn gebaseerd op grote vision-language modellen, geavanceerde systemen die zowel afbeeldingen als tekst kunnen begrijpen. Deze modellen werden getraind om als critici te fungeren: de een identificeert specifieke artistieke tags, zoals of een scène gebruik maakt van zacht licht of hoog contrast, terwijl de ander gedetailleerde vragen beantwoordt over de realiteitszin en consistentie van de video. Deze combinatie stelt het systeem in staat om zowel een numerieke score als een gedetailleerde, interpreteerbare uitleg te geven over waarom een video goed of slecht is.

De ware kracht van VGA-BenchV2 ligt in het vermogen om de cirkel tussen evaluatie en verbetering te sluiten. Zodra de evaluatoren getraind waren om menselijke voorkeuren te evenaren, gebruikten de onderzoekers hen als een beloningssysteem voor reinforcement learning. In dit proces worden de computermodellen die de video's genereren geconfronteerd met hun eigen creaties en krijgen ze een score gebaseerd op de esthetische kwaliteit die door de evaluator wordt voorspeld. Als de score hoog is, wordt het model aangemoedigd om soortgelijke video's te maken; als de score laag is, wordt het gestuurd om zijn aanpak te veranderen. In een specifieke test pasten de onderzoekers deze methode toe om een video-generator genaamd Wan2.1 te verfijnen. De resultaten toonden aan dat de gemiddelde esthetische score van het model steeg, en de resulterende video's vertoonden meer aantrekkelijke visuele composities en een hogere algehele kwaliteit. Dit demonstreert dat het framework niet alleen prestaties meet, maar de technologie ook actief richting betere artistieke resultaten stuurt.

De studie bood ook een uitgebreide rangschikking van de huidige stand van zaken in video-generatie. Door hun nieuwe evaluatoren toe te passen op de 12 verschillende modellen, kon het team ze vergelijken over alle 52 dimensies. De resultaten onthulden significante verschillen in hoe goed elk model omgaat met artistieke controle versus technische consistentie. Sommige modellen excelleerden in het volgen van complexe prompts, terwijl andere meer visueel aangename resultaten produceerden. De gegevens toonden aan dat hoewel veel modellen zijn verbeterd in technische getrouwheid, er nog steeds een grote kloof bestaat in hun vermogen om consistent video's te produceren die aansluiten bij menselijke esthetische voorkeuren. Dit benadrukt het belang van het nieuwe framework, dat een gestandaardiseerde manier biedt om deze subtiele maar kritieke kwaliteiten te meten.

Uiteindelijk vertegenwoordigt VGA-BenchV2 een belangrijke stap voorwaarts in het afstemmen van kunstmatige intelligentie op menselijke gevoelens. Door een enorme dataset van menselijke oordelen te combineren met een geavanceerd hybride evaluatiesysteem, hebben de onderzoekers een hulpmiddel gecreëerd dat video-generatie kan beoordelen met een diepgang en nuance die voorheen onmogelijk was. Het framework overbrugt de kloof tussen technische capaciteit en artistieke expressie, en biedt een pad voor toekomstige modellen om niet alleen te leren hoe ze pixels genereren, maar hoe ze kunst creëren die mensen raakt. Terwijl video-generatie zich blijft ontwikkelen, zullen instrumenten zoals dit essentieel zijn om te waarborgen dat de machines die we bouwen niet alleen inhoud kunnen creëren die echt is, maar ook mooi.