OSCBench: Benchmarking Object State Change in Text-to-Video Generation

Deze paper introduceert OSCBench, een nieuwe benchmark die is opgezet om de prestaties van tekst-naar-video-modellen te evalueren op het gebied van object-staatveranderingen, en onthult dat huidige modellen ondanks sterke algemene prestaties moeite hebben met het nauwkeurig en consistent genereren van deze veranderingen, vooral in nieuwe en samengestelde scenario's.

De kern

Stel je voor dat je een magische filmkast hebt die elk verhaal dat je in woorden beschrijft, direct in een video omzet. Je zegt: "Snijd een appel in plakjes," en de kast tovert een filmpje.

Tot nu toe hebben wetenschappers vooral gekeken of die film er mooi uitziet en of de tekst erbij past. Maar er was een groot gat in de test: Verandert het voorwerp echt?

Dit artikel introduceert OSCBench, een nieuwe test die precies kijkt naar die verandering. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Magische" Appel

Stel, je vraagt de computer om een appel te snijden.

• De oude test: Kijkt of er een man op het scherm staat, of er een appel ligt, en of het eruitziet als een echte film.
• Het nieuwe probleem: Vaak ziet de film er perfect uit, maar gebeurt er niets met de appel. De appel blijft heel, of hij verandert plotseling in een banaan, of hij verdwijnt en komt later weer terug alsof er niets gebeurd is. De computer "weet" niet wat snijden betekent voor een appel; hij maakt alleen maar een mooie plaatjesreeks.

OSCBench is de test die vraagt: "Heeft die appel nu echt plakjes, of is het nog steeds een hele appel?"

2. De Oplossing: Een Kookschool voor Robots

De onderzoekers hebben een nieuwe "school" gebouwd voor deze videocomputers, gebaseerd op kookvideo's. Waarom koken? Omdat koken vol zit met veranderingen: een aardappel wordt geschild, een ei wordt gebroken, deeg wordt gekneed.

Ze hebben drie soorten "examens" bedacht:

• De Gewone Oefening (Regular): "Snijd een citroen." Dit is iets dat de computer vaak heeft gezien.
• De Nieuwe Uitdaging (Novel): "Pel een bes." Dit is iets raars. De computer heeft dit nooit echt gezien en moet het zelf bedenken.
• De Samengestelde Taak (Compositional): "Pel en snijd een peer." Hier moet de computer twee dingen achter elkaar doen zonder de tussenstap te vergeten.

3. De Proefpersonen: De Videobotjes

Ze hebben zes van de slimste videocomputers ter wereld (zowel gratis open-source als dure betaalde modellen) op deze test gezet. Het was als een olympiade voor AI.

Het verdict:
De robots zijn fantastisch in het maken van mooie achtergronden en het laten bewegen van mensen. Maar zodra het gaat om het veranderen van een voorwerp, zakken ze door de vloer.

• Soms wordt een aardappel gesneden, maar blijven de plakken aan elkaar plakken.
• Soms verdwijnt een stukje fruit halverwege het filmpje.
• Soms verandert een hele appel in plakjes, maar dan springt hij in de volgende seconde weer terug naar een hele appel.

Het is alsof je een film ziet van iemand die een taart snijdt, maar de taart blijft heel en de messen bewegen er alleen maar omheen.

4. De Scheidsrechters: Mensen en Slimme Computers

Om te weten of de robots het goed deden, hebben ze twee soorten scheidsrechters ingezet:

1. Mensen: Die keken naar de filmpjes en gaven cijfers.
2. Slimme AI-assistenten (MLLMs): Dit zijn computers die heel goed kunnen kijken en redeneren. In plaats van ze alleen te laten tellen, gaven de onderzoekers hen een stappenplan (een "Chain of Thought"). Ze zeiden: "Kijk eerst naar de appel, check of hij verandert, zoek naar bewijs, en geef dan pas een cijfer."

Het resultaat: De slimme AI-assistenten met het stappenplan deden het bijna net zo goed als de mensen. Dit is een groot nieuws, want mensen kijken is duur en langzaam. AI kan nu helpen om deze tests in grote schaal te doen.

5. Waarom is dit belangrijk?

Als we willen dat robots in de echte wereld helpen (bijvoorbeeld in een fabriek of om een recept te demonstreren), moeten ze niet alleen mooie films maken. Ze moeten begrijpen wat er gebeurt als je iets doet.

• Als een robot een deur moet openen, moet de deur echt open gaan.
• Als een robot een ei moet breken, moet het ei echt breken.

OSCBench is de eerste meetlat die ons laat zien waar deze robots nog vastlopen. Het is als een diagnose: "Je bent goed in het uiterlijk, maar je begrijpt de fysica van verandering nog niet."

Samenvatting in één zin

Deze paper introduceert een nieuwe test die laat zien dat onze slimste videocomputers nog steeds "doven" zijn als het gaat om het echt veranderen van voorwerpen in een video, en biedt een nieuwe manier om ze hierin te trainen.

Technische samenvatting

Probleemstelling

Hoewel Text-to-Video (T2V) generatiemodellen aanzienlijke vooruitgang hebben geboekt in het produceren van visueel hoogwaardige en temporair coherente video's, blijven bestaande benchmarks grotendeels gefocust op perceptuele kwaliteit, tekst-video-uitlijning of fysische plausibiliteit (zoals zwaartekracht en botsingen). Een kritieke dimensie van actiebegrip wordt echter over het hoofd gezien: Object State Change (OSC).

OSC verwijst naar de transformatie van de toestand van een object als gevolg van een actie die expliciet in de tekstprompt wordt beschreven (bijvoorbeeld: het schillen van een aardappel of het snijden van een citroen). Bestaande modellen genereren vaak video's die op het eerste gezicht realistisch lijken, maar falen in het correct en consistent modelleren van deze toestandsveranderingen. Objecten kunnen in onwaarschijnlijke toestanden veranderen, de actie wordt verkeerd geïnterpreteerd, of de transformatie verloopt niet coherent in de tijd. Dit vormt een fundamentele beperking voor toepassingen zoals robotica, embodied AI en het genereren van instructievideo's.

Methodologie: OSCBench

Om dit gat op te vullen, stellen de auteurs OSCBench voor, een benchmark specifiek ontworpen om de prestaties van T2V-modellen op het gebied van object-toestandsverandering te evalueren.

1. Dataverzameling en Abstractie:

   • De benchmark is gebaseerd op het HowToChange-dataset (afgeleid van HowTo100M), dat instructieve kookvideo's bevat.
   • Om dataset-bias te verminderen en generalisatie te testen, worden ruwe acties en objecten geabstraheerd naar semantische categorieën via een mens-in-de-lus proces (met hulp van GPT-5.2 en Gemini-3).
   • Acties worden gegroepeerd in 9 categorieën (bijv. snijden, verhitten) en objecten in 8 hoofdcategorieën met 28 subcategorieën (bijv. groenten, fruit).

2. Scenario-ontwerp:
   OSCBench bestaat uit 1.120 prompts verdeeld over 140 object-toestandsscenario's, onderverdeeld in drie categorieën om verschillende vaardigheden te testen:

   • Reguliere scenario's: Veelvoorkomende actie-objectparen (bijv. citroen snijden) om in-distribution prestaties te meten.
   • Nieuwe (Novel) scenario's: Ongebruikelijke maar haalbare combinaties (bijv. druiven schillen) om generalisatievermogen te testen zonder beroep te doen op memorisatie.
   • Compositional scenario's: Meerdere acties in sequentie (bijv. schillen én snijden) om temporale consistentie en complexe actiecombinaties te evalueren.

3. Evaluatieprotocollen:
   De auteurs evalueren zes state-of-the-art (SOTA) T2V-modellen (4 open-source en 2 proprietair) met twee methoden:

   • Menselijke evaluatie: Een steekproef van gegenereerde video's wordt beoordeeld door menselijke experts op een 1-5 schaal.
   • Automatische evaluatie met MLLM: Multimodal Large Language Models (zoals GPT-5.2 en Qwen3-VL-30B) worden gebruikt. In plaats van een "black-box" score, wordt een Chain-of-Thought (CoT) strategie toegepast. Het model moet eerst criteria verwoorden, visueel bewijs uit frames extraheren, en vervolgens een score toekennen met onderbouwing.

4. Evaluatiedimensies:
   De beoordeling omvat vier dimensies:

   • Semantische uitlijning (onderwerp, object, actie).
   • Object State Change: Nauwkeurigheid (bereikt het object de juiste eindtoestand?) en Consistentie (verloopt de transformatie vloeiend zonder sprongen?).
   • Scène-uitlijning.
   • Perceptuele kwaliteit (realisme en esthetiek).

Belangrijkste Bijdragen

• OSCBench: De eerste benchmark die expliciet en systematisch object-toestandsveranderingen evalueert in T2V-generatie, met een focus op reguliere, nieuwe en compositie scenario's.
• Evaluatiekader: Een uitgebreid set van criteria die semantische uitlijning combineert met gedetailleerde OSC-metingen, ondersteund door zowel menselijke als CoT-gestuurde MLLM-evaluatie.
• Empirische Analyse: Een grondige benchmarking van zes SOTA-modellen die de huidige beperkingen in state-aware video-generatie blootlegt.

Resultaten

De resultaten tonen een duidelijk beeld van de huidige staat van de technologie:

• Semantische uitlijning vs. State Change: Modellen presteren over het algemeen goed op het begrijpen van het onderwerp, het object en de scène (semantische uitlijning). Echter, de prestaties op Object State Change (zowel nauwkeurigheid als consistentie) zijn aanzienlijk lager.
• Scenario-afhankelijkheid:
  • Modellen presteren het beste op reguliere scenario's (gebaseerd op frequente patronen in de trainingsdata).
  • Er is een sterke prestatiedaling bij nieuwe scenario's, wat aangeeft dat modellen moeite hebben om redeneren over onbekende actie-objectparen.
  • Compositional scenario's liggen tussenin, maar blijven uitdagend voor het behoud van coherente tussenliggende toestanden.
• Actie-complexiteit: Simpele acties met duidelijke visuele transformaties (zoals rollen of verhitten) worden beter beheerst dan complexe hand-object interacties zoals schillen of persen, waar subtiele visuele veranderingen nodig zijn.
• MLLM vs. Mens: MLLM's met CoT-strategieën tonen een sterke correlatie met menselijke beoordelingen, vooral bij het detecteren van OSC-fouten. Echter, de correlatie voor perceptuele kwaliteit (realisme/esthetiek) is lager, wat wijst op de subjectiviteit van deze aspecten.

Significantie

OSCBench positioneert object-toestandsverandering als een kritieke bottleneck in de ontwikkeling van T2V-modellen. De studie toont aan dat het genereren van visueel aantrekkelijke bewegingen niet voldoende is; modellen moeten ook de fysieke en causale gevolgen van acties op objecten correct kunnen simuleren.

De benchmark biedt een diagnostisch hulpmiddel voor onderzoekers om modellen te verbeteren die "bewust" zijn van objecttoestanden. Dit is essentieel voor de volgende generatie AI-toepassingen, zoals robotica en instructievideo's, waar het correct uitvoeren van een actie (en de daaruit voortvloeiende verandering) cruciaal is voor succes. De paper stelt dat het overwinnen van deze beperkingen een belangrijke stap is richting het creëren van robuuste, state-aware video-generatiemodellen.