🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Dit artikel introduceert de Do-Undo-benchmark, een nieuw raamwerk dat het vermogen van vision-language-modellen om real-world actiedynamiek te begrijpen, evalueert door hen te verplichten plausibele scenes-transformaties te genereren en deze vervolgens terug te draaien naar hun oorspronkelijke staat.

Oorspronkelijke auteurs: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een magisch fotoboek voor. Je kunt het album zeggen: "Open de koelkast," en het toont je een foto van een open koelkast. Maar hier zit de adder onder het gras: de meeste slimste AI-fotoboeken van vandaag zijn als goochelaars die alleen de truc kennen, niet de fysica. Ze tonen je misschien een open koelkast, maar als je ze vraagt om deze "weer te sluiten", kunnen ze per ongeluk de koelkast verwijderen, de kleur van de muur veranderen of de deur in de lucht laten zweven. Ze begrijpen niet echt dat het openen van een deur en het sluiten daarvan twee kanten van dezelfde medaille zijn.

Dit artikel introduceert een nieuwe test genaamd Do-Undo Bench om te zien of AI daadwerkelijk begrijpt hoe de echte wereld werkt, in plaats van alleen maar te raden hoe een afbeelding eruit zou moeten zien.

Hier is de uiteenzetting van hun idee met behulp van eenvoudige analogieën:

1. Het Probleem: De "Eenrichtingsstraat" AI

Huidige AI-modellen zijn uitstekend in het volgen van instructies zoals "voeg een kat toe" of "verwijder de boom". Maar ze worstelen met acties die de toestand van een object veranderen.

De Analogie: Denk aan een AI die weet hoe je een zandkasteel bouwt. Als je het vraagt om "een zandkasteel te bouwen", doet het een uitstekend werk. Maar als je het vervolgens vraagt om "dat ongedaan te maken en het zand terug in de emmer te doen", kan het de afbeelding gewoon volledig verwijderen of het zand in water veranderen. Het begrijpt niet dat het zand verplaatst is van de emmer naar het kasteel en terug kan bewegen.

2. De Oplossing: De "Do-Undo" Uitdaging

De onderzoekers hebben een nieuw spel voor AI bedacht. Om de test te halen, moet de AI twee dingen achter elkaar doen:

Doen: Kijk naar een afbeelding (bijvoorbeeld een gesloten lade) en een commando ("Open de lade"), en genereer vervolgens een nieuwe afbeelding waarbij de lade open is.
Ongedaan Maken: Kijk naar die nieuwe afbeelding van de open lade en een omgekeerd commando ("Sluit de lade"), en genereer vervolgens een afbeelding die er precies zo uitziet als de originele gesloten lade.

Als de AI beide perfect kan doen, bewijst het dat het oorzaak en gevolg begrijpt. Het weet dat "openen" de lade naar buiten duwt en "sluiten" het terugtrekt, zonder de rest van de keuken te veranderen.

3. De Dataset: Echte Keukenvideo's

Om de AI deze les te leren, hebben de onderzoekers niet zomaar willekeurige afbeeldingen verzonnen. Ze gebruikten duizenden echte video's uit de Epic-Kitchens-dataset (mensen die in hun eigen huizen koken).

Het Proces: Ze namen videoclips van echte acties, zoals "een lepel oppakken" of "een kraan openen".
De Filter: Ze hielden alleen acties over die omkeerbaar waren. Je kunt een lade openen en sluiten, maar je kunt een stuk papier niet echt "ongesneden" maken. Dus gooiden ze de onomkeerbare acties weg.
De Uitbreiding: De originele videobeschrijvingen waren zeer kort (zoals "lade openen"). De onderzoekers gebruikten een slimme AI om deze uit te breiden tot lange, gedetailleerde verhalen (bijvoorbeeld: "Gebruik je rechterhand om de houten lade naar achteren te trekken totdat deze volledig open is, waardoor het bestek erin zichtbaar wordt"). Dit geeft de AI een veel duidelijkere kaart van wat er gedaan moet worden.

4. De Resultaten: AI Leert Nog Steeds

De onderzoekers testten 's werelds beste AI-modellen op dit nieuwe "Do-Undo"-spel.

De Score: Zelfs de slimste modellen faalden. Ze waren goed in het mooi maken van de afbeelding (hoge visuele kwaliteit), maar ze waren verschrikkelijk in het krijgen van de juiste fysica.
- Voorbeeld: Toen ze werden gevraagd om "de kraan uit te doen", hielden sommige modellen het water stromen of lieten ze de kraan verdwijnen. Toen ze werden gevraagd om "het mes terug te doen", lieten ze het mes misschien in de lucht zweven.
De Oplossing: De onderzoekers namen één model (genaamd BAGEL) en trainden dit specifiek op hun "Do-Undo"-dataset.
- Het Resultaat: Dit getrainde model werd veel beter in het spel. Het leerde dat als je een lade opent, je deze ook weer moet kunnen sluiten en terug moet keren naar het exacte startpunt. Het begon te begrijpen dat acties de toestand van objecten veranderen, niet alleen de stijl van de afbeelding.

5. Waarom Dit Belangrijk Is

Het artikel betoogt dat AI om echt nuttig te zijn in de echte wereld (zoals het helpen van een robotarm in een keuken), dynamiek moet begrijpen, niet alleen statische afbeeldingen.

De Metafoor: Op dit moment is AI als een kind dat een woordenboek van woorden heeft uit het hoofd geleerd, maar niet heeft geleerd hoe je zinnen spreekt. Ze weten wat "open" en "sluiten" betekenen, maar ze weten niet hoe die woorden interageren met de fysieke wereld.
Het Doel: Deze "Do-Undo"-test is een nieuw rapport. Het dwingt AI om te bewijzen dat het begrijpt dat de wereld omkeerbaar en logisch is, en ebt de weg vrij voor slimmere robots en virtuele assistenten die niet alleen mooie afbeeldingen genereren, maar daadwerkelijk begrijpen hoe dingen werken.

Kortom: Het artikel zegt: "We hebben een test gebouwd waarbij AI een deur moet openen en deze vervolgens perfect moet sluiten om te bewijzen dat het fysica begrijpt. Huidige AI faalt in deze test, maar als we het trainen op echte omkeerbare acties, begint het het goed te krijgen."

Technische Samenvatting: Do-Undo Bench: Omkeerbaarheid voor Actiebegrip in Afbeeldingsgeneratie

Probleemstelling
Huidige Vision-Language Models (VLM's) hebben aanzienlijke vooruitgang geboekt in tekstgestuurde afbeeldingssynthese en -bewerking. Ze blijven echter fundamenteel beperkt in hun vermogen om de fysieke dynamiek van real-world scènes te begrijpen en te simuleren. Bestaande benaderingen richten zich voornamelijk op manipulaties op objectniveau (bijvoorbeeld het toevoegen of verwijderen van objecten) of het behoud van stijlkenmerken zoals belichting, waarbij vaak de onderliggende oorzaak-gevolgrelaties die fysische interacties beheersen, worden verwaarloosd. Bijgevolg worstelen modellen om afbeeldingen te genereren die geloofwaardig de toestandsveranderingen weerspiegelen die voortvloeien uit specifieke fysieke handelingen, zoals het oppakken van een object of het openen van een lade, zonder een continu videoverloop te observeren. Deze kloof belemmert de inzet van VLM's als betrouwbare synthetische datageneratoren voor robotica en embodied AI-agenten, die een begrip vereisen van hoe handelingen omgevingen transformeren.

Methodologie
Om deze beperking aan te pakken, introduceren de auteurs de Do-Undo-taak, een nieuw benchmark- en trainingsparadigma dat vereist dat modellen de uitkomst van een real-world handeling simuleren en deze vervolgens omkeren naar de oorspronkelijke toestand.

Taakformulering: De taak omvat een invoerafbeelding ( $I_O$ ) met een object en een agent (bijvoorbeeld een hand). Gegeven een voorwaartse actieprompt ( $P_F$ ) moet het model de "Do"-afbeelding ( $I_F$ ) genereren die de toestand na de actie voorstelt. Cruciaal is dat het model, gegeven een omgekeerde prompt ( $P_R$ ) en de gegenereerde $I_F$ , de "Undo"-afbeelding ( $I_R$ ) moet genereren die de oorspronkelijke invoertoestand $I_O$ reconstrueert. Deze voorwaarts-omgekeerde vereiste test een echt oorzaak-gevolg-begrip in plaats van oppervlakkige semantische bewerking.
Datasetcursatie (Do-Undo Dataset): De auteurs hebben een grote dataset samengesteld uit de Epic-Kitchens-videodataset, die perspectieven uit het eerste gezicht toont van mensen die dagelijkse taken uitvoeren.
- Selectie: Ze filterden op hoogwaardige frames met omkeerbare handelingen (bijvoorbeeld "openen/sluiten", "oppakken/terugleggen", "aanzetten/uitschakelen") en consistente achtergronden.
- Promptuitbreiding: Aangezien de originele annotaties kort zijn, gebruikten ze een VLM (Qwen3-VL) om actienarraties uit te breiden tot gedetailleerde prompts. Deze prompts bevatten visuele context, objectattributen (kleur, materiaal), agentdetails (handhouding) en ruimtelijke relaties.
- Structuur: De dataset bestaat uit tuples $(I_O, P_F, I_F, P_R)$ , met in totaal 22.529 trainingsstalen en 451 teststalen over 10 actieclasses.
Modeltraining: De auteurs hebben BAGEL fijn afgestemd, een unificerend vision-language model dat interlaced tekst- en afbeeldingsgeneratie mogelijk maakt. De trainingsdoelstelling minimaliseert de gemiddelde kwadratische fout (via rectified flow matching) voor het genereren van de voorwaartse afbeelding $I_F$ geconditioneerd op $I_O$ en $P_F$ , en vervolgens het genereren van de omgekeerde afbeelding $I_R$ geconditioneerd op $I_F$ en $P_R$ , met de beperking dat $I_R$ moet overeenkomen met $I_O$ .

Belangrijkste Bijdragen

Do-Undo-taakformulering: Een nieuwe taak die modellen vereist om de visuele uitkomst van een handeling te genereren en deze nauwkeurig om te keren om de oorspronkelijke scène te reconstrueren. Dit test expliciet het vastleggen van oorzaak-gevolgdynamiek.
Do-Undo-benchmark en dataset: Een hoogwaardige dataset van omkeerbare handelingen ontleend aan real-world video's, vergezeld van een gespecialiseerde promptingstrategie om fysiek consistente visuele generatie te waarborgen.
Empirische evaluatie: Een uitgebreide evaluatie die aantoont dat huidige state-of-the-art modellen (inclusief Qwen-Image en Flux-Kontext) worstelen met actieomkeerbaarheid, wat een fundamentele kloof in actie-redenering onthult ondanks hoge semantische fideliteit.
Baselineverbetering: De ontwikkeling van BAGEL-DoUndo, een model dat is fijn afgestemd op de Do-Undo-dataset, wat een verbeterde fideliteit en consistentie toont in actiebewuste generatie in vergelijking met de baseline.

Resultaten

Zero-Shot-prestaties: State-of-the-art modellen zoals Qwen-Image en BAGEL behaalden hoge scores voor semantische gelijkenis (DINO, CLIP), maar presteerden slecht op metrieken voor actiebegrip (Action Accuracy). Bijvoorbeeld, Qwen-Image behaalde ongeveer 52% nauwkeurigheid op voorwaartse handelingen en ongeveer 29% op omgekeerde handelingen, waarbij vaak objecten werden gehallucineerd of de toestand niet correct werd omgekeerd.
Impact van fijnafstelling: Het BAGEL-DoUndo-model presteerde aanzienlijk beter dan de baseline BAGEL. Het behaalde een hogere actienauwkeurigheid (58,77% voorwaarts, 36,26% omgekeerd) en betere semantische consistentie (DINO-scores >0,83).
Ablatiestudies: Training alleen op voorwaartse handelingen (zelfs met uitgebreide prompts) slaagde er niet in robuust actiebegrip te induceren. De opname van omgekeerde afbeeldingsparen werd geïdentificeerd als cruciaal voor prestatiewinst.
Meer-draads generatie: In multi-turn scenario's waarbij modellen een reeks handelingen genereren, behield BAGEL-DoUndo een betere achtergrondconsistentie en objecttoestandsnauwkeurigheid in vergelijking met de baseline, zoals blijkt uit de analyse van optische stroomfouten (EPE).
Gebruikersstudie: Menselijke beoordelaars gaven BAGEL-DoUndo in 66,7% van de gevallen de voorkeur boven de baseline, met als reden betere naleving van actiesemantiek en objectinteracties.

Betekenis en Claims
Het artikel claimt dat de Do-Undo-benchmark dient als een kritieke testomgeving voor het evalueren en bevorderen van actiebewuste generatie in multimodale systemen. De auteurs betogen dat het onvermogen van huidige modellen om handelingen om te keren, een gebrek aan echt fysiek redeneren blootlegt, wat essentieel is voor betrouwbare embodied AI. Door aan te tonen dat expliciete supervisie op omkeerbare handelingen de generatiefideliteit verbetert, suggereert het werk een pad naar de ontwikkeling van VLM's die kunnen redeneren over real-world dynamiek en fysiek plausibele synthetische data kunnen genereren voor robotica en simulatie. De auteurs blijven bescheiden, en merken op dat hun werk momenteel beperkt is tot keukenomgevingen en algemene VLM's, waarbij toekomstig werk nodig is om deze benchmarks uit te breiden naar gespecialiseerde embodied omgevingen en complexere causale relaties.