🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Dieser Beitrag stellt den Do-Undo-Benchmark vor, ein neuartiges Framework, das die Fähigkeit von Vision-Sprach-Modellen bewertet, reale Aktionsdynamiken zu verstehen, indem es von ihnen verlangt, plausible Szenentransformationen zu generieren und diese anschließend wieder in ihren ursprünglichen Zustand zurückzuführen.

Ursprüngliche Autoren: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein magisches Fotoalbum. Sie können dem Album sagen: „Öffne den Kühlschrank", und es zeigt Ihnen ein Bild eines geöffneten Kühlschranks. Doch hier liegt der Haken: Die meisten der heutigen klügsten KI-Fotoalben sind wie Zauberer, die nur den Trick kennen, nicht aber die Physik. Sie könnten Ihnen zwar einen geöffneten Kühlschrank zeigen, aber wenn Sie sie bitten, ihn „wieder zu schließen", löschen sie möglicherweise versehentlich den Kühlschrank, ändern die Farbe der Wand oder lassen die Tür in der Luft schweben. Sie verstehen nicht wirklich, dass das Öffnen und Schließen einer Tür zwei Seiten derselben Medaille sind.

Diese Arbeit stellt einen neuen Test vor, der Do-Undo Bench genannt wird, um zu prüfen, ob KI tatsächlich versteht, wie die reale Welt funktioniert, anstatt nur zu raten, wie ein Bild aussehen sollte.

Hier ist die Aufschlüsselung ihrer Idee unter Verwendung einfacher Analogien:

1. Das Problem: Die KI der „Einbahnstraße"

Aktuelle KI-Modelle sind hervorragend darin, Anweisungen wie „Füge eine Katze hinzu" oder „Entferne den Baum" zu befolgen. Doch sie haben Schwierigkeiten mit Aktionen, die den Zustand eines Objekts verändern.

Die Analogie: Stellen Sie sich eine KI vor, die weiß, wie man eine Sandburg baut. Wenn Sie sie bitten, eine Sandburg zu bauen, erledigt sie dies hervorragend. Doch wenn Sie sie dann bitten, das rückgängig zu machen und den Sand zurück in den Eimer zu legen, löscht sie möglicherweise einfach das gesamte Bild oder verwandelt den Sand in Wasser. Sie versteht nicht, dass der Sand von dem Eimer zur Burg bewegt wurde und zurückbewegt werden kann.

2. Die Lösung: Die „Do-Undo"-Herausforderung

Die Forscher haben ein neues Spiel für KI entwickelt. Um den Test zu bestehen, muss die KI zwei Dinge hintereinander tun:

Do: Schauen Sie sich ein Bild an (z. B. eine geschlossene Schublade) und einen Befehl („Öffne die Schublade"), und generieren Sie dann ein neues Bild, das die geöffnete Schublade zeigt.
Undo: Schauen Sie sich dieses neue Bild der geöffneten Schublade und einen umgekehrten Befehl („Schließe die Schublade") an, und generieren Sie dann ein Bild, das genau wie das ursprüngliche geschlossene Bild aussieht.

Wenn die KI beides perfekt durchführen kann, beweist dies, dass sie Ursache und Wirkung versteht. Sie weiß, dass „Öffnen" die Schublade herausdrückt und „Schließen" sie wieder hereinzieht, ohne den Rest der Küche zu verändern.

3. Der Datensatz: Videos aus echten Küchen

Um der KI diese Lektion beizubringen, haben die Forscher nicht einfach zufällige Bilder erfunden. Sie verwendeten Tausende von echten Videos aus dem Epic-Kitchens-Datensatz (Menschen, die in ihren eigenen Häusern kochen).

Der Prozess: Sie nahmen Videoclips echter Aktionen auf, wie „Löffel aufheben" oder „Wasserhahn aufdrehen".
Der Filter: Sie behielten nur Aktionen, die rückgängig gemacht werden können. Man kann eine Schublade öffnen und schließen, aber ein Stück Papier kann man nicht wirklich „un-zerschneiden". Daher verworfen sie die irreversiblen Aktionen.
Die Erweiterung: Die ursprünglichen Videobeschreibungen waren sehr kurz (wie „Schublade öffnen"). Die Forscher nutzten eine intelligente KI, um diese zu langen, detaillierten Geschichten auszubauen (z. B. „Verwenden Sie Ihre rechte Hand, um die Holzschublade nach hinten zu ziehen, bis sie vollständig geöffnet ist und das Besteck darin sichtbar wird"). Dies gibt der KI eine viel klarere Landkarte dessen, was zu tun ist.

4. Die Ergebnisse: KI lernt noch

Die Forscher testeten die weltweit besten KI-Modelle auf diesem neuen „Do-Undo"-Spiel.

Die Punktzahl: Selbst die klügsten Modelle scheiterten. Sie waren gut darin, das Bild hübsch aussehen zu lassen (hohe visuelle Qualität), aber sie waren schrecklich darin, die Physik richtig hinzubekommen.
- Beispiel: Als sie aufgefordert wurden, den Wasserhahn „abzudrehen", ließen einige Modelle das Wasser weiterlaufen oder ließen den Wasserhahn verschwinden. Als sie aufgefordert wurden, das Messer „zurückzulegen", ließen sie das Messer möglicherweise in der Luft schweben.
Die Lösung: Die Forscher nahmen ein Modell (genannt BAGEL) und trainierten es speziell auf ihrem „Do-Undo"-Datensatz.
- Das Ergebnis: Dieses trainierte Modell wurde im Spiel viel besser. Es lernte, dass wenn man eine Schublade öffnet, man sie schließen und zum exakten Ausgangspunkt zurückkehren können muss. Es begann zu verstehen, dass Aktionen den Zustand von Objekten verändern, nicht nur den Stil des Bildes.

5. Warum dies wichtig ist

Die Arbeit argumentiert, dass KI, um in der realen Welt wirklich nützlich zu sein (wie bei der Unterstützung eines Roboterarms in einer Küche), Dynamik verstehen muss, nicht nur statische Bilder.

Die Metapher: Derzeit ist KI wie ein Kind, das ein Wörterbuch mit Wörtern auswendig gelernt hat, aber noch nicht gelernt hat, in Sätzen zu sprechen. Sie wissen, was „öffnen" und „schließen" bedeuten, aber sie wissen nicht, wie diese Wörter mit der physischen Welt interagieren.
Das Ziel: Dieser „Do-Undo"-Test ist ein neuer Zeugnis. Er zwingt die KI, zu beweisen, dass sie versteht, dass die Welt reversibel und logisch ist, und ebnet den Weg für intelligentere Roboter und virtuelle Assistenten, die nicht nur hübsche Bilder generieren, sondern tatsächlich verstehen, wie Dinge funktionieren.

Kurz gesagt: Die Arbeit sagt: „Wir haben einen Test entwickelt, bei dem die KI eine Tür öffnen und dann perfekt wieder schließen muss, um zu beweisen, dass sie Physik versteht. Aktuelle KI besteht diesen Test nicht, aber wenn wir sie auf reale, reversible Aktionen trainieren, beginnt sie, es richtig zu machen."

Technischer Zusammenfassung: Do-Undo Bench: Reversibilität für das Handlungsverständnis in der Bildgenerierung

Problemstellung
Aktuelle Vision-Language-Modelle (VLMs) haben erhebliche Fortschritte bei der textgesteuerten Bildsynthese und -bearbeitung erzielt. Sie bleiben jedoch in ihrer Fähigkeit, die physikalischen Dynamiken realer Szenen zu verstehen und zu simulieren, grundlegend begrenzt. Bestehende Ansätze konzentrieren sich hauptsächlich auf Objektmanipulationen (z. B. Hinzufügen oder Entfernen von Objekten) oder die Beibehaltung stilistischer Eigenschaften wie Beleuchtung, wobei oft die zugrunde liegenden Ursache-Wirkungs-Beziehungen vernachlässigt werden, die physikalische Interaktionen steuern. Folglich haben Modelle Schwierigkeiten, Bilder zu generieren, die plausibel die Zustandsänderungen widerspiegeln, die aus spezifischen physikalischen Aktionen resultieren, wie zum Beispiel das Aufnehmen eines Objekts oder das Öffnen einer Schublade, ohne eine kontinuierliche Videosequenz zu beobachten. Diese Lücke behindert den Einsatz von VLMs als zuverlässige Generatoren synthetischer Daten für Robotik und embodied-AI-Agenten, die ein Verständnis dafür benötigen, wie Aktionen Umgebungen transformieren.

Methodik
Um diese Einschränkung zu adressieren, führen die Autoren die Do-Undo-Aufgabe ein, ein neuartiger Benchmark und ein Trainingsparadigma, die von Modellen verlangen, das Ergebnis einer realen Aktion zu simulieren und sie anschließend in den ursprünglichen Zustand zurückzuführen.

Aufgabenformulierung: Die Aufgabe umfasst ein Eingabebild ( $I_O$ ), das ein Objekt und einen Agenten (z. B. eine Hand) enthält. Gegeben einen Vorwärts-Aktionsprompt ( $P_F$ ) muss das Modell das „Do"-Bild ( $I_F$ ) generieren, das den Zustand nach der Aktion darstellt. Entscheidend ist, dass das Modell gegeben einen Reverse-Prompt ( $P_R$ ) und das generierte $I_F$ das „Undo"-Bild ( $I_R$ ) generieren muss, das den ursprünglichen Eingabezustand $I_O$ rekonstruiert. Diese Vorwärts-Rückwärts-Anforderung testet ein echtes Ursache-Wirkungs-Verständnis anstelle von oberflächlicher semantischer Bearbeitung.
Datensatz-Kuration (Do-Undo-Datensatz): Die Autoren haben einen groß angelegten Datensatz aus dem Epic-Kitchens-Videodatensatz kuratiert, der erste-Person-Perspektiven von Menschen zeigt, die alltägliche Aufgaben ausführen.
- Auswahl: Sie filterten nach hochwertigen Frames mit reversiblen Aktionen (z. B. „öffnen/schließen", „aufnehmen/ablegen", „einschalten/ausschalten") und konsistenten Hintergründen.
- Prompt-Erweiterung: Da die ursprünglichen Annotationen kurz sind, setzten sie ein VLM (Qwen3-VL) ein, um Aktionsbeschreibungen in detaillierte Prompts zu erweitern. Diese Prompts umfassen visuellen Kontext, Objektattribute (Farbe, Material), Agentendetails (Handhaltung) und räumliche Beziehungen.
- Struktur: Der Datensatz besteht aus Tupeln $(I_O, P_F, I_F, P_R)$ und umfasst insgesamt 22.529 Trainingsproben und 451 Testproben über 10 Aktionsklassen hinweg.
Modelltraining: Die Autoren fine-tunten BAGEL, ein einheitliches Vision-Language-Modell, das zur alternierenden Text- und Bildgenerierung fähig ist. Das Trainingsziel minimiert den mittleren quadratischen Fehler (via rectified flow matching) für die Generierung des Vorwärtsbildes $I_F$ , konditioniert auf $I_O$ und $P_F$ , und anschließend für die Generierung des Reverse-Bildes $I_R$ , konditioniert auf $I_F$ und $P_R$ , mit der Einschränkung, dass $I_R$ mit $I_O$ übereinstimmen soll.

Hauptbeiträge

Do-Undo-Aufgabenformulierung: Eine neue Aufgabe, die von Modellen verlangt, das visuelle Ergebnis einer Aktion zu generieren und sie präzise umzukehren, um die ursprüngliche Szene wiederherzustellen. Dies testet explizit die Erfassung von Ursache-Wirkungs-Dynamiken.
Do-Undo-Benchmark und Datensatz: Ein hochwertiger Datensatz reversibler Aktionen, extrahiert aus realen Videos, begleitet von einer spezialisierten Prompt-Strategie, um physikalisch konsistente visuelle Generierung sicherzustellen.
Empirische Evaluation: Eine umfassende Evaluierung zeigt, dass aktuelle State-of-the-Art-Modelle (einschließlich Qwen-Image und Flux-Kontext) Schwierigkeiten mit der Reversibilität von Aktionen haben und damit eine fundamentale Lücke im Handlungsverständnis trotz hoher semantischer Treue aufdecken.
Baseline-Verbesserung: Die Entwicklung von BAGEL-DoUndo, einem auf dem Do-Undo-Datensatz fine-getunten Modell, das im Vergleich zur Baseline eine verbesserte Treue und Konsistenz bei der handlungsorientierten Generierung aufweist.

Ergebnisse

Zero-Shot-Leistung: State-of-the-Art-Modelle wie Qwen-Image und BAGEL erzielten hohe semantische Ähnlichkeitswerte (DINO, CLIP), schnitten jedoch bei Metriken zum Handlungsverständnis (Action Accuracy) schlecht ab. So erreichte Qwen-Image beispielsweise eine Genauigkeit von ca. 52 % bei Vorwärtsaktionen und ca. 29 % bei Reverse-Aktionen, wobei es häufig Objekte halluzinierte oder den Zustand nicht korrekt umkehrte.
Auswirkung des Fine-Tunings: Das Modell BAGEL-DoUndo übertraf die Baseline BAGEL deutlich. Es erreichte eine höhere Aktionsgenauigkeit (58,77 % Vorwärts, 36,26 % Reverse) und eine bessere semantische Konsistenz (DINO-Werte >0,83).
Ablationsstudien: Das Training nur auf Vorwärtsaktionen (selbst mit erweiterten Prompts) führte nicht zu einem robusten Handlungsverständnis. Die Einbeziehung von Reverse-Bildpaaren wurde als kritisch für Leistungssteigerungen identifiziert.
Multi-Turn-Generierung: In Multi-Turn-Szenarien, in denen Modelle eine Sequenz von Aktionen generieren, behielt BAGEL-DoUndo im Vergleich zur Baseline eine bessere Hintergrundkonsistenz und Objektzustandsgenauigkeit bei, wie durch die Analyse des optischen Flussfehlers (EPE) belegt wird.
Benutzerstudie: Menschliche Evaluatoren bevorzugten BAGEL-DoUndo in 66,7 % der Fälle gegenüber der Baseline und führten dies auf eine bessere Einhaltung von Aktionssemantik und Objektinteraktionen zurück.

Bedeutung und Behauptungen
Die Autoren behaupten, dass der Do-Undo-Benchmark als kritischer Teststand für die Evaluierung und Weiterentwicklung handlungsorientierter Generierung in multimodalen Systemen dient. Die Autoren argumentieren, dass die Unfähigkeit aktueller Modelle, Aktionen umzukehren, einen Mangel an echtem physikalischem Reasoning aufzeigt, der für zuverlässige embodied AI unerlässlich ist. Durch den Nachweis, dass explizite Supervision bei reversiblen Aktionen die Generierungstreue verbessert, legt die Arbeit einen Weg zur Entwicklung von VLMs nahe, die über reale Dynamiken reasoning können und physikalisch plausible synthetische Daten für Robotik und Simulation generieren. Die Autoren bleiben bescheiden und stellen fest, dass ihre Arbeit derzeit auf Küchenumgebungen und allgemeine VLMs beschränkt ist, wobei zukünftige Arbeiten erforderlich sind, um diese Benchmarks auf spezialisierte embodied Umgebungen und komplexere kausale Beziehungen zu erweitern.