🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Ce papier présente le benchmark Do-Undo, un cadre novateur qui évalue la capacité des modèles vision-langage à comprendre la dynamique des actions dans le monde réel en les contraignant à générer des transformations de scènes plausibles puis à les inverser pour les ramener à leur état initial.

Auteurs originaux : Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un album photo magique. Vous pouvez dire à l'album : « Ouvre le réfrigérateur », et il vous montre une image d'un réfrigérateur ouvert. Mais voici le hic : la plupart des albums photo intelligents les plus avancés d'aujourd'hui sont comme des magiciens qui ne connaissent que l'astuce, pas la physique. Ils pourraient vous montrer un réfrigérateur ouvert, mais si vous leur demandez de « le refermer », ils pourraient accidentellement supprimer le réfrigérateur, changer la couleur du mur, ou laisser la porte flotter en plein air. Ils ne comprennent pas vraiment que l'ouverture d'une porte et sa fermeture sont les deux faces d'une même pièce.

Ce papier présente un nouveau test appelé Do-Undo Bench pour déterminer si l'IA peut réellement comprendre comment fonctionne le monde réel, plutôt que de simplement deviner à quoi une image devrait ressembler.

Voici la décomposition de leur idée à l'aide d'analogies simples :

1. Le Problème : L'IA de la « Rue à Sens Unique »

Les modèles d'IA actuels sont excellents pour suivre des instructions comme « ajoute un chat » ou « supprime l'arbre ». Mais ils peinent avec les actions qui modifient l'état d'un objet.

L'Analogie : Imaginez une IA qui sait comment construire un château de sable. Si vous lui demandez de « construire un château de sable », elle fait un excellent travail. Mais si vous lui demandez ensuite de « défaire cela et de remettre le sable dans le seau », elle pourrait simplement supprimer l'image entière ou transformer le sable en eau. Elle ne comprend pas que le sable s'est déplacé du seau vers le château et peut revenir en arrière.

2. La Solution : Le Défi « Faire-Défaire »

Les chercheurs ont créé un nouveau jeu pour l'IA. Pour réussir le test, l'IA doit accomplir deux choses à la suite :

Faire : Regarder une image (par exemple, un tiroir fermé) et une commande (« Ouvre le tiroir »), puis générer une nouvelle image montrant le tiroir ouvert.
Défaire : Regarder cette nouvelle image du tiroir ouvert et une commande inverse (« Ferme le tiroir »), puis générer une image qui ressemble exactement au tiroir fermé original.

Si l'IA peut faire les deux parfaitement, cela prouve qu'elle comprend la cause et l'effet. Elle sait que « ouvrir » pousse le tiroir vers l'extérieur, et que « fermer » le tire vers l'intérieur, sans modifier le reste de la cuisine.

3. Le Jeu de Données : Vidéos de Cuisine de la Vie Réelle

Pour enseigner cette leçon à l'IA, les chercheurs n'ont pas simplement inventé des images aléatoires. Ils ont utilisé des milliers de vidéos réelles issues du jeu de données Epic-Kitchens (des personnes cuisinant dans leurs propres foyers).

Le Processus : Ils ont pris des extraits vidéo d'actions réelles, comme « prendre une cuillère » ou « allumer un robinet ».
Le Filtre : Ils n'ont conservé que les actions réversibles. Vous pouvez ouvrir et fermer un tiroir, mais vous ne pouvez pas vraiment « dé-couper » un morceau de papier. Ils ont donc éliminé les actions irréversibles.
L'Extension : Les descriptions vidéo originales étaient très courtes (comme « ouvrir le tiroir »). Les chercheurs ont utilisé une IA intelligente pour les étendre en histoires longues et détaillées (par exemple : « Utilisez votre main droite pour tirer le tiroir en bois vers l'arrière jusqu'à ce qu'il soit entièrement ouvert, révélant la couverts à l'intérieur »). Cela donne à l'IA une carte beaucoup plus claire de ce qu'il faut faire.

4. Les Résultats : L'IA Apprend Encore

Les chercheurs ont testé les meilleurs modèles d'IA mondiaux sur ce nouveau jeu « Faire-Défaire ».

Le Score : Même les modèles les plus intelligents ont échoué. Ils étaient bons pour rendre l'image jolie (haute qualité visuelle), mais ils étaient terribles pour respecter la physique.
- Exemple : Lorsqu'on leur demandait « éteins le robinet », certains modèles laissaient l'eau couler ou faisaient disparaître le robinet. Lorsqu'on leur demandait « remets le couteau », ils pouvaient laisser le couteau flotter dans les airs.
La Correction : Les chercheurs ont pris un modèle (appelé BAGEL) et l'ont entraîné spécifiquement sur leur jeu de données « Faire-Défaire ».
- Le Résultat : Ce modèle entraîné s'est beaucoup amélioré dans le jeu. Il a appris que si vous ouvrez un tiroir, vous devez pouvoir le refermer et revenir exactement au point de départ. Il a commencé à comprendre que les actions modifient l'état des objets, et non simplement le style de l'image.

5. Pourquoi Cela Compte

L'article soutient que pour que l'IA soit véritablement utile dans le monde réel (comme aider un bras robotique dans une cuisine), elle doit comprendre la dynamique, et non pas seulement les images statiques.

La Métaphore : Pour l'instant, l'IA est comme un enfant qui a mémorisé un dictionnaire de mots mais qui n'a pas appris à former des phrases. Elle sait ce que signifient « ouvrir » et « fermer », mais elle ne sait pas comment ces mots interagissent avec le monde physique.
L'Objectif : Ce test « Faire-Défaire » est un nouveau bulletin de notes. Il force l'IA à prouver qu'elle comprend que le monde est réversible et logique, ouvrant la voie à des robots plus intelligents et à des assistants virtuels qui ne se contentent pas de générer de jolies images, mais qui comprennent réellement comment les choses fonctionnent.

En bref : L'article dit : « Nous avons créé un test où l'IA doit ouvrir une porte puis la refermer parfaitement pour prouver qu'elle comprend la physique. L'IA actuelle échoue à ce test, mais si nous l'entraînons sur des actions réversibles de la vie réelle, elle commence à bien faire. »

Résumé Technique : Do-Undo Bench : Réversibilité pour la Compréhension des Actions dans la Génération d'Images

Énoncé du Problème
Les modèles vision-langage (VLM) actuels ont réalisé des progrès significatifs dans la synthèse et l'édition d'images pilotées par le texte. Cependant, ils restent fondamentalement limités dans leur capacité à comprendre et à simuler la dynamique physique des scènes du monde réel. Les approches existantes se concentrent principalement sur des manipulations au niveau des objets (par exemple, ajouter ou supprimer des objets) ou sur le maintien de propriétés stylistiques telles que l'éclairage, négligeant souvent les relations de cause à effet sous-jacentes qui régissent les interactions physiques. Par conséquent, les modèles peinent à générer des images reflétant de manière plausible les changements d'état résultant d'actions physiques spécifiques, telles que saisir un objet ou ouvrir un tiroir, sans observer une séquence vidéo continue. Ce fossé entrave le déploiement des VLM en tant que générateurs de données synthétiques fiables pour la robotique et les agents d'intelligence artificielle incarnée, qui nécessitent une compréhension de la manière dont les actions transforment les environnements.

Méthodologie
Pour remédier à cette limitation, les auteurs introduisent la tâche Do-Undo, un nouveau benchmark et paradigme d'entraînement qui exige des modèles qu'ils simulent le résultat d'une action du monde réel, puis l'inversent pour revenir à l'état initial.

Formulation de la Tâche : La tâche implique une image d'entrée ( $I_O$ ) contenant un objet et un agent (par exemple, une main). Étant donné un prompt d'action forward ( $P_F$ ), le modèle doit générer l'image "Do" ( $I_F$ ) représentant l'état après l'action. Crucialement, étant donné un prompt inverse ( $P_R$ ) et l'image $I_F$ générée, le modèle doit générer l'image "Undo" ( $I_R$ ) qui reconstruit l'état d'entrée original $I_O$ . Cette exigence forward-reverse teste la compréhension réelle des relations de cause à effet plutôt qu'un simple édition sémantique superficielle.
Curation du Jeu de Données (Jeu de Données Do-Undo) : Les auteurs ont constitué un jeu de données à grande échelle à partir du jeu de données vidéo Epic-Kitchens, qui présente des perspectives à la première personne de humains effectuant des tâches quotidiennes.
- Sélection : Ils ont filtré pour des images de haute qualité présentant des actions réversibles (par exemple, "ouvrir/fermer", "saisir/poser", "allumer/éteindre") et des arrière-plans cohérents.
- Expansion des Prompts : Les annotations originales étant courtes, ils ont employé un VLM (Qwen3-VL) pour étendre les narrations d'actions en prompts détaillés. Ces prompts incluent le contexte visuel, les attributs des objets (couleur, matériau), les détails de l'agent (posture de la main) et les relations spatiales.
- Structure : Le jeu de données se compose de tuples $(I_O, P_F, I_F, P_R)$ , totalisant 22 529 échantillons d'entraînement et 451 échantillons de test répartis sur 10 classes d'actions.
Entraînement du Modèle : Les auteurs ont affiné BAGEL, un modèle vision-langage unifié capable de génération intercalée de texte et d'images. L'objectif d'entraînement minimise l'erreur quadratique moyenne (via l'appariement de flux rectifié) pour générer l'image forward $I_F$ conditionnée par $I_O$ et $P_F$ , puis générer l'image inverse $I_R$ conditionnée par $I_F$ et $P_R$ , avec la contrainte que $I_R$ doit correspondre à $I_O$ .

Contributions Clés

Formulation de la Tâche Do-Undo : Une nouvelle tâche exigeant des modèles qu'ils génèrent le résultat visuel d'une action et l'inversent avec précision pour reconstruire la scène originale. Cela teste explicitement la capture des dynamiques de cause à effet.
Benchmark et Jeu de Données Do-Undo : Un jeu de données de haute qualité d'actions réversibles extrait de vidéos du monde réel, accompagné d'une stratégie de prompting spécialisée pour assurer une génération visuelle physiquement cohérente.
Évaluation Empirique : Une évaluation complète démontrant que les modèles actuels de l'état de l'art (y compris Qwen-Image et Flux-Kontext) peinent avec la réversibilité des actions, révélant un fossé fondamental dans le raisonnement sur les actions malgré une haute fidélité sémantique.
Amélioration de la Référence : Le développement de BAGEL-DoUndo, un modèle affiné sur le jeu de données Do-Undo, qui montre une fidélité et une cohérence améliorées dans la génération consciente des actions par rapport à la référence.

Résultats

Performance Zero-Shot : Les modèles de l'état de l'art comme Qwen-Image et BAGEL ont obtenu des scores de similarité sémantique élevés (DINO, CLIP) mais ont mal performé sur les métriques de compréhension des actions (Précision des Actions). Par exemple, Qwen-Image a atteint une précision d'environ 52 % sur les actions forward et environ 29 % sur les actions inverses, hallucinant souvent des objets ou échouant à inverser correctement l'état.
Impact du Finetuning : Le modèle BAGEL-DoUndo a nettement surpassé la référence BAGEL. Il a atteint une précision d'action plus élevée (58,77 % forward, 36,26 % inverse) et une meilleure cohérence sémantique (scores DINO > 0,83).
Études d'Ablation : L'entraînement uniquement sur des actions forward (même avec des prompts étendus) a échoué à induire une compréhension robuste des actions. L'inclusion de paires d'images inverses a été identifiée comme cruciale pour les gains de performance.
Génération Multi-tours : Dans des scénarios multi-tours où les modèles génèrent une séquence d'actions, BAGEL-DoUndo a maintenu une meilleure cohérence de l'arrière-plan et une précision de l'état des objets par rapport à la référence, comme en témoigne l'analyse de l'erreur de flux optique (EPE).
Étude Utilisateur : Les évaluateurs humains ont préféré BAGEL-DoUndo à la référence dans 66,7 % des cas, citant une meilleure adhérence aux sémantiques des actions et aux interactions d'objets.

Signification et Revendications
L'article revendique que le benchmark Do-Undo sert de terrain d'essai critique pour évaluer et faire progresser la génération consciente des actions dans les systèmes multimodaux. Les auteurs soutiennent que l'incapacité des modèles actuels à inverser les actions met en évidence un manque de raisonnement physique réel, essentiel pour une intelligence artificielle incarnée fiable. En démontrant qu'une supervision explicite sur les actions réversibles améliore la fidélité de la génération, ce travail suggère une voie vers le développement de VLM capables de raisonner sur les dynamiques du monde réel et de générer des données synthétiques physiquement plausibles pour la robotique et la simulation. Les auteurs restent modestes, notant que leur travail est actuellement limité aux environnements de cuisine et aux VLM à usage général, et qu'un travail futur est nécessaire pour étendre ces benchmarks à des environnements incarnés spécialisés et à des relations causales plus complexes.