🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Este artigo apresenta o benchmark Do-Undo, um novo framework que avalia a capacidade dos modelos visão-linguagem de compreender a dinâmica de ações do mundo real ao exigir que eles gerem transformações plausíveis de cena e, subsequentemente, as revertam aos seus estados originais.

Autores originais: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Publicado 2026-05-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um álbum de fotos mágico. Você pode dizer ao álbum: "Abra a geladeira", e ele mostra uma foto de uma geladeira aberta. Mas aqui está o problema: a maioria dos álbuns de fotos com IA mais inteligentes de hoje é como mágicos que conhecem apenas o truque, não a física. Eles podem mostrar uma geladeira aberta, mas se você pedir para "fechá-la novamente", podem acidentalmente deletar a geladeira, mudar a cor da parede ou deixar a porta flutuando no ar. Eles não entendem verdadeiramente que abrir uma porta e fechá-la são dois lados da mesma moeda.

Este artigo apresenta um novo teste chamado Do-Undo Bench para verificar se a IA realmente entende como o mundo real funciona, em vez de apenas adivinhar como uma imagem deveria parecer.

Aqui está a explicação da ideia deles usando analogias simples:

1. O Problema: A IA de "Rua de Mão Única"

Os modelos de IA atuais são ótimos em seguir instruções como "adicione um gato" ou "remova a árvore". Mas eles têm dificuldade com ações que alteram o estado de um objeto.

A Analogia: Pense em uma IA que sabe como construir um castelo de areia. Se você pedir para "construir um castelo de areia", ela faz um ótimo trabalho. Mas se você então pedir para "desfazer isso e colocar a areia de volta no balde", ela pode simplesmente deletar a imagem inteira ou transformar a areia em água. Ela não entende que a areia movimentou-se do balde para o castelo e pode voltar.

2. A Solução: O Desafio "Faça-Desfaça"

Os pesquisadores criaram um novo jogo para a IA. Para passar no teste, a IA precisa fazer duas coisas consecutivamente:

Faça: Olhe para uma imagem (por exemplo, uma gaveta fechada) e um comando ("Abra a gaveta"), depois gere uma nova imagem mostrando a gaveta aberta.
Desfaça: Olhe para essa nova imagem da gaveta aberta e um comando reverso ("Feche a gaveta"), depois gere uma imagem que pareça exatamente com a original gaveta fechada.

Se a IA conseguir fazer ambas as coisas perfeitamente, isso prova que ela entende causa e efeito. Ela sabe que "abrir" empurra a gaveta para fora e "fechar" puxa-a de volta, sem alterar o resto da cozinha.

3. O Conjunto de Dados: Vídeos Reais de Cozinhas

Para ensinar essa lição à IA, os pesquisadores não criaram apenas imagens aleatórias. Eles usaram milhares de vídeos reais do conjunto de dados Epic-Kitchens (pessoas cozinhando em suas próprias casas).

O Processo: Eles pegaram clipes de vídeo de ações reais, como "pegar uma colher" ou "ligar uma torneira".
O Filtro: Eles mantiveram apenas ações que podiam ser revertidas. Você pode abrir e fechar uma gaveta, mas não pode realmente "des-cortar" um pedaço de papel. Então, eles descartaram os irreversíveis.
A Expansão: As descrições originais dos vídeos eram muito curtas (como "abrir gaveta"). Os pesquisadores usaram uma IA inteligente para expandi-las em histórias longas e detalhadas (por exemplo: "Use sua mão direita para puxar a gaveta de madeira para trás até que ela esteja totalmente aberta, revelando os talheres dentro"). Isso dá à IA um mapa muito mais claro do que fazer.

4. Os Resultados: A IA Ainda Está Aprendendo

Os pesquisadores testaram os melhores modelos de IA do mundo neste novo jogo "Faça-Desfaça".

A Pontuação: Mesmo os modelos mais inteligentes falharam. Eles eram bons em fazer a imagem parecer bonita (alta qualidade visual), mas eram terríveis em acertar a física.
- Exemplo: Quando solicitados a "desligar a torneira", alguns modelos mantiveram a água fluindo ou fizeram a torneira desaparecer. Quando solicitados a "colocar a faca de volta", eles podiam deixar a faca flutuando no ar.
A Correção: Os pesquisadores pegaram um modelo (chamado BAGEL) e o treinaram especificamente em seu conjunto de dados "Faça-Desfaça".
- O Resultado: Este modelo treinado ficou muito melhor no jogo. Ele aprendeu que, se você abrir uma gaveta, deve ser capaz de fechá-la e retornar ao ponto de partida exato. Ele começou a entender que ações alteram o estado dos objetos, não apenas o estilo da imagem.

5. Por Que Isso Importa

O artigo argumenta que, para a IA ser verdadeiramente útil no mundo real (como ajudar um braço robótico em uma cozinha), ela precisa entender dinâmicas, não apenas imagens estáticas.

A Metáfora: Atualmente, a IA é como uma criança que memorizou um dicionário de palavras, mas não aprendeu a falar em frases. Ela sabe o que "abrir" e "fechar" significam, mas não sabe como essas palavras interagem com o mundo físico.
O Objetivo: Este teste "Faça-Desfaça" é um novo boletim escolar. Ele força a IA a provar que entende que o mundo é reversível e lógico, abrindo caminho para robôs e assistentes virtuais mais inteligentes que não apenas geram imagens bonitas, mas realmente entendem como as coisas funcionam.

Em resumo: O artigo diz: "Criamos um teste onde a IA tem que abrir uma porta e depois fechá-la perfeitamente para provar que entende a física. A IA atual falha neste teste, mas se a treinarmos em ações reversíveis da vida real, ela começa a acertar."

Resumo Técnico: Do-Undo Bench: Reversibilidade para Compreensão de Ações em Geração de Imagens

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) atuais alcançaram progresso significativo na síntese e edição de imagens orientadas por texto. No entanto, permanecem fundamentalmente limitados em sua capacidade de entender e simular as dinâmicas físicas de cenas do mundo real. As abordagens existentes focam principalmente em manipulações ao nível de objetos (por exemplo, adicionar ou remover objetos) ou em manter propriedades estilísticas como iluminação, frequentemente negligenciando as relações de causa e efeito subjacentes que governam as interações físicas. Consequentemente, os modelos lutam para gerar imagens que reflitam plausivelmente as mudanças de estado resultantes de ações físicas específicas, como pegar um objeto ou abrir uma gaveta, sem observar uma sequência de vídeo contínua. Essa lacuna impede a implantação de VLMs como geradores de dados sintéticos confiáveis para robótica e agentes de IA incorporada, que exigem uma compreensão de como as ações transformam ambientes.

Metodologia
Para abordar essa limitação, os autores introduzem a tarefa Do-Undo, um novo benchmark e paradigma de treinamento que exige que os modelos simulem o resultado de uma ação do mundo real e, em seguida, a revertam ao estado original.

Formulação da Tarefa: A tarefa envolve uma imagem de entrada ( $I_O$ ) contendo um objeto e um agente (por exemplo, uma mão). Dado um prompt de ação forward ( $P_F$ ), o modelo deve gerar a imagem "Do" ( $I_F$ ) representando o estado após a ação. Crucialmente, dado um prompt reverso ( $P_R$ ) e a $I_F$ gerada, o modelo deve gerar a imagem "Undo" ( $I_R$ ) que reconstrói o estado de entrada original $I_O$ . Este requisito forward-reverse testa a compreensão genuína de causa e efeito, em vez de edição semântica superficial.
Curadoria do Dataset (Dataset Do-Undo): Os autores curaram um dataset de grande escala a partir do dataset de vídeo Epic-Kitchens, que apresenta perspectivas em primeira pessoa de humanos realizando tarefas diárias.
- Seleção: Eles filtraram quadros de alta qualidade com ações reversíveis (por exemplo, "abrir/fechar", "pegar/colocar", "ligar/desligar") e fundos consistentes.
- Expansão de Prompts: Como as anotações originais são curtas, eles empregaram um VLM (Qwen3-VL) para expandir narrativas de ação em prompts detalhados. Esses prompts incluem contexto visual, atributos de objetos (cor, material), detalhes do agente (postura da mão) e relações espaciais.
- Estrutura: O dataset consiste em tuplas $(I_O, P_F, I_F, P_R)$ , totalizando 22.529 amostras de treinamento e 451 amostras de teste em 10 classes de ação.
Treinamento do Modelo: Os autores ajustaram finamente o BAGEL, um modelo unificado visão-linguagem capaz de geração intercalada de texto e imagem. O objetivo de treinamento minimiza o erro quadrático médio (via correspondência de fluxo retificado) para gerar a imagem forward $I_F$ condicionada a $I_O$ e $P_F$ , e subsequentemente gerar a imagem reverse $I_R$ condicionada a $I_F$ e $P_R$ , com a restrição de que $I_R$ deve corresponder a $I_O$ .

Principais Contribuições

Formulação da Tarefa Do-Undo: Uma nova tarefa exigindo que os modelos gerem o resultado visual de uma ação e a invertam com precisão para reconstruir a cena original. Isso testa explicitamente a captura de dinâmicas de causa e efeito.
Benchmark e Dataset Do-Undo: Um dataset de alta qualidade de ações reversíveis extraídas de vídeos do mundo real, acompanhado de uma estratégia de prompting especializada para garantir geração visual fisicamente consistente.
Avaliação Empírica: Uma avaliação abrangente demonstrando que os modelos mais avançados atuais (incluindo Qwen-Image e Flux-Kontext) lutam com a reversibilidade de ações, revelando uma lacuna fundamental no raciocínio de ações apesar de alta fidelidade semântica.
Melhoria da Linha de Base: O desenvolvimento do BAGEL-DoUndo, um modelo ajustado finamente no dataset Do-Undo, que mostra fidelidade e consistência aprimoradas na geração consciente de ações em comparação com a linha de base.

Resultados

Desempenho Zero-Shot: Modelos de última geração como Qwen-Image e BAGEL alcançaram altas pontuações de similaridade semântica (DINO, CLIP), mas performaram mal em métricas de compreensão de ações (Precisão de Ação). Por exemplo, o Qwen-Image alcançou ~52% de precisão em ações forward e ~29% em ações reverse, frequentemente alucinando objetos ou falhando em reverter o estado corretamente.
Impacto do Ajuste Fino: O modelo BAGEL-DoUndo superou significativamente a linha de base BAGEL. Ele alcançou maior precisão de ação (58,77% forward, 36,26% reverse) e melhor consistência semântica (pontuações DINO >0,83).
Estudos de Ablação: O treinamento apenas em ações forward (mesmo com prompts expandidos) falhou em induzir compreensão robusta de ações. A inclusão de pares de imagens reversas foi identificada como crítica para ganhos de desempenho.
Geração Multi-turno: Em cenários multi-turno onde os modelos geram uma sequência de ações, o BAGEL-DoUndo manteve melhor consistência de fundo e precisão de estado de objetos em comparação com a linha de base, conforme evidenciado pela análise de erro de fluxo óptico (EPE).
Estudo com Usuários: Avaliadores humanos preferiram o BAGEL-DoUndo à linha de base 66,7% das vezes, citando melhor adesão à semântica de ações e interações de objetos.

Significado e Alegações
O artigo alega que o benchmark Do-Undo serve como um campo de testes crítico para avaliar e avançar a geração consciente de ações em sistemas multimodais. Os autores argumentam que a incapacidade dos modelos atuais de reverter ações destaca uma falta de raciocínio físico genuíno, o que é essencial para uma IA incorporada confiável. Ao demonstrar que a supervisão explícita em ações reversíveis melhora a fidelidade de geração, o trabalho sugere um caminho para o desenvolvimento de VLMs capazes de raciocinar sobre dinâmicas do mundo real e gerar dados sintéticos fisicamente plausíveis para robótica e simulação. Os autores permanecem modestos, observando que seu trabalho atualmente se limita a ambientes de cozinha e VLMs de propósito geral, sendo necessário trabalho futuro para estender esses benchmarks a ambientes incorporados especializados e relações causais mais complexas.