Do-Undo Bench: Reversibility for Action Understanding in Image Generation

Resumen Técnico: Do-Undo Bench: Reversibilidad para la Comprensión de Acciones en la Generación de Imágenes

Enunciado del Problema
Los Modelos Visuales-Lingüísticos (VLM) actuales han logrado avances significativos en la síntesis y edición de imágenes impulsadas por texto. Sin embargo, siguen estando fundamentalmente limitados en su capacidad para comprender y simular la dinámica física de escenas del mundo real. Los enfoques existentes se centran principalmente en manipulaciones a nivel de objeto (por ejemplo, añadir o eliminar objetos) o en mantener propiedades estilísticas como la iluminación, a menudo descuidando las relaciones causa-efecto subyacentes que gobiernan las interacciones físicas. En consecuencia, los modelos luchan por generar imágenes que reflejen plausiblemente los cambios de estado resultantes de acciones físicas específicas, como recoger un objeto o abrir un cajón, sin observar una secuencia de video continua. Esta brecha obstaculiza el despliegue de VLM como generadores de datos sintéticos fiables para la robótica y agentes de IA encarnada, los cuales requieren comprender cómo las acciones transforman los entornos.

Metodología
Para abordar esta limitación, los autores introducen la tarea Do-Undo, un nuevo punto de referencia y paradigma de entrenamiento que requiere que los modelos simulen el resultado de una acción del mundo real y luego la inviertan al estado original.

• Formulación de la Tarea: La tarea implica una imagen de entrada ($I_O$) que contiene un objeto y un agente (por ejemplo, una mano). Dado un prompt de acción hacia adelante ($P_F$), el modelo debe generar la imagen "Do" ($I_F$) que representa el estado después de la acción. Crucialmente, dado un prompt inverso ($P_R$) y la $I_F$ generada, el modelo debe generar la imagen "Undo" ($I_R$) que reconstruye el estado de entrada original $I_O$. Este requisito de avance-inversión prueba la comprensión genuina de causa y efecto en lugar de la edición semántica superficial.
• Curaduría del Dataset (Dataset Do-Undo): Los autores curaron un dataset a gran escala a partir del dataset de video Epic-Kitchens, que presenta perspectivas en primera persona de humanos realizando tareas diarias.
  • Selección: Filtraron cuadros de alta calidad con acciones reversibles (por ejemplo, "abrir/cerrar", "recoger/colocar", "encender/apagar") y fondos consistentes.
  • Expansión de Prompts: Dado que las anotaciones originales son breves, emplearon un VLM (Qwen3-VL) para expandir las narraciones de acciones en prompts detallados. Estos prompts incluyen contexto visual, atributos de objetos (color, material), detalles del agente (postura de la mano) y relaciones espaciales.
  • Estructura: El dataset consiste en tuplas $(I_O, P_F, I_F, P_R)$, con un total de 22.529 muestras de entrenamiento y 451 muestras de prueba a través de 10 clases de acciones.
• Entrenamiento del Modelo: Los autores ajustaron finamente BAGEL, un modelo unificado visuo-lingüístico capaz de generar texto e imágenes intercalados. El objetivo de entrenamiento minimiza el error cuadrático medio (mediante ajuste de flujo rectificado) para generar la imagen hacia adelante $I_F$ condicionada a $I_O$ y $P_F$, y posteriormente generar la imagen inversa $I_R$ condicionada a $I_F$ y $P_R$, con la restricción de que $I_R$ debe coincidir con $I_O$.

Contribuciones Clave

1. Formulación de la Tarea Do-Undo: Una nueva tarea que requiere que los modelos generen el resultado visual de una acción e inviertan con precisión para reconstruir la escena original. Esto prueba explícitamente la captura de dinámicas de causa y efecto.
2. Punto de Referencia y Dataset Do-Undo: Un dataset de alta calidad de acciones reversibles extraídas de videos del mundo real, acompañado de una estrategia de prompting especializada para garantizar una generación visual físicamente consistente.
3. Evaluación Empírica: Una evaluación exhaustiva que demuestra que los modelos actuales más avanzados (incluyendo Qwen-Image y Flux-Kontext) luchan con la reversibilidad de acciones, revelando una brecha fundamental en el razonamiento de acciones a pesar de una alta fidelidad semántica.
4. Mejora de la Línea Base: El desarrollo de BAGEL-DoUndo, un modelo ajustado finamente en el dataset Do-Undo, que muestra una mayor fidelidad y consistencia en la generación consciente de acciones en comparación con la línea base.

Resultados

• Rendimiento Zero-Shot: Modelos de última generación como Qwen-Image y BAGEL lograron puntuaciones altas de similitud semántica (DINO, CLIP) pero tuvieron un rendimiento deficiente en métricas de comprensión de acciones (Precisión de Acción). Por ejemplo, Qwen-Image alcanzó una precisión de ~52% en acciones hacia adelante y ~29% en acciones inversas, a menudo alucinando objetos o fallando en invertir el estado correctamente.
• Impacto del Ajuste Fino: El modelo BAGEL-DoUndo superó significativamente a la línea base BAGEL. Logró una mayor precisión de acción (58,77% hacia adelante, 36,26% inversa) y una mejor consistencia semántica (puntuaciones DINO >0,83).
• Estudios de Ablación: Entrenar solo en acciones hacia adelante (incluso con prompts expandidos) no logró inducir una comprensión robusta de las acciones. Se identificó que la inclusión de pares de imágenes inversas fue crítica para las ganancias de rendimiento.
• Generación Multi-turno: En escenarios multi-turno donde los modelos generan una secuencia de acciones, BAGEL-DoUndo mantuvo una mejor consistencia de fondo y precisión de estado de objeto en comparación con la línea base, como lo demuestra el análisis del error de flujo óptico (EPE).
• Estudio con Usuarios: Los evaluadores humanos prefirieron BAGEL-DoUndo sobre la línea base el 66,7% de las veces, citando una mejor adherencia a la semántica de las acciones y las interacciones de objetos.

Significado y Afirmaciones
El artículo afirma que el punto de referencia Do-Undo sirve como un campo de pruebas crítico para evaluar y avanzar en la generación consciente de acciones en sistemas multimodales. Los autores argumentan que la incapacidad de los modelos actuales para invertir acciones destaca una falta de razonamiento físico genuino, lo cual es esencial para una IA encarnada fiable. Al demostrar que la supervisión explícita en acciones reversibles mejora la fidelidad de la generación, el trabajo sugiere un camino hacia el desarrollo de VLM que puedan razonar sobre dinámicas del mundo real y generar datos sintéticos físicamente plausibles para robótica y simulación. Los autores permanecen modestos, señalando que su trabajo está actualmente limitado a entornos de cocina y VLM de propósito general, y que se necesita trabajo futuro para extender estos puntos de referencia a entornos encarnados especializados y relaciones causales más complejas.