Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos

1. Definición del Problema: EIVST

El artículo introduce una nueva tarea llamada Transición de Estado Visual Instruida Ego-Céntrica (EIVST).

• Objetivo: Dada una imagen inicial ($I_1$), una imagen objetivo ($I_N$) y una instrucción textual breve que describe una acción, el modelo generativo debe producir una secuencia coherente de frames intermedios que muestren la transformación física del objeto desde el estado inicial hasta el objetivo.
• Desafíos Principales:
  1. Razonamiento Visual: Comprender las escenas visuales de los estados inicial y objetivo y razonar los pasos de transformación necesarios desde una perspectiva ego-céntrica (primera persona).
  2. Consistencia y Control: Generar una transición intermedia coherente que siga estrictamente la instrucción dada, manteniendo al mismo tiempo la apariencia consistente del objeto a través de los dos estados visuales.
• Limitaciones de Métodos Existentes: Los modelos actuales de predicción de video o interpolación de frames (como I2V o VFI) suelen fallar porque:
  • No tienen una guía visual del estado objetivo (solo usan el inicial).
  • Carecen de capacidad de razonamiento para inferir pasos intermedios complejos.
  • Generan movimientos simples o repetitivos que no capturan cambios semánticos complejos inducidos por acciones.

2. Metodología: El Framework EgoIn

Los autores proponen EgoIn, un framework que adopta una estrategia de "divide y vencerás" en dos etapas principales: inferencia del proceso de transición y generación de frames.

A. Modelado del Proceso de Transición con TransitionVLM

Para superar la falta de razonamiento en los modelos generativos, se utiliza un Modelo de Lenguaje Visual (VLM) adaptado.

• Curación de Datos: Se utiliza GPT-4o para generar datos de entrenamiento curados. Se diseñan dos tipos de entradas:
  1. Descripciones conscientes del estado: Usando cajas delimitadoras (bounding boxes) para enfocar en objetos manipulados.
  2. Descripciones conscientes de la transición: Usando la secuencia completa de video para inferir pasos intermedios y sus rangos temporales.
• Ajuste Fino (Fine-tuning): Se utiliza Qwen2.5-VL como base. En lugar de un ajuste completo, se emplea LoRA (Low-Rank Adaptation) con adaptadores específicos (S-Adapter y T-Adapter) para:
  • Aprender información consciente del estado (estados inicial y objetivo).
  • Inferir $K$ pasos intermedios de transición y sus rangos temporales correspondientes.
  • Esto reduce significativamente las "alucinaciones" (información no fundamentada) comunes en los VLMs estándar.

B. Generación de Video Condicionada por Transición (Transition Conditioning - TC)

Una vez inferidos los pasos, el modelo debe generar los frames.

• Codificación Semántica Multimodal: Se extraen características de los estados inicial y objetivo (visuales y semánticas) utilizando SQ-Formers y capas de atención para crear una representación unificada.
• Codificación de Transición Consciente del Rango:
  • Se generan características de transición para cada frame basándose en los rangos temporales inferidos por el VLM.
  • Se introduce un mecanismo de pesado suave (soft weighting) basado en una distribución Gaussiana para suavizar los límites entre pasos y evitar transiciones bruscas.
• Inyección en el Modelo Generativo: Estas condiciones se inyectan en las capas de atención cruzada (cross-attention) del U-Net del modelo generativo (basado en DynamiCrafter Interpolation) de manera frame-a-frame, guiando la generación hacia el estado objetivo de manera controlada.

C. Supervisión Auxiliar Consciente del Objeto (OAS)

Para garantizar que el objeto manipulado mantenga su apariencia y movimiento suave:

• Se añade una cabeza de localización (localization head) al U-Net.
• Durante el entrenamiento, se utilizan máscaras de ground-truth generadas por SAM2 (Segment Anything Model 2) basadas en la instrucción de acción.
• Se minimiza una pérdida de entropía cruzada entre las mapas de probabilidad predichos y las máscaras de localización, trabajando junto con la pérdida de reconstrucción de video.
• Nota: En la inferencia, no se necesitan máscaras ni cajas delimitadoras, evitando sobrecarga computacional.

3. Contribuciones Clave

1. Definición de la Tarea EIVST: Formalización de un nuevo problema que cierra la brecha entre la cognición humana y la comprensión de máquinas sobre transformaciones de estados físicos desde una perspectiva ego-céntrica.
2. Framework EgoIn: Integración de tres innovaciones:
   • TransitionVLM: Un VLM ajustado para inferir pasos de transición y rangos temporales precisos.
   • Transition Conditioning (TC): Un módulo que convierte la inferencia semántica en condiciones de generación frame-a-frame.
   • Object-Aware Auxiliary Supervision (OAS): Una estrategia de aprendizaje multi-tarea para mantener la consistencia visual del objeto.
3. Rendimiento Superior: Validación exhaustiva en datasets de interacción humano-objeto (EpicKitchens-100, Ego4D) y robot-objeto (DualArm, Bridge).

4. Resultados Experimentales

El modelo fue evaluado en cuatro datasets utilizando métricas estándar (FVD, VTQ, VTC, VIC) y estudios de preferencia de usuarios.

• Rendimiento Cuantitativo: EgoIn superó significativamente a los métodos State-of-the-Art (como FILM, TRF, GI, SEINE y DC-Interp) en todas las métricas.
  • Logró una reducción drástica en la distancia Fréchet de Video (FVD), indicando mayor realismo.
  • Mejoró la consistencia texto-video (VTC) e imagen-video (VIC), demostrando una mejor alineación con las instrucciones y los estados visuales.
• Estudio de Usuarios: En una comparación con otros métodos, EgoIn recibió más del 50% de los votos en preferencia, destacándose por la razonabilidad de los pasos de transición y la calidad del movimiento.
• Análisis Cualitativo: Mientras que otros métodos a menudo generaban transiciones "ingenuas" (saltando pasos clave) o movimientos repetitivos, EgoIn generó secuencias semánticamente significativas (ej. abrir un microondas antes de sacar un plato).
• Estudios de Ablación:
  • La eliminación de TransitionVLM resultó en transiciones irreales y alucinaciones.
  • La eliminación del módulo TC hizo que los pasos fueran menos controlables.
  • La eliminación de OAS degradó la consistencia de la apariencia del objeto.
  • Se encontró que un número variable de pasos ($K \in [1, 4]$) funciona mejor que un número fijo, adaptándose a la complejidad de la acción.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA Embebida (Embodied AI) y la robótica:

• Puente Cognitivo: Permite que las máquinas "imaginen" y visualicen procesos físicos complejos, una capacidad crucial para la planificación de tareas y la enseñanza de robots.
• Aplicaciones Prácticas: Tiene potencial en manipulación robótica (simulación de acciones), diseño asistido por computadora y herramientas educativas interactivas donde visualizar el "cómo" de una transformación es vital.
• Avance en Generación de Video: Demuestra que combinar el razonamiento de VLMs con modelos generativos de difusión, mediante condicionamiento explícito y supervisión auxiliar, supera las limitaciones de los modelos puramente basados en interpolación o predicción futura.

En resumen, EgoIn representa un paso adelante significativo hacia sistemas de IA capaces de entender y generar no solo el "qué" (estado final), sino el "cómo" (proceso de transformación) de las interacciones físicas en el mundo real.