EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow

Resumen Técnico: EgoAVFlow

1. El Problema

Aprender políticas de manipulación robótica a partir de videos humanos en primera persona (egocéntricos) es una alternativa escalable a la recolección costosa de datos robóticos. Sin embargo, existe un desafío fundamental: la brecha de encarnación (embodiment gap).

• Visión Pasiva vs. Activa: Los robots no pueden simplemente imitar el movimiento de la cámara humana. Los humanos realizan movimientos oculares rápidos (sacadas) y reflejos vestibulo-oculares que estabilizan la mirada, los cuales no son óptimos ni necesarios para un robot.
• Pérdida de Visibilidad: En la manipulación real, el robot debe ajustar activamente su punto de vista para mantener la información crítica (objetos, herramientas) dentro del campo de visión (FoV). Si el objeto se oculta, la tarea falla.
• Representación Inadecuada: Las características visuales 2D estándar mezclan la apariencia con el punto de vista, lo que dificulta predecir dónde estará un objeto en 3D para planificar la visibilidad futura.

2. Metodología

El authors proponen EgoAVFlow, un marco que aprende tanto la manipulación como el control activo de la visión utilizando una representación compartida de flujo 3D. El sistema se basa en tres componentes principales, todos implementados con modelos de difusión:

A. Representación de Flujo 3D Compartido

• Objetivo: Crear un lenguaje común entre la demostración humana y la ejecución del robot que sea agnóstico al cuerpo (embodiment-agnostic).
• Proceso:
  1. Se extraen trayectorias de píxeles 2D de los videos humanos usando un rastreador (CoTracker3).
  2. Estas trayectorias se desproyectan en flujo 3D utilizando estimaciones de profundidad y poses de cámara.
  3. La pose de la mano humana se mapea al espacio del efector final del robot.
  4. Este flujo 3D codifica el movimiento de los elementos de la escena ignorando la apariencia dependiente del punto de vista, permitiendo transferencias zero-shot (sin datos de robot).

B. Arquitectura del Modelo (Tres Componentes de Difusión)

1. Política de Manipulación ($\pi_r$): Predice las futuras acciones del robot (chunks de acción) basándose en el historial de flujo 3D y la propiocepción.
2. Modelo de Generación de Flujo Futuro ($f$): Predice cómo se moverán los objetos en el espacio 3D en el futuro, condicionado por las acciones del robot y el movimiento de la cámara. Esto responde a la pregunta: "¿Qué se moverá y hacia dónde?".
3. Política de Visión ($\pi_v$): Predice las futuras poses de la cámara. A diferencia de una imitación directa, esta política utiliza un proceso de desruido maximizador de recompensa en tiempo de prueba.

C. Planificación de Visión Activa con Recompensa

• En lugar de imitar ciegamente la cámara humana, el sistema optimiza el punto de vista para maximizar la visibilidad.
• Recompensa de Visibilidad ($R_{vis}$): Se calcula mediante raycasting (lanzamiento de rayos) sobre una malla del entorno y del robot. Evalúa si los puntos de interés (derivados del flujo 3D futuro) están:
  1. Sin obstrucciones (línea de visión clara).
  2. Dentro del campo de visión de la cámara.
• Desruido Maximizador de Recompensa: Se utiliza una técnica de "desruido basado en valor suave" (soft value-based denoising). Durante la inferencia, el sistema genera múltiples candidatos de trayectorias de cámara, evalúa cuál maximiza la recompensa de visibilidad y selecciona la mejor, desviándose de la distribución humana si es necesario para evitar oclusiones.

3. Contribuciones Clave

1. Representación de Flujo 3D Compartida: Un puente que conecta demostraciones humanas y control robótico sin necesidad de datos de robot, unificando la manipulación y el control de la visión.
2. Estrategia de Ajuste de Visión Independiente: Un método que optimiza explícitamente la visibilidad, permitiendo movimientos de cámara exploratorios que se desvinculan de la demostración humana cuando la geometría de la escena lo requiere.
3. Rendimiento Superior en Visión Activa: Demostración de que las políticas basadas en flujo 3D superan significativamente a los métodos anteriores bajo puntos de vista que cambian activamente, logrando una manipulación robusta sin datos de entrenamiento de robot.

4. Resultados Experimentales

Los autores evaluaron EgoAVFlow en 4 tareas de manipulación real (rociado, manejo de muñeca, papel higiénico, toalla) utilizando un robot WidowX y una cámara Unitree Z1.

• Comparativa con Imitación Humana (HVI): EgoAVFlow superó consistentemente a la imitación directa de puntos de vista humanos. Mientras que HVI fallaba a menudo por mantener puntos de vista que ocultaban el objeto o salían del campo de visión, EgoAVFlow mantuvo la visibilidad de los puntos clave durante toda la ejecución.
• Comparativa con Baselines de Aprendizaje Robótico:
  • Se comparó con métodos basados en flujo 2D (AMPLIFY), flujo 3D estático (EgoZero) y métodos de inpainting (Phantom).
  • Resultado: EgoAVFlow logró tasas de éxito entre 1.8 y 2.5 veces superiores a la segunda mejor metodología.
  • Análisis de Fallos: Los métodos basados en 2D o suposiciones estáticas fallaron principalmente en la fase de agarre debido a cambios de perspectiva no vistos. EgoAVFlow mostró la mayor robustez en la manipulación bajo cambios de visión activos.
• Visibilidad: EgoAVFlow obtuvo recompensas de visibilidad ($R_{vis}$) significativamente más altas, confirmando que mantener el objeto visible es crucial para el éxito de la tarea.

5. Significado e Impacto

Este trabajo representa un avance significativo en la robótica de aprendizaje por imitación al resolver el problema de la visión activa sin depender de costosos datos de teleoperación robótica.

• Escalabilidad: Permite entrenar robots utilizando grandes conjuntos de videos humanos disponibles públicamente, eliminando la necesidad de recolectar datos específicos del robot.
• Robustez: Al separar la estrategia de visión de la imitación humana, el robot puede adaptarse a las limitaciones físicas y de espacio de su propio cuerpo, evitando oclusiones que un humano podría ignorar o manejar de forma diferente.
• Futuro: Abre la puerta a robots más autónomos capaces de razonar sobre la geometría 3D y la visibilidad futura, aunque el artículo reconoce que la capacidad de buscar puntos de interés iniciales (cuando no están visibles al principio) sigue siendo un desafío para trabajos futuros.

En resumen, EgoAVFlow demuestra que para que un robot aprenda de humanos, no debe copiar sus ojos, sino entender la geometría 3D de la tarea para decidir dónde mirar por sí mismo.