Resumen Técnico: See2Act – Modelos de Difusión para la Percepción Activa en la Imitación Robótica

Planteamiento del Problema

Los métodos actuales de aprendizaje por imitación (IL) para el control visuomotor suelen asumir una observabilidad completa y puntos de vista fijos, confundiendo las capacidades de "ver" y "actuar". En entornos realistas, los objetos están frecuentemente ocluidos, lo que requiere que los robots busquen activamente información relevante para la tarea antes de manipularlos. Los enfoques existentes enfrentan una limitación fundamental: las demostraciones entrelazan la selección del punto de vista con la manipulación, sin embargo, el IL estándar los trata por separado o asume que la información visual requerida ya es visible.

• Las políticas de vista fija fallan cuando las regiones relevantes para la tarea están ocluidas.
• Los métodos de selección de vista múltiple o pasiva (por ejemplo, seleccionar la mejor vista de un conjunto preestablecido) no enseñan a la política cómo mover la cámara para resolver las oclusiones dinámicamente.
• Ineficiencia de datos: El simple hecho de aumentar las demostraciones con puntos de vista adicionales incrementa los requisitos de datos de forma combinatoria sin enseñar a la política qué vistas son útiles para acciones específicas.

El desafío central es aprender una política que determine conjuntamente dónde ver y cómo actuar a partir de demostraciones limitadas, particularmente bajo oclusión severa.

Metodología: See2Act

Los autores proponen See2Act, un marco de aprendizaje por imitación basado en difusión que acopla la eliminación de ruido de la acción con el refinamiento del punto de vista dentro de un único bucle generativo. La idea central es que la trayectoria de difusión sirve como una trayectoria sobre tanto las acciones como los puntos de vista.

1. Estrategia de Entrenamiento

La política se entrena enteramente en simulación utilizando un gemelo digital, aprovechando conjuntos de datos de manipulación offline.

• Acciones de Fotogramas Clave (Keyframe Actions): Las demostraciones se descomponen en acciones de fotograma clave objetivo ($a_0$), que representan las poses del efector final para operaciones de recogida/colocación (pick/place).
• Anclaje de Punto de Vista: En lugar de un marco de referencia global fijo, las acciones se representan en el marco de la cámara. Para cada paso de difusión $t$, se genera una pose de la cámara $C_t$.
  • Anclas: La trayectoria se ancla entre una vista global amplia ($C_T$) y una vista centrada en el objetivo ($C_0$) derivada directamente de la acción de fotograma clave $a_0$.
  • Interpolación: Las poses intermedias $C_t$ se generan mediante interpolación lineal para la posición e interpolación esférica lineal (SLERP) para la orientación entre $C_T$ y $C_0$.
• Proceso de Adición de Ruido (Noising): La acción objetivo $a_0$ se transforma al marco de la cámara $C_t$ para crear una acción dependiente del punto de vista $\hat{a}_0$. Se añade ruido gaussiano para crear una acción ruidosa $\hat{a}_t$.
• Objetivo: Un codificador visual y una red de predicción de ruido se entrenan para predecir el ruido $\epsilon$ dada la observación $O_t$ (renderizada desde $C_t$) y la acción ruidosa $\hat{a}_t$. El modelo aprende a eliminar el ruido de la acción mientras aprende implícitamente el punto de vista informativo correspondiente.

2. Inferencia: Inferencia de Punto de Vista Activo

En el tiempo de prueba, la política realiza un proceso de difusión inversa acoplado:

1. Inicialización: Comenzar con una vista global ($C_T$) y una estimación de acción ruidosa.
2. Refinamiento Iterativo: En cada paso de eliminación de ruido $t$:
   • Capturar la observación actual $O_t$.
   • Predecir el ruido y actualizar la estimación de la acción en el marco de la cámara.
   • Transformar la estimación de la acción refinada de vuelta al marco del mundo.
   • Reposicionar la Cámara: Calcular una nueva pose de la cámara $C_{t-1}$, más centrada en el objetivo, basada en la estimación de la acción actualizada (usando la misma lógica de interpolación que en el entrenamiento).
   • Capturar la nueva observación $O_{t-1}$.
3. Ejecución: Este bucle continúa hasta $t=0$, resultando en una acción final y una secuencia de poses de cámara que resuelven activamente las oclusiones. La política selecciona la ejecución con la menor varianza en los cambios de la pose de la cámara para asegurar la estabilidad.

Contribuciones Clave

1. Marco See2Act: Una política agnóstica al punto de vista que aprende el acoplamiento entre el punto de vista y la acción aprovechando gemelos digitales y una novedosa estrategia de entrenamiento donde las trayectorias de la cámara son supervisadas enteramente por etiquetas de acción.
2. Inferencia de Punto de Vista Activo: Un mecanismo de tiempo de prueba que refina iterativamente la pose de la cámara del robot y la acción predicha simultáneamente, permitiendo que el robot resuelva oclusiones de forma autónoma sin etapas de planificación o recompensas separadas.
3. Rendimiento de Referencia (Benchmark):
   • Ravens: Logró una tasa de éxito promedio del 91% en cuatro tareas nuevas con alta carga de oclusión, superando significativamente a las líneas base de vista fija, vista múltiple y solo zoom.
   • RLBench: Logró una tasa de éxito promedio del 81.1% en nueve tareas, superando a las políticas de estado del arte en 3D y de vista múltiple (ej. RVT-2, PerAct) a pesar de usar solo una vista 2D reposicionada activamente por paso.
4. Transferencia Sim-to-Real Zero-Shot: Demostrado en un robot físico UR10 con una cámara de profundidad montada en la muñeca. Usando solo 50 demostraciones recolectadas en un gemelo digital, la política logró una tasa de éxito del 95% en tareas de recogida y colocación del mundo real con oclusiones significativas, sin ningún ajuste fino en el mundo real.

Resultados Experimentales

• Resolución de Oclusiones: En las tareas de Ravens (ej. bin-picking, put-within-shelf), las líneas base de vista fija (Conv-MLP, Diff-MV) fallaron (0% de éxito). La selección de vista pasiva (Diff-MV-Entropy) alcanzó hasta un 64% pero tuvo dificultades con oclusiones complejas. See2Act alcanzó hasta un 100% de éxito, demostando que el refinamiento activo iterativo es necesario para descubrir regiones ocultas.
• Comportamiento de Búsqueda: En la tarea bin-search, See2Act exhibió un comportamiento de búsqueda emergente, reorientando la cámara para inspeccionar contenedores alternativos cuando la vista actual estaba vacía, logrando un 100% de éxito donde las líneas base puntuaron 0%.
• Manipulación de Precisión: En la tarea de mundo real shelf-kitting (que requiere una tolerancia de 1–2 mm), See2Act logró un 95% de éxito comparado con el 25% de los métodos de vista fija. La capacidad de mover la cámara cerca del objetivo durante la eliminación de ruido proporcionó el detalle geométrico necesario para la inserción de alta precisión.
• Robustez: La política mostró robustez ante poses de cámara iniciales fuera de la distribución, con una caída de rendimiento solo marginal (8–10%) al comenzar desde puntos de vista fuera de la distribución de entrenamiento.

Significado y Reivindicaciones

El artículo afirma que See2Act aborda una brecha crítica en el aprendizaje por imitación al tratar la manipulación como un proceso acoplado de refinamiento de la acción y adquisición de evidencia visual.

• Aprendizaje Unificado: Demuestra que "dónde ver" y "cómo actuar" pueden aprenderse conjuntamente a partir de datos offline sin anotaciones explícitas de puntos de vista o recompensas de aprendizaje por refuerzo para la percepción.
• Eficiencia: El enfoque logra un rendimiento robusto con datos limitados (50 demos) y se transfiere zero-shot al mundo real, superando la brecha sim-to-real mediante el uso de observaciones de profundidad y el refinamiento activo del punto de vista.
• Limitaciones: Los autores reconocen que requerir una nueva observación en cada paso de eliminación de ruido introduce latencia, haciendo que la ejecución sea más lenta que los métodos de vista fija. Se sugiere como trabajo futuro extender el marco a la predicción de trayectorias densas para manipulación diestra y dinámica.

El trabajo establece que la percepción activa, cuando se integra directamente en el bucle de eliminación de ruido de la difusión, permite resolver la observabilidad parcial de una manera que los métodos de vista fija, vista múltiple y selección pasiva no pueden.