Resumen Técnico: Una demostración vale por mil trayectorias: Aumento de Acción-Vista para Políticas Visomotores

Planteamiento del Problema

Las políticas visuomotoras entrenadas mediante aprendizaje por imitación suelen exhibir fragilidad al desplegarse en entornos del mundo real. Las desviaciones menores en la configuración inicial del robot o la presencia de obstáculos no vistos pueden derivar en observaciones fuera de la distribución (OOD, por sus siglas en inglés). Estos estados OOD a menudo desencadenan errores de ejecución y fallos en la tarea. Si bien la recopilación de extensas demostraciones humanas bajo diversas configuraciones espaciales podría mitigar esto, el proceso es tedioso, costoso y, a menudo, poco práctico. Las técnicas de aumento de datos existentes en visión por computadora (por ejemplo, el oscurecimiento de color o el recorte) no logran abordar los requisitos únicos de la robótica, específicamente la necesidad de mantener la consistencia acción-vista y respetar simultáneamente los restricciones físicas (colisiones 3D y dinámica de contacto). Además, el aumento basado en estados estándar delega la invarianza visual a la estimación de estado, mientras que los métodos previos de aumento visual-acción se limitan a vistas estáticas de tercera persona con cámara de estenopequilla (pinhole) o modificaciones de un solo paso que no pueden generar una evasión de obstáculos suave a nivel de trayectoria.

Metodología: El Marco 1001 DEMOS

Los autores proponen 1001 DEMOS, un marco de aumento de datos offline que genera miles de trayectorias de acción-vista visualmente realistas y físicamente factibles a partir de una sola demostración humana del mundo real. El sistema utiliza una pinza paralela portátil equipada con una única cámara de ojo de pez con un amplio campo de visión (FoV). El marco opera a través de tres módulos principales:

1. Reconstrucción de Escena 3D desde Video de Ojo en Mano con Lente de Ojo de Pez

El sistema procesa secuencias de imágenes de ojo de pez capturadas durante el escaneo de la escena y la demostración de la tarea para crear dos representaciones:

• Nube de Puntos de la Escena: Reconstruida utilizando COLMAP para la planificación de movimiento y la comprobación de colisiones.
• Gaussian Splatting 3D de Ojo de Pez (Fisheye-3DGS): Una adaptación novedosa de 3D Gaussian Splatting (3DGS) para manejar cámaras de ojo de pez con un amplio FoV.
  • Muestreador de Rayos de Ojo de Pez: Los autores reemplazan el muestreador de rayos estandar de estenopequilla por un muestreador de rayos de ojo de pez basado en KB8. Para cada píxel de ojo de pez $(u, v)$, la dirección del rayo $r_d$ se calcula mediante el modelo KB8, y luego se proyecta a través de las intrínsecas de la cámara $K$ para obtener las coordenadas de estenopequilla $(u_p, v_p)$.
  • Optimización: Para preservar la eficiencia de 3DGS (estructura de bloque-hilo CUDA), el sistema redistribuye las asignaciones de teselas desde los rayos de estenopequilla a los rayos de ojo de pez, particionando los rayos de ojo de pecha en la disposición original de 256 rayos por tesela. Esto permite una rasterización rápida mientras se modela con precisión la distorsión de ojo de pez.

2. Generación de Acciones mediante Optimización de Trayectoria

Utilizando la nube de puntos 3D reconstruida y la trayectoria de demostración original, el sistema genera dos tipos de trayectorias novedosas mediante optimización de trayectoria:

• Trayectorias de Espacio Libre: Generadas con diferentes poses de cámara iniciales muestreadas dentro de un cono de cuaterniones alrededor del punto de vista original.
• Trayectorias de Evasión de Obstáculos: Generadas introduciendo nubes de puntos de obstáculos (muestreadas de Objaverse) en la escena y planificando rutas que eviten dichos obstáculos.

El problema de optimización minimiza una función de pérdida compuesta:
$$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$$

• $\mathcal{L}_{funnel}$: Una pérdida de embudo delta que asegura que las trayectorias converjan a la misma pose pre-contacto de la demostración original, preservando la dinámica de contacto.
• $\mathcal{L}_{collision}$: Utiliza una Función de Distancia con Signo Truncada (TSDF) de la escena (incluyendo los obstáculos aumentados) para penalizar las colisiones.
• $\mathcal{L}_{render}$: Una pérdida de consistencia de vista que mantiene las poses generadas cerca de la distribución de las vistas de escaneo y demostración originales para evitar artefactos de "flotadores" (floaters) y reconstrucciones borrosas comunes en 3DGS al renderizar desde puntos de vista novedosos.
• $\mathcal{L}_{smooth}$: Penaliza la brusquedad de la velocidad para asegurar trayectorias suaves.

3. Generación de Vistas y Entrenamiento de la Política

• Generación de Vistas: Las trayectorias de 6D optimizadas se renderizan utilizando el Fisheye-3DGS entrenado para producir las observaciones visuales correspondientes. Para los escenarios de obstáculos, el 3DGS de la escena original se aumenta con el 3DGS entrenado de los obstáculos añadidos.
• Compilación de Datos: Los datos aumentados se compilan segmentando la pinza mediante SAM2 y superponiéndola en las imágenes renderizadas. El ancho de apertura de la pinza se mantiene de la demo original, mientras que las poses de end-effector de 6D se toman de la trayectoria optimizada.
• Entrenamiento: Se entrena una Política de Difusión (Diffusion Policy) sobre la unión de las demostraciones expertas originales y el conjunto de datos aumentados generados.

Contribuciones Clave

1. Marco de Aumento de Acción-Vista: Un método que aumenta conjuntamente las observaciones visuales y las trayectorias de acción, asegurando la consistencia entre ambas mientras se respetan las restricciones físicas.
2. Fisheye-3DGS: Una formulación novedosa que extiende el 3D Gaussian Splatting a cámaras de ojo de pez de amplio FoV, permitiendo un renderizado de vistas novedosas rápido y de alta fidelidad para sistemas de ojo en mano.
3. Evasión de Obstáculos a Nivel de Trayectoria: La capacidad de generar trayectorias suaves y libres de colisiones que navegan alrededor de obstáculos no vistos, una capacidad que carecen los métodos previos de aumento de un solo paso o de tercera persona.
4. Aumento Consciente del Contacto: Un mecanismo que detecta eventos de contacto y restringe el aumento a las fases pre-contacto, preservando así la dinámica de contacto crítica de la demostración original.

Resultados Experimentales

El marco fue evaluado tanto en simulación (tarea "square" de RoboMimic) como en escenarios del mundo real (tarea de servir una taza).

• Simulación (RoboMimic):

  • Ganancia de Rendimiento: El aumento de acción-vista mejoró las tasas de éxito de la tarea en un promedio del 56% en comparación con las políticas entrenadas sin aumento.
  • Comparación con Baselines: El método superó a "Aug Action Only" (que perturba las acciones pero mantiene las visuales fijas) hasta en un 35% y al método basado en NeRF de un solo paso, SPARTN, por un 15% en la tasa de éxito promedio.
  • Límite Superior: El rendimiento siguió de cerca a una política "oráculo" entrenada con renderizado de vista novedosa de verdad fundamental (ground-truth), con una brecha de solo 8-11%.

• Evaluación en el Mundo Real:

  • Robustez a Configuraciones OOD: El aumento de espacio libre mejoró las tasas de éxito en un 55% sobre las políticas no aumentadas cuando se enfrentaron a configuraciones iniciales de robot no vistas.
  • Evasión de Obstáculos: Las políticas entrenadas con aumento consciente de obstáculos lograron una tasa de éxito del 100% en tareas con obstáculos no vistos, superando significativamente al aumento de espacio libre (10%) y al sin aumento (5%). Esto demostró la capacidad de la política para aprender comportamientos de evasión de colisiones no presentes en las demostraciones humanas originales.

Significancia y Reivindicaciones

El artículo afirma que 1001 DEMOS dota efectivamente a los robots de habilidades no demostradas explícitamente, específicamente la evasión de obstáculos y la robustez ante nuevas configuraciones iniciales. Al generar demostraciones de acción-vista, de ojo en mano y físicamente factibles a partir de una sola demo humana, el marco aborda los problemas de escasez de datos y fragilidad inherentes al aprendizaje de políticas visuomotoras. Los autores enfatizan que su enfoque cierra la brecha entre la invarianza visual y la consistencia física, permitiendo que las políticas se generalicen a puntos de vista y entornos OOD sin una recolección de datos manual exhaustiva.

Los autores reconocen modestamente las limitaciones, señalando que el flujo de trabajo actual está restringido a escenas estáticas debido a la cobertura de visión de la única cámara en movimiento y que las trayectorias generadas no tienen en cuenta intrínsecamente los límites cinemáticos del robot de despliegue posterior, aunque están acotadas para asegurar la factibilidad en el espacio de la tarea. Se sugiere como trabajo futuro explorar configuraciones de múltiples cámaras y la optimización de trayectorias consciente de la embodiment (encarnación).