Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

Resumen Técnico: Pose6DAug

Planteamiento del Problema
Las políticas de Visión-Lenguaje-Acción (VLA) han demostrado un potencial significativo para la manipulación robótica de propósito general, pero fallan con frecuencia al encontrarse con objetos novedosos fuera de la distribución (OOD) con variaciones en apariencia o geometría. El remedio estándar —la recolección de nuevos datos de teleoperación multi-vista para cada caso de fallo— es prohibitivamente costoso y lento, lo que crea un cuello de botella para el escalado del aprendizaje robótico. Las estrategias de aumento de datos existentes enfrentan compromisos críticos: los métodos basados en simulación (por ejemplo, MimicGen) suelen fallar al generar trayectorias válidas para geometrías de objetos complejas debido a la necesidad de una búsqueda exhaustiva o muestreo de rechazo, mientras que los modelos generativos de video 2D (por ejemplo, VACE) carecen de una conciencia 3D explícita. En consecuencia, los enfoques de edición 2D luchan por mantener la consistencia multi-vista y la plausibilidad física, particularmente bajo oclusiones severas y puntos de vista egocéntricos, lo que conduce a señales visuales conflictivas durante el entrenamiento.

Metodología
Los autores presentan Pose6DAug, un marco de aumento de datos impulsado por fallos y consciente del 3D que sintetiza demostraciones contrafácticas dirigidas a partir de episodios exitosos existentes sin necesidad de nueva recolección de datos. La idea central es que los episodios exitosos ya codifican trayectorias de acción físicamente válidas y observaciones multi-vista calibradas; al intercambiar únicamente el objeto manipulado mientras se preserva esta trayectoria, se pueden generar nuevas demostraciones fundamentadas.

El proceso opera en tres etapas:

1. Reconstrucción de la Malla de Objetivo y Extracción de Pose 6D: El método reconstruye una malla 3D del objeto objetivo utilizando un modelo de percepción externo (por ejemplo, SAM3D) a partir de una sola observación, en lugar de depender de activos de simulador de verdad fundamental (ground-truth). Extrae una trayectoria de pose 6D temporalmente coherente ($T^w_o(t)$) del episodio de origen, ya sea de estados del simulador o de estimadores de pose externos. Esta trayectoria se transforma al marco de coordenadas de cada cámara utilizando extrínsecos conocidos, asegurando la fundamentación espacial.
2. Aumento de Objeto: Para aumentar la diversidad de los datos, el método aplica perturbaciones geométricas a la malla del objetivo manteniendo la plausibilidad física. Estas incluyen rotaciones/volteos aleatorios, traslaciones a lo largo del eje de aproximación de la pinza y escalado vertical para asegurar que el objeto permanezca dentro de un rango de agarre en relación con la pinza.
3. Composición de Video Guiada por Malla-Pose 3D: En lugar de una edición generativa independiente de fotogramas, el método compone el video aumentado mediante renderizado guiado por geometría. El objeto original se elimina mediante máscaras de segmentación y el fondo se restaura usando inpainting de video. La malla del objetivo se renderiza entonces en los fotogramas inpintados basándose en la trayectoria de pose 6D extraída. Un estricto orden de capas por profundidad (fondo $\to$ objeto objetivo $\to$ robot/pinza) asegura una oclusión y consistencia multi-vista correctas.

Contribuciones Clave

• Intercambio de Objetos Consciente del 3D: A diferencia de los modelos generativos 2D, Pose6DAug opera directamente en el espacio 3D, anclando el objeto objetivo con una malla explícita impulsada por una trayectoria de pose 6D cinemáticamente consistente. Esto asegura la consistencia geométrica en todas las vistas de cámara y pasos de tiempo.
• Aumento Impulsado por Fallos: El marco se dirige específicamente a los modos de fallo mediante el reaprovechamiento de episodios exitosos de objetos dentro de la distribución para generar demostraciones para objetos novedosos y difíciles.
• Plausibilidad Física: Al preservar la trayectoria de acción original y aplicar un acoplamiento rígido entre el robot y el objeto, el método garantiza que las interacciones sintetizadas (por ejemplo, puntos de agarre) sigan siendo físicamente admisibles.
• Escalabilidad: El enfoque elimina la necesidad de nuevos datos de teleoperación o búsquedas de trayectoria complejas basadas en simulación, ofreciendo un camino escalable hacia la generalización.

Resultados Experimentales
El método fue evaluado en el benchmark RoboCasa, específicamente en la tarea de "pick-and-place" (recoger y colocar) "Counter-to-Cabinet" que involucra diversos objetos domésticos.

• Rendimiento General: En los episodios de fallo (donde la política base falló inicialmente), Pose6DAug logró una tasa de éxito promedio del 22.8%, superando a la línea base de VACE (16.4%) y a la línea base de MimicGen (15.8%).
• Recuperación de Muestras Difíciles: Al evaluarse exclusivamente en las 8 instancias de objetos OOD más desafiantes, Pose6DAug alcanzó una tasa de éxito del 21.2%, superando significativamente a VACE (15.0%) y MimicGen (5.7%).
• Ratio de Conversión: Pose6DAug convirtió el 24.5% de las instancias previamente intratables en ejecuciones exitosas, comparado con el 18.2% para VACE y el 17.2% para MimicGen.
• Análisis Cualitativo: Las comparaciones visuales demostraron que Pose6DAug mantiene la identidad, la geometría y los puntos de contacto consistentes a través de las vistas izquierda, derecha y de la muñeca (egocéntrica), mientras que las líneas base exhibieron deriva de identidad, inconsistencias de escala y trayectorias físicamente implausibles.

Significancia y Reivindicaciones
El artículo afirma que el aumento multi-vista y físicamente consistente es un camino práctico y efectivo hacia la generalización de VLA escalable. Al cerrar la brecha entre la validez cinemática y el fotorrealismo visual mediante un anclaje 3D explícito, Pose6DAug permite que las políticas se generalicen a objetos novedosos sin el costo prohibitivo de la nueva recolección de datos. Los resultados resaltan que mantener la consistencia 3D y la admisibilidad física es crítico para un aprendizaje de políticas robusto, ya que los aumentos 2D inconsistentes pueden introducir supervisión ruidosa que degrada el rendimiento. Los autores postulan que fundamentar el aumento visual en la geometría 3D es una dirección prometedora para escalar el aprendizaje robótico en diversos entornos del mundo real.