Rotation-Aware Point-Cloud Embeddings for Vision-Based In-Hand Reorientation

Resumen Técnico: Incrustaciones de Nubes de Puntos Conscientes de la Rotación para la Reorientación en Mano Basada en Visión

Planteamiento del Problema
El artículo aborda el desafío de la reorientación diestra en mano utilizando nubes de puntos como objetivos. Si bien las nubes de puntos ofrecen una forma natural de especificar una geometría 3D deseada sin requerir marcos de pose específicos del objeto o estimación de pose 6D, el condicionamiento por nube de puntos bruta no es adecuado para el aprendizaje de políticas. La dificultad fundamental reside en la naturaleza de las nubes de puntos: son desordenadas, se muestrean de forma independiente y dependen de la visibilidad. En consecuencia, la discrepancia entre una observación actual y una nube de puntos objetivo entrelaza la rotación del objeto con la permutación, el remuestreo y las estructuras de correspondencia inestables.

Los enfoques previos han intentado sortear esto añadiendo estructura externa, como:

• Entradas de pose explícita o de pose relativa (p. ej., Geometry-Dex).
• Características de flujo denso que indican el movimiento de los puntos (p. ej., HACMan).
• Destilación de profesores privilegiados que tienen acceso al estado real (ground-truth).

Estos métodos dependen de computaciones frágiles en tiempo de ejecución (estimación de pose, registro) o requieren supervisión experta. Los autores postulan que los codificadores genéricos de nubes de puntos (entrenados para la reconstrucción o la identidad de la forma) fallan al organizar el estado relevante para la tarea de una manera que facilite el control, descartando a menudo las señales de rotación específicas necesarias para la reorientación.

Metodología
La solución propuesta es una incrustación de nube de puntos consciente de la rotación que calibra la distancia euclidiana en el espacio latente de las incrustaciones con el error geodésico de SO(3) entre las orientaciones del objeto. Esto permite que una política de Aprendizaje por Refuerzo (RL) libre de modelo aprenda directamente de las incrustaciones de la nube de puntos actual y de la objetivo sin necesidad de pose, flujo o supervisión de un profesor explícito.

1. Codificador Consciente de la Pose ($\phi$):

   • Arquitectura: Un codificador basado en PointNet++ que mapea nubes de puntos coloreadas ($P \in \mathbb{R}^{N \times 6}$) a incrustaciones de 128 dimensiones.
   • Objetivo de Entrenamiento: El codificador se entrena utilizando un objetivo de aprendizaje métrico de estilo siames. Para dos nubes del mismo objeto en orientaciones $q_1$ y $q_2$, la distancia euclidiana entre sus incrustaciones se regresa al error de rotación geodésica de SO(3):
     $$L_{metric} = \mathbb{E}[(\|\phi(P_1) - \phi(P_2)\|_2 - 2 \arccos |\langle q_1, q_2 \rangle|)^2]$$
   • Currículo: El entrenamiento utiliza un currículo de oclusión en mallas texturizadas del conjunto de datos YCB, eliminando progresivamente puntos para simular observaciones parciales. Una etapa de ajuste fino utiliza un conjunto de datos de IsaacLab con oclusiones similares a las de una mano para igualar las condiciones de aprendizaje de la política.

2. Aprendizaje de la Política (Reorientación en Mano):

   • Marco de Trabajo: La tarea se formula como un Proceso de Decisión de Markov (MDP) aumentado por objetivos, resuelto mediante PPO con una arquitectura de actor-crítico asimétrica.
   • Observaciones (Actor): La política recibe:
     • Incrustaciones aprendidas de las nubes de puntos actuales y objetivo ($z_{obj}, z_{goal}$).
     • Propiocepción (posiciones de las articulaciones, velocidades, poses de las puntas de los dedos).
     • Metadatos geométricos (centroides de las nubes de puntos actuales y objetivo) para complementar la información de traslación.
   • Crítico: El crítico tiene acceso a información de estado privilegiada (pose real, velocidad, fuerzas de contacto) para facilitar una convergencia más rápida.
   • Recompensa: La función de recompensa minimiza la deriva de la posición en mano y el error de rotación (medido mediante la distancia geodésica en SO(3)), con regularización de la acción y un bono de éxito.

Contribuciones Clave

• Aprendizaje de Representación para el Control: El artículo demuestra que una representación en sí misma puede hacer que el condicionamiento de la meta por nube de puntos sea utilizable para el aprendizaje de políticas estándar, eliminando la necesidad de andamiajes externos como estimadores de pose o campos de flujo densos.
• Incrustaciones Calibradas con SO(3): Al entrenar explícitamente el codificador para alinear la distancia latente con el error de rotación, el método crea una señal de control suave donde la diferencia en las incrustaciones refleja directamente la rotación necesaria para alcanzar el objetivo.
• Éxito de RL Libre de Modelo: Los autores muestran que una política libre de modelo utilizando estas incrustaciones puede aprender de forma estable y alcanzar el rendimiento de las líneas base de destilación y de los métodos de estado privilegiado, a pesar de carecer de acceso a la pose real o a las acciones del profesor durante el entrenamiento.
• Evidencia Diagnóstica: El artículo proporciona evidencia de que el preentrenamiento autosupervisado genérico (p. ej., Point-MAE) es insuficiente para esta tarea porque preserva las características de la forma pero falla al organizar el espacio latente según los ejes y magnitudes de rotación, mientras que el enfoque de aprendizaje métrico propuesto recupera esta estructura.

Resultos
Los experimentos se realizaron en simulación utilizando la Shadow Hand y cuatro objetos YCB (Durazno, Cubo de Rubik, Pera, Lata de Atún).

• Rendimiento: El método propuesto alcanzó una tasa de éxito del 100% en todos los objetos probados, igualando el rendimiento de las líneas base de "Profesor" (estado privilegiado) y "Estudiante Destilado".
• Eficiencia: Aunque el método propuesto tuvo éxito, requirió más pasos de tiempo en promedio para alcanzar el objetivo en comparación con el profesor privilegiado (por ejemplo, 85.29 pasos frente a 25.40 para el Durazno). Los autores atribuyen esto a la naturaleza libre de modelo del aprendizaje (optimizando desde la recompensa en lugar de acciones por paso) y señalan que ejecuciones de entrenamiento más largas podrían mejorar aún más la velocidad.
• Comparación con Líneas Base:
  • Los métodos que dependen de estimadores de pose (p. ej., FoundationPose) o registro (Open3D) mostraron tasas de éxito significativamente menores (p. ej., 33-58% para el Cubo de Rubik y la Pera) y tiempos de fallo mucho mayores, resaltando la fragilidad de estos módulos intermedios en el despliegue.
  • Los métodos basados en flujo que utilizan el estado simulado funcionaron bien, pero aquellos que dependían del registro fallaron significativamente.
  • Codificadores Genéricos: Una política utilizando un codificador Point-MAE ajustado finamente no logró aprender en absoluto, confirmando que las características de forma genéricas no proporcionan la señal de rotación necesaria.
• Análisis de la Representación: Las visualizaciones del espacio latente (gráficos de superficie y t-SNE) confirmaron que el codificador propuesto organiza las incrustaciones por eje y magnitud de rotación, creando un paisaje estructurado similar al aprendido por un estudiante de destilación, pero sin requerir supervisión de acciones.

Significado y Reivindicaciones
El artículo sostiene que las metas de nubes de puntos se vuelven prácticas para el control diestro cuando la representación en sí misma codifica la geometría de la rotación relevante para la tarea, en lugar de depender de módulos externos para calcular la pose o el flujo.

• El trabajo sugiere que el "andamiaje" de la estimación de pose y el registro no es estrictamente necesario si la representación visual está correctamente calibrada con las restricciones geométricas de la tarea.
• Destaca una limitación del preentrenamiento visual genérico: preservar la identidad de la forma es insuficiente para tareas de control que requieren una comparación geométrica precisa; la representación debe estar explícitamente estructurada para el grupo de transformación específico (SO(3) en este caso).
• Los autores señalan que, aunque la evaluación es en simulación, el uso de currículos de oclusión, jittering de puntos y aleatorización de dominio proporciona evidencia de que la representación es robusta a las perturbaciones esperadas en el despliegue en el mundo real, motivando la validación futura en robots reales.

Limitaciones
Los autores reconocen que la incrustación actual preserva principalmente el estado relevante para la rotación y no está restringida explícitamente para preservar la forma del objeto, lo que limita la capacidad de aprender una única política general para diferentes objetos. Se sugiere como trabajo futuro explorar incrustaciones que preserven conjuntamente la forma y permitan comparaciones favorables al control, así como extender el objetivo métrico al grupo completo SE(3) para la manipulación general.