See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models

Resumen Técnico: Mapas de Puntos Centrados en el Robot para Modelos de Visión-Lenguaje-Acción

Planteamiento del Problema
Los modelos de Visión-Lenguaje-Acción (VLA) predicen acciones de manipulación robótica basadas en observaciones visuales e instrucciones de lenguaje. Existe un desajuste fundamental en las arquitecturas VLA actuales: las acciones se definen en el marco de coordenadas 3D del robot (por ejemplo, comandos del espacio de la tarea relativos a la base del robot), pero las observaciones se reciben típicamente en el marco de la cámara (imágenes RGB o mapas de profundidad). Si bien este desajuste es manejable bajo puntos de vista fijos donde la política puede memorizar un mapeo único de observación-a-acción, se vuelve significativamente más difícil cuando los datos de entrenamiento agregan demostraciones de diversas configuraciones de cámara. En tales escenarios, la política debe generalizar el mapeo a través de los puntos de vista en lugar de simplemente memorizar uno, lo que conduce a un rendimiento degradado cuando las colocaciones de la cámara varían.

Metodología
Los autores proponen los Mapas de Puntos Centrados en el Robot como una representación de entrada para resolver este desajuste de marcos. En lugar de forzar a la política a inferir la geometría del marco del robot a partir de observaciones del marco de la cámara, el método precalcula las coordenadas 3D de los puntos de la escena en el marco del robot y los presenta como una imagen.

El mecanismo central involucra tres pasos:

1. Elevación y Transformación: Una observación RGB-D se eleva a 3D dentro del marco de la cámara utilizando intrínsecos y profundidad. Estos puntos 3D se transforman luego al marco compartido de la base del robot mediante la transformación extrínseca cámara-a-robot.
2. Centrado del Efector Final: El mapa de puntos resultante se recentra en la posición actual del efector final. Esto expresa la geometría de la escena relativa al origen de la acción, asegurando que el desplazamiento requerido para alcanzar un objetivo sea consistente independientemente de la posición absoluta del objetivo en el espacio de trabajo.
3. Fusión: El mapa de puntos centrado en el robot conserva la estructura de rejilla densa $H \times W$ de la imagen RGB original. Es codificado por una torre visual separada (inicializada desde el codificador RGB) y se fusiona con los tokens RGB mediante adición elemento a elemento. Este diseño permite la integración de la geometría 3D métrica en los VLA 2D preentrenados sin requerir codificadores específicos de nubes de puntos, módulos de voxelización o secuencias de tokens adicionales.

Contribuciones Clave y Decisiones de Diseño
A través de estudios de ablación controlados en el conjunto de datos RoboCasa, el artículo establece varios principios de diseño críticos:

• Precomputación vs. Aprendizaje: Proporcionar a la política la geometría precalculada del marco del robot es significativamente más efectivo que proporcionar profundidad bruta y calibración de cámara (intrínsecos/extrínsecos) y pedirle a la política que aprenda la transformación.
• Forma de Imagen vs. Nube de Puntos: Preservar la rejilla de la imagen ($H \times W$) es crucial. Los mapas de puntos superan a las nubes de puntos porque permiten la fusión directa elemento a elemento con los tokens RGB, aprovechando la vía visual preentrenada. Las nubes de puntos, que requieren codificadores dedicados y a menudo resultan en entradas dispersas, no logran mantener la correspondencia espacial con las características RGB.
• Origen de Coordenadas: Centrar el mapa de puntos en el efector final en lugar de en la base del robot produce una representación más robusta al punto de vista. Esto agrupa los objetivos de interacción cerca del origen, proporcionando una geometría local consistente para movimientos similares independientemente de dónde ocurran en el espacio de trabajo.

Resultados Experimentales
El método propuesto fue evaluado en el benchmark de simulación RoboCasa y en un robot Franka Research 3 real.

• Simulación (RoboCasa): Cuando se aplicó a las arquitecturas $\pi0.5$ y SmolVLA, los mapas de puntos centrados en el robot mejoraron las tasas de éxito en +7.6 y +4.2 puntos, respectivamente, a través de 24 tareas. El método superó a las líneas base representativas conscientes de la cámara (por ejemplo, KYC, OC-VLA) y a las líneas base aumentadas con 3D (por ejemplo, GeoVLA, PointVLA) que comparten la misma arquitectura base.
• Robustez a la Variación de Punto de Vista: A medida que la variación del punto de vista de la cámara durante el entrenamiento aumentó, las políticas basadas solo en RGB sufrieron caídas significativas de rendimiento. En contraste, la política basada en mapas de puntos se mantuvo estable.
• Generalización en Robots Reales: En experimentos con robots reales, la ventaja de los mapas de puntos se amplió cuando se movió la cámara a una colocación no vista durante el entrenamiento. La brecha de rendimiento sobre una política de solo RGB creció de +5.0 puntos en una colocación de cámara vista a +11.7 puntos en una colocación no vista. Aunque una política basada en nube de puntos (DP3) mostró una mejor robustez que RGB, el VLA mejorado con mapas de puntos logró el rendimiento general más alto, demostrando que combinar la geometría 3D con los sesgos inductivos de los VLA 2D preentrenados es altamente efectivo.

Significado y Reivindicaciones
El artículo afirma que los mapas de puntos centrados en el robot ofrecen un mecanismo simple pero efectivo para inyectar geometría 3D en los VLA preentrenados sin una reestructuración arquitectónica. La principal significancia radica en abordar directamente el desajuste de marco de observación-a-acción: al expresar las observaciones en el sistema de coordenadas donde actúa el robot, la política puede aprender de demostraciones con diversos puntos de vista sin necesidad de absorber la variación de la propia cámara. Los autores sugieren un principio general para los VLA conscientes de 3D: cuando la calibración está disponible, las observaciones deben expresarse en el marco de acción del robot antes de ser pasadas a la política. Este enfoque retiene la estructura de imagen densa requerida por los modelos preentrenados mientras proporciona la información 3D métrica necesaria para una manipulación robusta.