Resumen Técnico: G3VLA – Sesgo Inductivo Geométrico para Modelos de Visión-Lenguaje-Acción

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA), como RT-2, OpenVLA y $\pi_0$, han logrado avances significativos en la manipulación robótica generalista al aprovechar el conocimiento semántico de los backbones preentrenados de visión-lenguaje. Sin embargo, persiste una limitación crítica: sus tokens visuales están anclados en coordenadas de imagen 2D en lugar de la geometría calibrada de las cámaras del robot. Este desajuste es particularmente pronunciado en configuraciones de múltiples cámaras, donde las intrínsecas y extrínsecas conocidas acoplan geométricamente las diferentes vistas, aunque las formulaciones convencionales de VLA procesan estas vistas como imágenes 2D independientes. En consecuencia, los modelos deben aprender implícitamente la geometría de la cámara únicamente mediante la supervisión de la acción, un proceso que suele ser ineficiente y limita la precisión espacial, especialmente en tareas que requieren estimación de pose precisa, razonamiento de distancia y consistencia entre vistas.

Los intentos existentes para abordar esto, como la voxelización de observaciones (PerAct) o la elevación de características a campos 3D (Act3D), a menudo requieren arquitecturas específicas para la tarea que no pueden aprovechar plenamente la semántica de los VLM preentrenados. Otros esfuerzos de puente (por ejemplo, SpatialVLA, 3D-VLA) suelen requerir entradas sensoriales 3D explícitas, preentrenamiento espacial a gran escala o modificaciones en la representación de la acción. La pregunta central abordada por este trabajo es: ¿Puede la geometría de cámara calibrada servir como una vía de tokens visuales ligera para que los VLA preentrenados mejoren la generalización espacial sin modificar el backbone, el espacio de acción o el objetivo de imitación?

Metodología: G3VLA

Los autores proponen G3VLA, un marco geométrico consciente de la cámara que inyecta estructura calibrada directamente en el flujo de tokens visuales de un VLA preentrenado. El método preserva el backbone preentrenado y la formulación de la acción, introduciendo la geometría exclusivamente a través de los tokens visuales.

Componentes Principales

El Módulo Geométrico Consciente de la Cámara ($F_\psi$) consta de tres componentes clave:

1. Embeddings de Rayos Condicionados por Intrínsecas:
   Para resolver la ambigüedad donde el mismo píxel $(x, y)$ mapea a diferentes direcciones de visión físicas bajo diferentes intrínsecas, el método etiqueta cada token de parche ViT con su dirección de visión proyectada hacia atrás. Para una coordenada de píxel homogénea $u$, la dirección de proyección normalizada se calcula como $\tilde{r}^v(u) = (K^v)^{-1}u$. Un embedding aprendible $G_\phi$ proyecta este mapa de rayos al grid de parches y lo suma a la salida del codificador:
   $$z^v_{0,p} = z^v_p + G_\phi(R^v)_p$$
   Esto asegura que toda la atención descendente opere sobre tokens conscientes de su dirección de visión intrínseca.

2. Codificación Posicional Proyectiva (PRoPE):
   Mientras que los embeddings de rayos codifican direcciones de visión locales, no capturan las relaciones geométricas entre tokens de diferentes vistas. PRoPE aborda esto derivando transformaciones proyectivas fijas para las representaciones de consulta (query), clave (key) y valor (value) basadas en las intrínsecas por vista ($K^v$), matrices de cámara a mundo ($T^v$) y la ubicación de los parches. Esto proporciona atención entre vistas con relaciones proyectivas basadas en el modelo de cámara en lugar de depender únicamente de la similitud de apariencia.

3. Fusión Bidireccional entre Vistas:
   El módulo de fusión procesa los tokens en dos pasos:

   • Atención de Cuadro (Frame Attention): Procesa los tokens dentro de cada flujo de cámara de forma independiente para preservar la estructura local de la vista.
   • Atención entre Vistas (Cross-View Attention): Aplana las dimensiones de vista y parche, permitiendo que todos los tokens válidos atiendan bidireccionalmente entre vistas, utilizando PRoPE como la señal posicional. Esto intercambia contexto geométrico antes de que los tokens lleguen al modelo de acción.

Estrategia de Entrenamiento: Currículo de Dos Etapas y Destilación de Geometría

Dado que el módulo geométrico se inicializa desde cero y recibe solo gradientes dispersos de nivel de tarea desde la pérdida de acción, los autores introducen un objetivo de destilación de geometría denso auxiliar y un currículo de entrenamiento de dos etapas:

• Objetivo de Destilación de Geometría: Una cabeza de punto auxiliar conectada a los tokens visuales fusionados predice coordenadas de rayos por píxel densos ($\hat{q}^v_u$) y profundidad log-z ($\hat{d}^v_u$). Los objetivos de supervisión provienen de mapas de puntos densos (en simulación) o predicciones con compuerta de confianza de un maestro de geometría visual ($\pi_3X$). Las predicciones del maestro están filtradas por un umbral de confianza ($\tau=0.1$) para eliminar píxeles no fiables, lo que no requiere sensores de profundidad ni anotaciones 3D manuales.
• Entrenamiento de Dos Etapas:
  • Etapa 1 (Pre-entrenamiento del Módulo Geométrico): El backbone preentrenado se congela. Solo se actualizan los embeddings de rayos, las capas de fusión entre vistas y la cabeza de punto auxiliar, con la pérdida de destilación dominando. Esto alinea los módulos geométricos con la señal densa del maestro.
    la pérdida de acción se vuelve dominante, mientras que la pérdida de destilación actúa como un regularizador geométrico ligero. En la inferencia, la cabeza auxiliar y el maestro se descartan; la política requiere solo imágenes RGB, propiocepción, lenguaje y calibración de cámara.

Contribuciones Clave

1. Identificación de una Brecha Geométrica: El artículo destaca el desajuste entre los tokens visuales anclados en 2D de los VLA preentrenados y la estructura espacial calibrada requerida para una manipulación precisa.
2. Marco G3VLA: Un camino ligero que preserva el backbone e inyecta geometría de cámara calibrada mediante embeddings de rayos, PRoPE y fusión entre vistas sin alterar el espacio de acción ni el objetivo de imitación.
3. Destilación de Geometría de $\pi_3X$: Un procedimiento de dos etapas que supervisa los módulos geométricos utilizando mapas de puntos densos con compuerta de confianza de un maestro de geometría visual, eliminando la necesidad de anotaciones 3D manuales o sensores de profundidad.
4. Validación Multi-Arquitectura: El método se valida en tres sistemas VLA distintos ($\pi_0$, $\pi_0.5$ y GR00T 1.5), demostando ganancias consistentes y proporcionando información arquitectónica sobre cómo las señales geométricas se propagan hacia la generación de acciones.

Resultados Experimentales

Benchmarks de Simulación

• LIBERO: Sobre el backbone $\pi_0$, G3VLA (GT) mejoró la tasa de éxito promedio macro de 84.6% a 88.1% (+3.5 puntos). Las mayores ganancias se observaron en LIBERO-Object (+5.0) y LIBERO-Spatial (+4.0), confirmando que las tareas que requieren localización de objetos y razonamiento espacial se benefician más. G3VLA ($\pi_3X$) también logró ganancias significativas (+2.4 sobre la base), demostrando la utilidad de la geometría destilada por el maestro.
• RoboCasa24 & RoboTwin2.0: G3VLA (GT) mejoró las tasas de éxito en RoboCasa24 (34.2% $\to$ 37.1%) y RoboTwin2.0 (44.0% $\to$ 49.0%). Notablemente, G3VLA ($\pi_3X$) tuvo un desempeño inferior en RoboTwin2.0 (cayendo a 41.0%), lo que los autores atribuyen a objetivos de mapas de puntos de $\pi_3X$ poco fiables en escenas sintéticas visualmente limpias y con pocas texturas.
• Compatibilidad de Backbone:
  • $\pi_0.5$: Las ganancias fueron menores pero consistentes (95.9% $\to$ 97.0%), confirmando la compatibilidad con backbones más fuertes y casi saturados.
  • GR00T 1.5: Los resultados fueron mixtos. Se observaron ganancias con supervisión de $\pi_3X$ pero no con GT. Los autores sugieren que esto se debe a la arquitectura de dos torres de GR00T 1.5, donde la política de difusión accede a las características visuales mediante atención cruzada a un VLM congelado en lugar de consumir tokens conscientes de la geometría, atenuando la señal geométrica.

Resultados en el Mundo Real

Evaluado en un robot UR5 bimanual con dos tareas (Pick-and-Place Test Tube, Pouring Nut), G3VLA mostró las mejoras más significativas en entornos Fuera de Distribución (OOD) (vistas de cámara no vistas).

• En la tarea "Pouring Nut", G3VLA mejoró las tasas de éxito OOD para $\pi_0 de ~70-75% a ~83-87.5%.
• El análisis cualitativo mostró que las variantes basadas en GT exhibieron comportamientos de recuperación robustos (por ejemplo, volver a agarrar, realinear) tras errores intermedios, los cuales estaban ausentes en las bases estándar.

Estudios de Ablación

• Componentes Geométricos: Eliminar los embeddings de rayos causó la mayor caída (-2.0%), seguido de la eliminación de PRoPE (-1.1%), confirmando sus roles complementarios.
• Currículo de Entrenamiento: Reemplazar el currículo de dos etapas con un entrenamiento conjunto de una sola etapa redujo el rendimiento en un 0.7%, resaltando la importancia de pre-alinear el camino geométrico antes de la optimización de la acción.
• Fuente de Supervisión: La supervisión de verdad de campo (GT) proporcionó la señal más fuerte, pero la destilación de $\pi_3X$ recuperó la mayor parte de la ganancia, sirviendo como una alternativa práctica cuando la profundidad no está disponible.

Significado y Reivindicaciones

El artículo afirma que la geometría de cámara calibrada es un sesgo inductivo ligero y útil para la precisión espacial en políticas VLA generalistas. El significado principal radica en demostrar que la estructura geométrica puede inyectarse en el flujo de tokens visuales de modelos preentrenados sin modificar el backbone, el espacio de acción o el objetivo de imitación.

Los autores concluyen modestamente que la efectividad de esta inyección geométrica depende de la arquitectura: es más efectiva cuando los tokens conscientes de la geometría tienen acceso directo a la vía de generación de acciones (como se ve en $\pi_0$ y $\pi_0.5$). En arquitecturas donde el modelo de acción accede indirectamente a las características (por ejemplo, GR00T 1.5), el beneficio se atenúa. Además, la dependencia de un maestro de geometría visual introduce sensibilidad al desajuste de dominio (por ejemplo, escenas con pocas texturas), lo que sugiere que, si bien la destilación por maestro es una estrategia viable, la supervisión de verdad de campo sigue siendo superior cuando está disponible.

En general, G3VLA ofrece un enfoque práctico para mejorar la generalización espacial de los modelos VLA existentes, particularmente para tareas sensibles a la localización de objetos y relaciones espaciales, aprovechando los parámetros de calibración de cámara conocidos como un prior estructural.