GeoAlign: Beyond Semantics with State-Guided Spatial Alignment in VLA Models

Resumen Técnico: GeoAlign

Planteamiento del Problema
Los modelos actuales de Visión–Lenguaje–Acción (VLA) optimizan principalmente la fundamentación semántica, mapeando observaciones e instrucciones a acciones. Sin embargo, la manipulación robótica de grano fino suele fallar no debido a una falta de comprensión semántica, sino a una falta de alineación espacial consciente de la geometría. La manipulación ejecutable requiere el manejo preciso de holguras estrechas, movimientos sensibles al contacto e interacciones con objetos transparentes o anulares—escenarios donde las representaciones semánticas de alto nivel son insuficientes. Aunque algunos enfoques intentan enriquecer las representaciones visuales con contexto de profundidad o 3D, la dependencia de entradas de profundidad medidas puede fallar alrededor de objetos transparentes o estructuras delgadas debido a las limitaciones de los sensores. Por el contrario, los métodos que incorporan la estructura espacial directamente en la generación de acciones suelen tener dificultades para seleccionar dinámicamente la geometría local relevante para la ejecución manteniendo una interfaz de condicionamiento compacta para los decodificadores de acción continuos.

Metodología
GeoAlign introduce una arquitectura de Alineación Espacial Guiada por el Estado diseñada para cerrar la brecha entre la fundamentación semántica y la manipulación ejecutable sin depender de entradas de profundidad bruta durante la ejecución de la política. El marco opera en dos etapas distintas:

1. Post-entrenamiento Mejorado por Geometría (GEP):

   • Se inicializa un modelo Depth Anything V2-Small y se somete a un post-entrenamiento en un conjunto de datos de RGB-D de dominio robótico utilizando supervisión de profundidad métrica (optimizado mediante pérdida logarítmica invariante de escala).
   • Crucialmente, la cabeza de predicción de profundidad se descarta después de esta etapa. Las características del lado del codificador retenidas, ahora denominadas características GEP, sirven como representaciones de geometría derivadas de RGB. Esto permite que el modelo aprenda pistas geométricas de imágenes RGB que son robustas a los fallos de sensores comunes en mapas de profundidad (por ejemplo, la transparencia).

2. Alineación Espacial Guiada por el Estado:

   • Durante el entrenamiento y la ejecución de la política, el sistema procesa imágenes RGB multivista e instrucciones de lenguaje para generar tokens semánticos.
   • Simultáneamente, una rama GEP congelada mapea las imágenes RGB a una rejilla de características de geometría en el espacio de la imagen.
   • En lugar de utilizar consultas aprendidas fijas o agrupamiento global (global pooling), GeoAlign genera consultas de estado propioceptivo. El estado actual del robot ($s_t$) se codifica y se proyecta en $K=8$ ranuras de consulta (query slots).
   • Estas consultas guiadas por el estado realizan atención cruzada sobre la rejilla de características GEP para extraer tokens de geometría compactos y dependientes de la fase. Este mecanismo permite que el modelo seleccione dinámicamente las pistas de geometría local relevantes para la fase actual de la manipulación (por ejemplo, alcanzar vs. insertar).
   • Los 8 tokens de geometría compactos resultantes se concatenan con los tokens semánticos para condicionar un decodificador de acción de Transformador de Difusión de flujo (DiT) (basado en el backbone Isaac-GR00T N1.6-3B).

Contribuciones Clave

• Alineación Espacial Guiada por el Estado: Una arquitectura donde el estado propioceptivo del robot consulta activamente una rejilla de características de geometría, extrayendo tokens compactos que informan la generación de acciones según la fase actual de la manipulación.
• Características GEP Derivadas de RGB: Un método para obtener características mejoradas por geometría post-entrenando un modelo de profundidad con supervisión de dominio robótico, utilizando las características del codificador para el condicionamiento de la política en lugar de las predicciones de profundidad bruta.
• Validación: Evaluación exhaustiva a través de entornos de simulación (LIBERO, SimplerEnv-Fractal) y del mundo real (AgileX ALOHA), con estudios de ablación que aíslan las contribuciones del post-entrenamiento de la geometría y de la consulta guiada por el estado.

Resultados
GeoAlign demuestra mejoras significativas de rendimiento sobre las líneas base en tres benchmarks distintos:

• LIBERO: Logró una tasa de éxito promedio del 99.0% en cuatro suites, superando a la línea base de solo RGB (97.0%). Las mayores ganancias se observaron en la suite "Spatial" (100.0%) y la suite "Long" (96.6%), que requieren un razonamiento espacial complejo.
• SimplerEnv-Fractal: Logró un éxito promedio del 85.3% en tres familias de tareas (Pick Coke Can, Move Near, Open/Close Drawer), una mejora de 5.7 puntos porcentuales sobre la línea base de solo RGB.
• Real-World ALOHA: Logró un éxito promedio del 78.8% en ocho tareas críticas de geometría que involucran contenedores transparentes, rollos de cinta anulares y objetos ocluidos. Esto superó a la línea base controlada de solo RGB (65.0%) y al modelo $\pi_0.5$ (67.5%) bajo la misma configuración.

Los estudios de ablación confirmaron que tanto el post-entrenamiento de la geometría en el dominio del robot como la consulta guiada por el estado propioceptivo son esenciales para estas ganancias. Específicamente, eliminar el post-entrenamiento redujo el rendimiento de LIBERO al 95.9%, mientras que eliminar las consultas guiadas por el estado (usando agrupación global o consultas aprendidas en su lugar) redujo el rendimiento al 91.6% y 96.2%, respectivamente.

Significancia y Reivindicaciones
El artículo afirma que GeoAlign aborda con éxito el problema de la geometría local en las políticas VLA mediante el desacoplamiento del razonamiento geométrico de las entradas de profundidad bruta. Al utilizar características de geometría derivadas de RGB, moldeadas por la supervisión de profundidad pero consultadas dinámicamente por el estado del robot, el modelo logra una alineación espacial robusta para la manipulación ejecutable. Los autores enfatizan que este enfoque permite que el decodificador de acciones reciba características espaciales cuya relevancia cambia a través de las fases de manipulación, mejorando el éxito en tareas que requieren una alineación precisa y el manejo de geometrías visuales desafiantes (como la transparencia) donde los sensores de profundidad estándar fallan. El trabajo se posiciona como una ruta complementaria a la investigación actual de VLA, centrándose específicamente en la alineación espacial requerida para la decodificación de acciones de grano fino en lugar del entendimiento semántico general.