Resumen Técnico: ThinkProprio: Razonamiento Visual Corporeizado para la Manipulación VLA

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han surgido como un paradigma poderoso para el control robótico generalizable al traducir observaciones visuales e instrucciones en lenguaje natural en acciones ejecutables. Sin embargo, los pipelines VLA actuales suelen introducir señales propioceptivas (el estado del robot, como los ángulos de las articulaciones y la pose del efector final) tardíamente en la pila de procesamiento, las acoplan débilmente con la percepción o las ignora por completo.

Esta integración tardía impide que la corporeidad física del robot moldee la comprensión inicial de la tarea o influya en qué tokens visuales se atienden a lo largo de la política. En consecuencia, el modelo no logra aprovechar el estado físicamente fundamentado para determinar qué elementos de la escena son relevantes para acciones espacialmente fundamentadas. Si bien trabajos recientes como $\pi^0$ y $\pi^{0.5}$ han comenz el proceso de integrar la propiocepción de manera más temprana, el papel funcional de la propiocepción sigue siendo difícil de aislar debido a las elecciones de diseño acopladas respecto a la agregación de visión-lenguaje y el condicionamiento del cabezal de acción.

Metodología: ThinkProprio

Los autores proponen ThinkProprio, una arquitectura diseñada para "pensar propioceptivamente" al tratar la propiocepción como una modalidad de primer orden que participa activamente en el razonamiento visual temprano. Los componentes principales son:

1. Codificación del Estado Propioceptivo mediante Tokenización de Texto

A diferencia de los métodos que utilizan MLP (Perceptrones de Capa Múltiple) aprendidos para proyectar vectores de estado continuos en el espacio de embeddings del VLM (lo que puede introducir desajustes de distribución), ThinkProprio discretiza los valores del estado propioceptivo continuo.

• Discretización: Los valores de estado continuos se recortan y se agrupan uniformemente en contenedores (bins).
• Tokenización: Estos índices de contenedor se mapean a IDs de tokens específicos de la tabla de embeddings del VLM pre-entrenado.
• Integración: Los tokens propioceptivos resultantes se concatenan con los tokens de la instrucción de lenguaje en la entrada del VLM. Esto permite que el estado del robot participe en el mismo espacio de embeddings que el lenguaje, permitiendo un condicionamiento visual consciente del estado sin capas de proyección adicionales.

2. Selección de Tokens Físicamente Fundamentada

ThinkProprio introduce un mecanismo para guiar la selección de tokens visuales basándose tanto en la instrucción de la tarea como en el estado propioceptivo actual del robot.

• Generación de Consultas (Queries): Los tokens de instrucción ($H_l$) y los tokens propioceptivos ($H_p$) se concatenan para formar tokens de guía ($H_q$).
• Puntuación: Los tokens visuales atienden a estos tokens de guía para formar una "consulta físicamente fundamentada". Se calcula una matriz de puntuación mediante el emparejamiento de consultas normalizadas con tokens visuales normalizados.
• Mecanismo de Selección: El sistema emplea una selección discreta basada en votos con un estimador de paso directo (STE). Se añade ruido Gumbel a las puntuaciones para permitir un entrenamiento diferenciable. Los tokens que reciben votos se retienen, mientras que otros se descartan.
• Contexto Global: Para evitar la pérdida de información contextual de la escena, se añade un token de contexto global (promediado sobre todos los tokens visuales) al subconjunto seleccionado.

3. Arquitectura y Entrenamiento

• Backbone (Columna Vertebral): La secuencia compacta de tokens visuales seleccionados, el contexto global, los tokens propioceptivos y los tokens de lenguaje es procesada por un backbone de VLM pre-entrenado.
• Cabezal de Acción: El cabezal de acción se condiciona en las características fusionadas del VLM mediante atención cruzada (cross-attention).
• Objetivo: El cabezal de acción se entrena utilizando el ajuste de flujo (un enfoque basado en difusión) para predecir fragmentos de acción continua. El objetivo de entrenamiento minimiza el error entre el campo de velocidad predicho y la velocidad objetivo.

Contribuciones Clave

1. Ablación Sistemática del Diseño VLA: El artículo proporciona la primera comparación sistemática de los ejes de diseño en modelos VLA, desacoplando la agregación de visión-lenguaje, los mecanismos de condicionamiento y los puntos de entrada y codificación de la propiocepción.
2. Tokenización de Texto de la Propiocepción: Los autores demuestran que discretizar la propiocepción en tokens de texto y alimentarlos en la entrada del VLM es más efectivo que usar proyectores aprendidos o mecanismos de condicionamiento tardío. Esto aprovecha la interfaz de tokens pre-entrenada del VLM.
3. Selección de Tokens Físicamente Fundamentada: El método muestra que la guía conjunta de instrucción y propiocepción puede sesgar eficazmente la computación hacia la evidencia crítica para la acción. Esto permite al modelo retener solo ~15% de los tokens visuales mientras iguala o supera el rendimiento de los modelos que utilizan conjuntos de tokens completos.
4. Eficiencia: Al reducir el número de tokens visuales procesados por el VLM y el cabezal de acción, el enfoque reduce significativamente los costos computacionales.

Resultados Experimentales

El método fue evaluado en los benchmarks CALVIN (división ABC→D) y LIBERO, así como en tareas de manipulación en el mundo real.

• Rendimiento de la Tarea:
  • CALVIN: ThinkProprio logró una longitud de cadena completada promedio de 4.55, superando a bases sólidas como FLOWER (4.44) y $\pi^{0.5}$ (2.38). Mostró ganancias particularmente fuertes en tareas de largo horizonte (LH-5), alcanzando un 82.1% de éxito frente al 77.8% de FLOWER.
  • LIBERO: ThinkProprio logró una tasa de éxito promedio del 97.3%, competitiva con los mejores baselines (LightVLA con 97.4%) y logrando la puntuación más alta en la suite LIBERO-Long (95.2%).
• Eficiencia Computacional:
  • Latencia: ThinkProprio redujo la latencia de inferencia de extremo a extremo en un 58% (de 52 ms a 22 ms en CALVIN) en comparación con el baseline FLOWER.
  • Reducción de Tokens: El modelo procesa un promedio de solo 15 tokens visuales por paso de tiempo (de los 100 disponibles), reduciendo significativamente la longitud de la secuencia para el VLM y el cabezal de acción.
  • VRAM: El uso de VRAM pico se redujo a 1.9 GB, una disminución sustancial en comparación con OpenVLA (14.5 GB).

Significado y Reivindicaciones

El artículo afirma que ThinkProprio aborda con éxito la limitación de los modelos VLA actuales donde la propiocepción es tratada como una señal tardía. Al tokenizar la propiocepción y fusionarla tempranamente con las instrucciones de lenguaje, el modelo puede moldear su proceso de razonamiento visual para priorizar la evidencia relevante para la corporeidad.

Los autores aseveran que:

• La propiocepción debe proporcionarse explícitamente y participar activamente durante la comprensión de la tarea, no solo en la etapa de generación de acciones.
• La tokenización de texto de los estados continuos es una estrategia de codificación superior a los proyectores aprendidos, ya que se alinea con los embeddings de tokens pre-entrenados y permite que el estado participe en el proceso de razonamiento del VLM.
• La reducción agresiva de tokens visuales es factible sin degradación del rendimiento si la selección es guiada tanto por la instrucción como por el estado del robot.
• El enfoque produce un fuerte rendimiento en tareas de largo horizonte al tiempo que reduce significativamente la latencia de inferencia y la huella de memoria, convirtiéndolo en una vía viable hacia un control robótico eficiente y corporeizado.

El artículo concluye que, si bien las imágenes proporcionan muchos indicios implícitos del estado, la integración adecuada de la propiocepción proporciona información adicional fundamentada que es crítica para la manipulación compleja, particularmente en escenarios de largo horizonte que requieren correcciones extendidas y dinámicas de contacto.