Resumen Técnico: SCALE para Modelos de Visión-Lenguaje-Acción

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han emergido como un paradigma líder para el control robótico de propósito general, aprovechando modelos de Visión-Lenguaje (VLM) preentrenados para mapear observaciones multimodales e instrucciones de lenguaje hacia acciones. Sin embargo, estos modelos suelen tener dificultades con la robustez en escenarios del mundo real caracterizados por la ambigüedad perceptual (por ejemplo, distractores visualmente similares) y la multimodalidad de la acción (múltiples acciones plausibles).

Las estrategias existentes para mejorar la robustez en el tiempo de prueba, conocidas como Escalado en el Tiempo de Prueba (TTS), suelen sufrir tres limitaciones críticas:

1. Impracticabilidad de Despliegue: Muchos métodos de TTS requieren entrenamiento adicional para verificadores externos o autoverificación, se degradan bajo cambios de dominio e incurren en múltiples pasadas hacia adelante, lo que entra en conflicto con las restricciones de tiempo real.
2. Percepción Fija: Los enfoques actuales de TTS intervienen únicamente en la etapa de decodificación de la acción, manteniendo las representaciones visuales fijas. Esto es insuficiente cuando la ambigüedad perceptual requiere que el agente reconsidere cómo percibir la escena, no solo qué acción tomar.
3. Métricas de Incertidumbre Inadecuadas: Las medidas de incertidumbre existentes a menudo capturan solo la incertidumbre de la distribución general (por ejemplo, la entropía), pero no logran contabilizar la decisividad del modelo respecto a su elección top-1, lo cual es crítico para la decodificación codiciosa (greedy decoding) utilizada en la mayoría de los VLA.

Metodología: SCALE

Los autores proponen SCALE (Self-uncertainty Conditioned Adaptive Looking and Execution — Mirada y Ejecución Adaptativa Condicionada por la Auto-incertidumbre), una estrategia de inferencia simple y libre de entrenamiento que modula conjuntamente la percepción visual y la acción basándose en la "auto-incertidumbre" intrínseca del modelo. Inspirado en la exploración impulsada por la incertidumbre de la teoría de la Inferencia Activa, SCALE opera en una sola pasada hacia adelante sin verificadores externos.

1. Estimación de la Auto-incertidumbre

La innovación central es una novedosa métrica de auto-incertidumbre ($u_t^k$) que captura tanto la dispersión de la distribución como la decisividad del top-1. En lugar de depender de una única referencia, SCALE define dos distribuciones de referencia:

• Referencia de baja incertidumbre ($q_{low}$): Una distribución one-hot centrada en el token predicho top-1 del modelo, que representa la certeza total.
• Referencia de alta incertidumbre ($q_{high}$): Una distribución uniforme sobre el vocabulario, que representa la ambigüedad total.

La puntuación de auto-incertidumbre se calcula como la diferencia en la divergencia de Kullback-Leibler (KL) entre la distribución predicha ($p_t^k$) y estas dos referencias:
$$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$$
Esta formulación posiciona efectivamente la predicción en un espectro de certeza. Una puntuación positiva indica que la distribución está más cerca de la ambigüedad, mientras que una puntuación negativa indica una alta confianza.

2. Mecanismos de Inferencia Adaptativa

SCALE aprovecha esta señal de incertidumbre para modular dos aspectos complementarios del flujo de trabajo VLA:

• Decodificación de Acción Adaptativa (Nivel de Token): La temperatura de muestreo ($\tau_t^k$) para los tokens de acción se ajusta dinámicamente basándose en la incertidumbre a nivel de token $u_t^k$.
  $$\tau_t^k = T_0 \cdot \sigma(u_t^k)$$
  donde $\sigma$ es una función sigmoide. Bajo alta incertidumbre, la temperatura aumenta para fomentar un muestreo diverso y exploratorio. Bajo baja incertidumbre, la temperatura disminuye, permitiendo una ejecución casi codiciosa.

• Atención Visual Adaptativa (Nivel de Paso): Para abordar la ambigüedad perceptual, SCALE modula la temperatura de atención ($\gamma_t$) del codificador de visión. A diferencia de la decodificación de la acción, que utiliza la incertidumbre instantánea, la modulación visual responde a los cambios en la complejidad de la escena.

  • El sistema calcula una incertidumbre a nivel de paso ($u_t$) promediando las incertidumbres a nivel de token.
  • Realiza un seguimiento de un Promedio Móvil Exponencial (EMA) de la incertidumbre reciente ($\bar{u}_{t-1}$).
  • La desviación ($\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$) determina la temperatura de atención:
    $$\gamma_t = \kappa \tanh(\Delta u_{t-1})$$
  • Cuando la incertidumbre aumenta por encima del promedio reciente ($\Delta u > 0$), $\gamma_t > 1$, ampliando la atención para explorar la escena. Cuando la incertidumbre cae ($\Delta u < 0$), $\gamma_t < 1$, agudizando la atención para enfocarse en pistas relevantes para la tarea.

Esto crea un bucle de retroalimentación donde la incertidumbre en un paso de tiempo modula el muestreo de la acción y, simultáneamente, ajusta la atención visual para el siguiente paso, permitiendo una ejecución adaptativa en el control de bucle cerrado.

Contribuciones Clave

1. Modulación Conjunta de Percepción y Acción: A diferencia de los métodos de TTS previos que solo ajustan la decodificación de la acción, SCALE adapta conjuntamente la atención visual y el muestreo de la acción basándose en la auto-incertidumbre, abordando la causa raíz del fallo en escenarios ambiguos.
2. Eficiencia de Pasada Única y Libre de Entrenamiento: El método no requiere entrenamiento adicional, verificadores externos ni múltiples pasadas hacia adelante, lo que lo hace práctico para el despliegue robótico en tiempo real.
3. Métrica de Incertidumbre Novedosa: La medida de auto-incertidumbre de doble referencia propuesta captura tanto la incertidumbre de la distribución como la decisividad del top-1, superando a otros indicadores como la entropía o las puntuaciones de confianza.
4. Validación Empírica: El enfoque se valida a través de diversas arquitecturas autoregresivas de VLA (OpenVLA, $\pi_0$-FAST, SpatialVLA) tanto en entornos simulados como en el mundo real.

Resultados Experimentales

Los experimentos se realizaron en bancos de pruebas simulados (LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long) y tareas de recogida y colocación (pick-and-place) en el mundo real utilizando un brazo UR10e.

• Ganancias de Rendimiento: SCALE supera consistentemente a los VLA de vanguardia (SoTA) y a los métodos de TTS existentes. En el banco de pruebas LIBERO con OpenVLA, SCALE logró una tasa de éxito promedio del 81.5%, superando la línea base codiciosa (75.7%) y a los métodos de TTS que requieren entrenamiento como MG-Select (70.8%), RoboMonkey y TACO.
• Robustez: En experimentos del mundo real, SCALE mejoró las tasas de éxito en un +19.5% (OpenVLA) y un +13.9% ($\pi_0$-FAST) bajo condiciones de distribución interna, y en un +16.7% y +12.5% respectivamente bajo condiciones de distribución externa que involucran objetos no vistos.
• Estudios de Ablación:
  • La combinación de la decodificación adaptativa y la atención visual adaptativa produjo ganancias sinérgicas (+10.6% sobre la línea base), excediendo la suma de las mejoras individuales.
  • La métrica de auto-incertidumbre propuesta superó a otras alternativas (entropía, impureza de Gini, auto-certeza) por un margen significativo (63.3% frente al 57.8% de la siguiente mejor).
  • Modular la atención unimodal del codificador de visión resultó más efectivo que modular la atención cross-modal del backbone del VLA.
• Eficiencia: SCALE mantiene la eficiencia de pasada única, mientras que los métodos que requieren múltiples muestras (por ejemplo, Best-of-N) mostraron incrementos de latencia de hasta 15.9x para OpenVLA.

Significado y Reivindicaciones

El artículo afirma que SCALE ofrece una solución práctica y efectiva para mejorar la robustez de los VLA sin la carga computacional de los métodos de TTS existentes. Al basarse en los principios de la Inferencia Activa, los autores demuestran que los agentes pueden reducir la incertidumbre alterando adaptativamente tanto cómo perciben (atención visual) como qué hacen (muestreo de acción).

Los autores enfatizan que su contribución es primordialmente metodológica, centráéndose en mejorar las arquitecturas VLA existentes mediante la inferencia adaptativa en lugar de introducir nuevas capacidades de modelo. Aseguran que SCALE permite una operación más fiable y segura en diversos entornos del mundo real al permitir que los robots cambien dinámicamente entre la exploración y la explotación basándose en su propia confianza predictiva. El código está disponible públicamente para facilitar la investigación y el despliegue posteriores.