Resumen Técnico: Dirección de Activación de Conceptores Contrastivos (COAST)

Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) aprovechan priores perceptuales potentes derivados del preentrenamiento de Modelos Visión-Lenguaje (VLM) a escala web para interpretar comandos en lenguaje natural y ejecutar comportamientos robóticos complejos. Sin embargo, estos modelos siguen siendo sorprendentemente frágiles en la práctica, fallando frecuentemente en tareas robóticas simples a pesar de sus fuertes capacidades de generalización. Los remedios existentes, como el ajuste fino post-entrenamiento o la regularización de representaciones contrastivas, suelen ser costosos y conceptualmente desalineados, ya que intentan reaprender comportamientos en lugar de maximizar la capacidad de generalización ya codificada en los pesos preentrenados del modelo.

Los autores hipotetizan que el principal cuello de botella reside en el experto de acción de la arquitectura VLA. Mientras que la base VLM congelada preserva una comprensión de tareas rica y de alta dimensión en sus estados ocultos, la decodificación final del experto de acción a menudo falla en aprovechar plenamente esta información. Los métodos actuales de dirección de activación para VLA se centran típicamente en la base VLM o dependen de desplazamientos aditivos de una sola dirección, lo cual puede ser insuficiente cuando la señal relevante está distribuida a través de múltiples dimensiones.

Metodología: COAST

El artículo propone la Dirección de Activación de Conceptores Contrastivos (COAST), un marco ligero y libre de entrenamiento que dirige políticas VLA congeladas en tiempo de inferencia. COAST opera aplicando una puerta multiplicativa a las activaciones del flujo residual del experto de acción, derivada del concepto de conceptores.

Mecanismo Central

1. Construcción de Conceptores: Un conector es un operador lineal que proyecta suavemente los datos en los componentes principales de una distribución objetivo. COAST construye dos conectores separados:

   • $C_{éxito}$: Captura el subespacio principal de las activaciones de las ejecuciones exitosas.
   • $C_{fallo}$: Captura el subespacio principal de las activaciones de las ejecuciones fallidas.
     Estos se calculan de forma cerrada utilizando la matriz de covarianza de las activaciones y un parámetro de regularización (apertura $\alpha$), evitando la necesidad de descenso de gradiente.

2. Composición Contrastiva: Para aislar las direcciones relevantes para la tarea que distinguen el éxito del fracaso, COAST utiliza álgebra de subespacios booleanos para componer un conector contrastivo ($C_{dirigir}$):
   $$C_{dirigir} = C_{éxito} \land \neg C_{fallo}$$
   Esta operación (Y-NO) retiene las direcciones presentes en el subespacio de éxito mientras suprime las direcciones compartidas con el subespacio de fallo (ruido) y aquellas únicas del fallo.

3. Dirección en Tiempo de Inferencia: Durante la inferencia, la activación del flujo residual $h$ en una capa específica $\ell$ se transforma mediante una puerta multiplicativa $M$:
   $$h' = h M^\top, \quad \text{donde } M = (1 - \beta)I + \beta C_{dirigir}$$
   Aquí, $\beta \in [0, 1]$ controla la fuerza de la dirección. Esta operación proyecta suavemente el estado oculto hacia el subespacio asociado al éxito sin sobrescribir el cálculo interno del modelo.

Características Clave

• Libre de Entrenamiento: No requiere actualizaciones de pesos, cálculo de gradientes ni modelos auxiliares.
• Plug-and-Play: Opera directamente sobre el flujo residual del experto de acción.
• Nivel de Subespacio: A diferencia de la dirección aditiva de una sola dirección (por ejemplo, Adición de Activación Contrastiva), COAST opera sobre un subespacio multidimensional, capturando geometrías complejas críticas para el resultado.

Contribuciones Clave

1. Dirección de Políticas Ligera y Libre de Entrenamiento: Los autores presentan la primera aplicación de puertas de subespacio basadas en conectores a expertos de acción VLA. Al construir una puerta multiplicativa de forma cerrada a partir del álgebra booleana de conectores sobre ejecuciones de éxito y fallo, COAST mejora las tasas medias de éxito en tareas de simulación en más de un 20% y las tasas de éxito en tareas con robots reales en más de un 40% en diversos puntos de referencia.
2. Insight Mecanístico: El análisis revela que la estructura de valores propios de los expertos de acción VLA es adecuada para la dirección basada en conectores. Las representaciones relevantes para el resultado ocupan un subespacio de rango bajo pero no de rango uno, lo que explica por qué los conectores multidimensionales superan a los métodos aditivos de una sola dirección. Además, el estudio encuentra que, mientras que las representaciones de éxito son en gran medida específicas de la tarea, los modos de fallo comparten una estructura geométrica sustancial entre diferentes tareas.
3. Generalización Plug-and-Play: COAST se valida en tres familias de políticas arquitectónicamente distintas (VLA de ajuste de flujo, VLA autoregresivos y Política de Difusión) y en tres puntos de referencia de simulación de complejidad creciente (MetaWorld, LIBERO-10, RoboCasa), así como en la implementación en robots reales en la plataforma DROID. El método demuestra que la estructura geométrica que explota no es específica de una sola arquitectura o entorno.

Resultados Experimentales

El artículo evalúa COAST frente a líneas base sin dirección, ajuste fino supervisado (SFT), Adición de Activación Contrastiva (CAA) y dirección con Codificadores Automáticos Dispersos (SAE).

• Mejoras de Rendimiento: En todos los pares modelo-punto de referencia, COAST produce mejoras estadísticamente significativas.
  • MetaWorld ML45: La tasa media de éxito $\pi0.5$ aumentó de 0.57 a 0.82 (+25%) con dirección contrastiva por paso.
  • LIBERO-10: La tasa media de éxito $\pi0.5$ aumentó de 0.43 a 0.80 (+37%).
  • RoboCasa: Se observaron ganancias significativas en todos los modelos, alcanzando $\pi0.5$ 0.56 y GR00T N1.5 0.75.
  • Mundo Real: En la plataforma DROID, $\pi0.5$ con COAST logró una mejora promedio del 40% en las tasas de éxito en tareas como "Abrir Cajón" y "Cerrar Microondas", incluso sin ajuste fino sobre demostraciones.
• Comparación: COAST supera consistentemente a la dirección CAA y SAE, las cuales están limitadas por su naturaleza de una sola dirección o basada en características. También supera al SFT, que a menudo sufre de sobreajuste al entrenarse sobre el pequeño número de ejecuciones (15) utilizadas para el ajuste de conectores de COAST.
• Transferencia entre Tareas: Debido a la geometría compartida de los modos de fallo, los conectores ajustados en una tarea pueden mejorar el rendimiento en una tarea diferente dentro del mismo punto de referencia sin necesidad de reajuste, siempre que sus subespacios de fallo se superpongan.

Significado y Afirmaciones

El artículo afirma que los VLA actuales retienen un conocimiento sustancialmente relevante para la tarea en sus representaciones latentes, pero el cuello de botella de decodificación del experto de acción impide el uso completo de esta información. COAST proporciona un operador geométrico de forma cerrada para resaltar esta capacidad latente sin reentrenar.

Los autores enfatizan que la estructura geométrica que permite la dirección, específicamente los subespacios de rango bajo con direcciones de éxito y fallo contrastivamente separables, es una propiedad general de cómo las redes neuronales codifican información relevante para la tarea, persistiendo en políticas de ajuste de flujo, autoregresivas y de difusión. Concluyen que los fallos en la ejecución VLA pueden mitigarse dirigiendo el modelo hacia sus propias distribuciones de "éxito", ofreciendo un camino escalable y eficiente para desbloquear capacidades latentes en la IA encarnada.

El trabajo también destaca una consideración de seguridad: dado que la dirección actúa sobre activaciones internas, una política dirigida es difícil de distinguir de una no modificada basándose únicamente en las trazas de acción. Los autores recomiendan registrar los conectores aplicados como parte de la especificación de la política para garantizar la transparencia.