Resumen Técnico: DiMaS – Emparejamiento de Distribuciones para el Control de Modelos de Visión-Lenguaje-Acción mediante Dirección

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA), particularmente aquellos que utilizan expertos de acción basados en flow-matching, han emergido como políticas potentes para la manipulación robótica. Sin embargo, una capacidad crítica sigue sin explorarse adecuadamente: el control conductual de grano fino. Si bien la dirección de representaciones (representation steering) es una herramienta de interpretabilidad bien establecida para los Modelos de Lenguaje Grandes (LLM) y los Modelos de Lenguaje-Visión (VLM) —donde las características conductuales se codifican típicamente como direcciones lineales—, este artículo demuestra que los métodos clásicos de dirección lineal resultan insuficientes en el entorno VLA.

El desafío central es que los VLA generan trayectorias de acción continuas mediante flow-matching en lugar de tokens discretos. Los autores plantean la hipótesis de que las características conductuales en estos entornos visuomotores no son direccionables linealmente de la misma manera que en los modelos de lenguaje. Los métodos existentes que dependen de desplazamientos aditivos fijos a lo largo de una dirección lineal no logran controlar eficazmente atributos conductuales específicos (como la velocidad del movimiento o el desplazamiento vertical) sin comprometer el éxito de la tarea o sin lograr inducir el cambio deseado de manera fiable.

Metodología: DiMaS

Los autores proponen DiMaS (Distribution Matching Steering), una estrategia diseñada específicamente para los VLA de flow-matching. En lugar de desplazar las representaciones a lo largo de una dirección lineal fija, DiMaS aprende un mapeo que transporta las representaciones entre distribuciones.

Componentes Principales

1. Obtención de Representaciones: El método extrae representaciones del flujo residual ($h$) del experto de acción ($f_A$) del VLA en capas específicas ($l$) y pasos de eliminación de ruido de flow-matching ($m$). Se elige el experto de acción sobre el backbone del VLM porque las representaciones en el experto de acción exhiben una mayor separabilidad lineal para las características conductuales.
2. Extracción de Características: Se deriva una característica conductual escalar continua (por ejemplo, la velocidad del efector final o el desplazamiento vertical) a partir de las acciones predichas.
3. Partición de Distribución: Las representaciones se particionan en una distribución fuente ($\mathcal{D}^-$) donde la característica está ausente (valores bajos) y una distribución objetivo ($\mathcal{D}^+$) donde la característica está presente (valores altos). Esto se logra mediante el umbral de cuantiles empíricos para asegurar poblaciones bien separadas.
4. Mapa de Transporte Óptimo: La intervención de dirección se define como un mapa de transporte $\mathcal{T}$ que mueve las representaciones de $\mathcal{D}^-$ a $\mathcal{D}^+$. Este mapa se aprende minimizando el objetivo de transporte óptimo de Kantorovich (específicamente la distancia $W_2$) utilizando un algoritmo Sinkhorn de bajo rango. Esto respeta la geometría completa de las distribuciones en lugar de asumir una única dirección lineal.
5. Intervención en Tiempo de Inferencia:
   • Puerta (Gating): Un clasificador binario (sonda lineal) determina si una representación pertenece a la distribución fuente (característica ausente). La dirección solo se aplica si la característica está ausente.
   • Interpolación: Para mantener el éxito de la tarea, el método no transporta completamente la representación hacia la distribución objetivo. En su lugar, interpola entre la representación original y la representada utilizando una perilla $\alpha \in [0, 1]$.
   • Regla de Actualización: $h' = (1-\alpha)h + \alpha(\mathcal{T} \circ P(h))$, donde $P$ es una proyección de vecino más cercano sobre la distribución fuente.

Contribuciones Clave

1. Mecanismo DiMaS: Una novedosa estrategia de dirección basada en el emparejamiento de distribuciones (transporte óptimo) adaptada específicamente para VLA de flow-matching. Interviene en las representaciones latentes y es validada a través de modelos de diferentes escalas (SmolVLA y $\pi0.5$).
2. Análisis de Generalizabilidad: El artículo caracteriza la transferibilidad del control conductual a través de tareas cada vez más disímiles. Demuestra que la dirección aprendida de un subconjunto de tareas puede generalizarse a tareas no vistas e incluso a conjuntos de tareas disjuntos, aunque la efectividad varía con la diversidad de la tarea.
3. Perspectivas Estructurales: A través de un análisis de la estructura de representación del experto de acción, los autores explican por qué la dirección lineal clásica falla en los VLA. Muestran que, si bien las características conductuales son linealmente decodificables (separables por un clasificador), no son linealmente direccionables (un desplazamiento fijo no puede transformar la distribución fuente en la distribución objetivo). Esto motiva el diseño de emparejamiento de distribuciones de DiMaS.

Resultados Experimentales

El método fue evaluado en el benchmark LIBERO (suites Object, Spatial, Goal y 10) utilizando dos VLA de vanguardia: SmolVLA y $\pi0.5$.

• Eficacia de Control: DiMaS logró modular exitosamente las características objetivo (velocidad de movimiento y desplazamiento vertical) tanto en dirección creciente como decreciente. En contraste, los modelos de referencia de dirección lineal (diferencia de medias y basados en regresión) y los modelos de referencia de inyección de prompts funcionaron de manera inconsistente, fallando a menudo en desplazar la característica o desplazándola en la dirección incorrecta.
• Éxito de la Tarea: DiMaS preservó en gran medida las tasas de éxito de la tarea al modular la velocidad. Sin embargo, modular el desplazamiento vertical incurrió en una caída en el éxito, lo que los autores atribuyen a que la característica está intrínsecamente ligada a la completitud de la tarea (por ejemplo, un levantamiento vertical insuficiente impide la colocación del objeto).
• Generalización:
  • Diversidad de Tareas: Aprender de múltiples tareas conjuntamente (Configuración 2) produjo efectos más estables que aprender de una sola tarea (Configuración 1).
  • Transferencia Fuera de Distribución (OOD): DiMaS se mantuvo efectivo cuando se aplicó a tareas no vistas dentro de una suite y, en menor medida, cuando se transfirió a suites disjuntas. La efectividad fue más débil en la suite más diversa (LIBERO-Goal), lo que sugiere que la alta heterogeneidad conductual desafía el mapa de transporte aprendido.
  • Tareas de Largo Horizonte: El método siguió siendo efectivo en tareas de largo horizonte (LIBERO-10), mostrando una reducción significativa de la velocidad con un costo manejable en la tasa de éxito.
• Compromiso de Interpolación: El parámetro de interpolación $\alpha$ permite un compromiso ajustable entre la fuerza de la dirección y la tasa de éxito. Se encontró que un valor intermedio (por ejemplo, $\alpha=0.5$) ofrece un equilibrio favorable, reduciendo sustancialmente la velocidad mientras preserva la mayoría de los episodios exitosos.

Significado y Reivindicaciones

El artículo afirma que DiMaS proporciona un mecanismo robusto para el control conductual post-hoc en los VLA, abordando un vacío donde los usuarios pueden moldear cómo un robot realiza una tarea, no solo qué hace.

• Perspectiva Teórica: El trabajo proporciona una distinción crucial en el dominio VLA: las características conductuales son linealmente decodificables pero no linealmente direccionables. Este hallazgo desafía la aplicación directa de los paradigmas de dirección lineal de los LLM al control visuomotor y justifica el uso del transporte óptimo.
• Utilidad Práctica: Al preservar el éxito de la tarea mientras se controla comportamientos específicos (como la velocidad), DiMaS ofrece una interfaz práctica para moldear el comportamiento del robot sin necesidad de reentrenar el modelo.
• Limitaciones y Modestia: Los autores reconocen que dirigir el desplazamiento vertical es intrínsecamente arriesgado para el éxito de la tarea debido a las restricciones físicas. También señalan que el método actual trata todos los pasos de tiempo de manera uniforme y que la asociación entre representaciones y acciones en salidas fragmentadas (chunked outputs) es una aproximación.

En resumen, DiMaS demuestra que el emparejamiento de distribuciones es un enfoque necesario y efectivo para la dirección de los VLA de flow-matching, ofreciendo un marco generalizable para el control a nivel de representación en la manipulación robótica.