Resumen Técnico: Regularización de Representación Contrastiva para Modelos Visión-Lenguaje-Acción

Enunciado del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han demostrado un potencial significativo en la manipulación robótica al aprovechar representaciones semánticas ricas procedentes de Modelos Visión-Lenguaje (VLM) preentrenados. Sin embargo, persiste una limitación crítica: las representaciones derivadas de VLMs de propósito general suelen ser subóptimas para el control robótico. Aunque los VLMs se entrenan en conjuntos de datos de instrucciones visuales a gran escala, carecen de una exposición explícita a modalidades robóticas, específicamente acciones de control de bajo nivel e información propioceptiva (por ejemplo, posiciones de las articulaciones, estados del efector final).

En consecuencia, cuando los modelos VLA se condicionan sobre representaciones de VLM congeladas, los embeddings tienden a estar dominados por la apariencia visual (por ejemplo, la disposición de la escena, las texturas de fondo) en lugar de factores relevantes para el control. Esta desalineación resulta en representaciones que no capturan el estado físico del robot ni las señales necesarias para una predicción de acciones precisa, lo que conduce a un rendimiento subóptimo en tareas que requieren un posicionamiento exacto.

Metodología: Pérdida Contrastiva Consciente del Estado del Robot (RS-CL)

Para abordar la desalineación entre las representaciones de VLM y las señales robóticas, los autores proponen la Pérdida Contrastiva Consciente del Estado del Robot (RS-CL). Esta es una técnica de regularización de representaciones simple y efectiva diseñada para cerrar la brecha entre los embeddings de VLM y los estados propioceptivos del robot sin requerir etapas de entrenamiento adicionales ni conjuntos de datos curados.

Componentes Principales

1. Aumento a Nivel de Representación (Corte de Vista):
   En lugar de realizar aumentos a nivel de datos costosos que requieren múltiples pasadas hacia adelante a través del VLM, los autores introducen el "corte de vista". Esta operación enmascara aleatoriamente la rebanada de características correspondiente a una sola vista de observación de la salida del VLM. Esto crea embeddings alternativos a nivel de representación con una sobrecarga computacional mínima, permitiendo la construcción eficiente de pares contrastivos diversos.

2. Token de Resumen Aprendible:
   Para manejar el alto costo computacional de aplicar aprendizaje contrastivo en secuencias completas de VLM (que suelen ser largas), se añade un token de resumen aprendible a la salida del VLM. El adaptador procesa este token para producir un embedding representativo compacto ($z$) utilizado para el aprendizaje contrastivo, mientras que los embeddings originales ($h$) permanecen disponibles para el decodificador de acciones.

3. Objetivo Contrastivo con Ponderación Suave:
   RS-CL utiliza un marco de aprendizaje contrastivo supervisado basado en la pérdida InfoNCE. A diferencia de las pérdidas contrastivas estándar que tratan todos los pares negativos por igual, RS-CL asigna pesos suaves a las puntuaciones de similitud basándose en la distancia euclidiana entre los estados propioceptivos del robot ($q_i, q_j$).

   • Mecanismo: Los pares de estados con distancias propioceptivas pequeñas (estados físicos similares) reciben pesos más altos, lo que fomenta que el modelo acerque sus embeddings en el espacio de representación. Los pares con grandes distancias reciben un peso menor.
   • Fórmula: La pérdida se define como una variante ponderada de InfoNCE:
     $$\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$$
     donde $w_{ij}$ se calcula a partir de la distancia relativa entre los estados propioceptivos.

4. Integración en el Entrenamiento:
   RS-CL opera como un objetivo auxiliar junto con la pérdida estándar de predicción de acciones (por ejemplo, pérdida de ajuste de flujo). El objetivo total es $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$. El coeficiente de ponderación $\lambda$ decae durante el entrenamiento, enfatizando el refinamiento de la representación en las etapas iniciales y la predicción precisa de acciones en las etapas posteriores. Esto permite un entrenamiento de una sola etapa, de extremo a extremo, compatible con las pipelines VLA existentes.

Contribuciones Clave

• Objetivo Novel: Introducción de RS-CL, que alinea explícitamente las representaciones de VLM con los estados propioceptivos del robot utilizando una supervisión suave continua basada en distancias.
• Diseño Eficiente: Desarrollo de una estrategia de aumento a nivel de representación ("corte de vista") que permite un aprendizaje contrastivo ligero y estable sin pasadas adicionales hacia adelante del VLM.
• Compatibilidad: Demostración de que RS-CL es totalmente compatible con las pipelines de entrenamiento VLA estándar, sin requerir curación adicional de datos ni procesos de entrenamiento de múltiples etapas.

Resultados Experimentales

Los autores evaluaron RS-CL en benchmarks de simulación y experimentos con robots reales.

Benchmarks de Simulación

• RoboCasa-Kitchen: RS-CL logró una tasa de éxito de vanguardia del 69.7% (utilizando 300 demostraciones), superando la línea base GR00T N1.5 (65.7%) y otras líneas base fuertes como $\pi_0$ (62.5%). Cabe destacar que obtuvo ganancias sustanciales en tareas de agarrar y colocar, mejorando las tasas de éxito del 30.3% al 41.5% (+11.2%), una categoría que requiere un posicionamiento preciso.
• LIBERO: RS-CL mejoró la tasa de éxito promedio del 95.7% al 96.4%, demostrando robustez en diferentes suites de multitarea.
• Eficiencia: En comparación con las Redes Contrastivas Temporales (TCN), RS-CL logró tasas de éxito más altas con una sobrecarga computacional significativamente menor (2.91 $\times 10^{12}$ FLOPs frente a 7.53 $\times 10^{12}$ para TCN), ya que evita la minería de datos estructuralmente temporal y pasadas adicionales hacia adelante.

Experimentos con Robots Reales

• Configuración: Los experimentos se realizaron con un brazo Franka Research 3 y una pinza Robotiq 2F-85.
• Rendimiento: En tareas de manipulación desafiantes, RS-CL mejoró la tasa de éxito del 45.0% al 58.3% (+13.3%).
• Generalización: El método demostró una mayor robustez ante variaciones visuales, cambios en propiedades físicas (objetos no vistos), condiciones de iluminación y anclaje lingüístico. También mostró un rendimiento mejorado en tareas con oclusión parcial (por ejemplo, cerrar una tapa), atribuido a representaciones invariantes a la vista.

Entrenamiento desde Cero

Al entrenar modelos VLA desde cero sobre diversas arquitecturas de VLM preentrenadas (Qwen2.5-VL, SigLIP2, GR00T N1.5), RS-CL mejoró consistentemente el rendimiento en todas las arquitecturas. Superó a las líneas base que dependían de un entrenamiento adicional de VLMs en conjuntos de datos robóticos (por ejemplo, RoboBrain, VeBrain), lo que sugiere que la alineación explícita mediante RS-CL es más efectiva que la adaptación de dominio general por sí sola.

Significado y Afirmaciones

El artículo afirma que RS-CL aborda eficazmente la "brecha de modalidad" entre los VLMs de propósito general y las demandas específicas del control robótico. Al alinear explícitamente las representaciones con los estados propioceptivos, el método remodela el espacio de embeddings para capturar señales relevantes para el control (como el progreso de la tarea y la pose del robot) en lugar de solo la apariencia visual.

Los autores enfatizan que este enfoque es ligero y transparente, evitando la necesidad de un entrenamiento complejo de múltiples etapas o grandes conjuntos de datos robóticos curados. Los resultados sugieren que incorporar señales del estado del robot directamente en el proceso de aprendizaje de representaciones es crucial para una predicción de acciones precisa, particularmente en tareas que requieren un posicionamiento exacto. El trabajo fomenta futuras investigaciones sobre la integración de otras señales de sensores (por ejemplo, pose del objeto, retroalimentación táctil) para avanzar aún más en las capacidades de los modelos VLA.