Resumen Técnico: SemiVLA – Adaptación de Visión-Lenguaje-Acción Semi-Supervisada

1. Definición del Problema

El artículo aborda el desafío de adaptar los modelos de Visión-Lenguaje-Acción (VLA) a nuevos robots, entornos y distribuciones de tareas cuando las demostraciones con etiquetas de acción son escasas. Aunque los modelos VLA a gran escala (por ejemplo, OpenVLA, $\pi_0$, GR00T) poseen fuertes sesgos generales, el ajuste fino (fine-tuning) de estos requiere típicamente etiquetas de acción de bajo nivel y densas, las cuales son costosas de recolectar mediante teleoperación.

Los autores definen un entorno de adaptación semi-supervisado donde:

• Un conjunto pequeño de trayectorias ($D_l$) contiene supervisión completa: observaciones visuales ($o$), instrucciones de lenguaje ($q$) y acciones reales (ground-truth) ($a$).
• Un conjunto grande de trayectorias ($D_u$) contiene únicamente observaciones visuales e instrucciones de lenguaje, careciendo de etiquetas de acción.

La dificultad central reside en la naturaleza de la supervisión ausente. A diferencia del aprendizaje semi-supervisado (SSL) estándar en la clasificación de imágenes donde las etiquetas pseudo-etiquetas son clases discretas, las pseudo-etiquetas de VLA son señales de acción encarnadas (embodied action signals). Estas deben ser:

1. Visualmente fundamentadas en la observación.
2. Semánticamente consistentes con la instrucción de lenguaje.
3. Físicamente factibles dentro del espacio de acción del robot.
4. Temporalmente estables a lo largo de la trayectoria.

La aplicación directa del SSL convencional (por ejemplo, etiquetado de pseudo-etiquetas basado en la confianza) falla porque un modelo VLA puede asignar una alta confianza a una acción que es físicamente imposible o visualmente no fundamentada, lo que conduce a errores acumulativos en la ejecución de bucle cerrado.

2. Metodología: SemiVLA

Los autores proponen SemiVLA, un marco de auto-destilación profesor-estudiante diseñado para aprender de pseudo-acciones fiables en trayectorias no etiquetadas. El método consta de tres componentes primarios:

A. Flujo de Entrenamiento

1. Calentamiento Supervisado (Supervised Warm-up): La política estudiante ($\pi_\theta$) se ajusta primero sobre el conjunto etiquetado limitado ($D_l$) para establecer una dirección de adaptación estable para el espacio de acción objetivo.
2. Inicialización del Profesor: La política profesor ($\pi_\xi$) se inicializa a partir del estudiante calentado.
3. Aprendizaje de Pseudo-Acción por Auto-Destilación:
   • El profesor genera pseudo-acciones ($\hat{a}_t$) para las trayectorias no etiquetadas ($D_u$) utilizando una vista "débil" de la observación.
   • El estudiante es entrenado para igualar estas pseudo-acciones en una vista "fuerte" (con perturbaciones como recorte, jitter, ruido) solo si la pseudo-acción se considera fiable.
   • El estudiante aprende mediante una combinación de pérdida supervisada (en $D_l$), pérdida de auto-destilación (en $D_u$ fiables) y objetivos de alineación/consistencia.

B. Controlador de Fiabilidad Específico de VLA

Para filtrar las pseudo-acciones ruidosas, SemiVLA introduce un controlador de fiabilidad que calcula una puntuación $r_t$ como el producto de tres señales complementarias:

1. Alineación Visión-Lenguaje ($r^{vl}_t$): Mide la similitud de coseno entre el embedding de la instrucción de lenguaje y los tokens visuales relevantes en la observación. Esto asegura que la acción esté fundamentada en los objetos/regiones correctos.
2. Factibilidad de la Acción ($r^{act}_t$): Evalúa la plausibilidad física. Para acciones continuas, penaliza magnitudes grandes y saltos repentinos (variación temporal). Para tokens de acción, verifica la entropía de la distribución y la consistencia.
3. Consistencia de Transición Temporal ($r^{temp}_t$): Utiliza un predictor de transición ligero para verificar si la pseudo-acción puede explicar la transición visual de $o_t$ a $o_{t+1}$. Una puntuación alta indica que la acción es dinámicamente consistente con la trayectoria observada.

Solo las pseudo-acciones con una puntuación de fiabilidad por encima de un umbral se utilizan para el entrenamiento.

C. Actualización de Alineación Proyectada por Cuello de Botella

En lugar de actualizar al profesor mediante un EMA (Exponential Moving Average) estándar, que puede propagar actualizaciones ruidosas del estudiante, SemiVLA emplea una Actualización de Alineación Proyectada por Cuello de Botella.

• Descomposición: Los parámetros entrenables se dividen en un Grupo de Alineación Semántica (proyectores visuales, PEFT de visión-lenguaje) y un Grupo de Precisión de Acción (cabezal de acción, PEFT de política tardía).
• Filtrado:
  • El grupo semántico se actualiza solo si el subespacio visual-lenguaje es estable (baja sensibilidad a las perturbaciones).
  • El grupo de acción se actualiza solo si las pseudo-acciones son factibles y temporalmente consistentes.
• Proyección: El desplazamiento de parámetros del estudiante ($\Delta$) se proyecta a través de una compuerta de cuello de botella antes de actualizar al profesor. Esto evita que las actualizaciones visuales sensibles a molestias o las correcciones de acción inestables contaminen al profesor, asegurando que este siga siendo un generador de pseudo-acciones fiable.

D. Inferencia

En el momento de la inferencia, solo se utiliza la política estudiante. El profesor, el controlador de fiabilidad y los mecanismos de actualización se descartan, lo que significa que SemiVLA no añade costo extra de inferencia.

3. Contribuciones Clave

1. Formulación del Problema: El artículo formula explícamente la adaptación semi-supervisada de VLA bajo señales de supervisión limitadas, distinguiéndola del ajuste fino supervisado convencional y del SSL estándar al resaltar las restricciones únicas de las señales de acción encarnadas.
2. Marco SemiVLA: Una arquitectura de auto-destilación profesor-estudiante que aprovecha trayectorias de visión-lenguaje no etiquetadas para mejorar la adaptación sin requerir etiquetas de acción densas.
3. Controlador de Fiabilidad: Un mecanismo novedoso que evalúa las pseudo-acciones basándose en la alineación visión-lenguaje, la factibilidad de la acción y la consistencia temporal, yendo más allá de los simples umbrales de confianza.
4. Actualización Proyectada por Cuello de Botella: Una estrategia de actualización del profesor que filtra la retroalimentación del estudiante a través de subespacios estables, evitando la contaminación por ruido y mejorando la calidad del bucle de auto-destilación.
5. Validación Empírica: Experimentos exhaustivos que demuestran que SemiVLA supera al ajuste fino supervisado y a las líneas base de SSL existentes en múltiples entornos de prueba.

4. Resultados Experimentales

Los autores evaluaron SemiVLA utilizando OpenVLA como columna vertebral en los entornos LIBERO y CALVIN, con solo el 10% de las trayectorias conteniendo etiquetas de acción.

• Rendimiento en LIBERO:

  • SemiVLA + Selective LoRA logró una tasa de éxito promedio del 89.0%.
  • Esto superó a la mejor línea base supervisada (OpenVLA + LoRA, 81.0%) por 8.0 puntos porcentuales.
  • También superó significativamente a la versión zero-shot de OpenVLA (69.8%) por 19.2 puntos.
  • Las ganancias fueron particularmente pronunciadas en LIBERO-Long (tareas de largo horizonte), donde SemiVLA + Selective LoRA alcanzó un 82.3% frente al 70.3% de la versión supervisada de LoRA.

• Generalización entre Benchmarks (CALVIN):

  • SemiVLA + Selective LoRA logró un promedio de 2.58 tareas completadas, en comparación con 1.86 para la versión supervisada de Selective LoRA y 1.32 para la versión zero-shot.
  • Esto indica que el método mejora la transferencia a diferentes entornos de manipulación de largo horizonte, no solo a la distribución de entrenamiento.

• Adaptación de Pocos Disparos (Few-Shot Adaptation):

  • En configuraciones de 1-shot y 5-shot, SemiVLA superó consistentemente a sus contrapartes supervisadas, demostrando su capacidad para compensar la extrema escasez de etiquetas de acción utilizando datos no etiquetados.

• Eficiencia:

  • SemiVLA logra estas ganancias con métodos de eficiencia de parámetros (por ejemplo, Selective LoRA con solo 31.6M de parámetros entrenables).
  • No requiere el ajuste de todos los parámetros (7.0B parámetros) para alcanzar resultados de vanguardia en el régimen de etiquetas limitadas.

• Estudios de Ablación:

  • Eliminar el controlador de fiabilidad o la actualización de cuello de botella redujo significamente el rendimiento, confirmando que tanto la calidad de las pseudo-acciones como el método de evolución del profesor son críticos.
  • El controlador de fiabilidad completo (VL + Acción + Temporal) fue más estricto (aceptando aproximadamente el 36.8% de las pseudo-acciones) pero produjo tasas de éxito más altas que los métodos basados solo en la confianza, probando que la calidad sobre la cantidad es esencial para VLA.

5. Significado y Reivindicaciones

El artículo afirma que SemiVLA proporciona un mecanismo de adaptación semi-supervisada general que convierte eficazmente las trayectorias de visión-lenguaje sin etiquetas de acción en una supervisión fiable.

• Eficiencia de Datos: Demuestra que las políticas robóticas de alto rendimiento pueden adaptarse con significativamente menos demostraciones etiquetadas con acción, aprovechando la abundancia de datos de visión-lenguaje no etiquetados.
• Más allá de la Confianza: El trabajo argumenta que las métricas de confianza del SSL estándar son insuficientes para el control encarnado; en su lugar, la fiabilidad debe evaluarse mediante la factibilidad física, la fundamentación visual y la dinámica temporal.
• Robustez: El método mejora la generalización a tareas no vistas y perturbaciones ambientales (iluminación, distractores), lo que sugiere que el controlador de fiabilidad ayuda al modelo a aprender correspondencias visión-lenguaje-acción estables en lugar de memorizar demostraciones específicas.
• Practicidad: Al no añadir costo de inferencia y trabajar con ajuste fino de parámetros eficientes, el enfoque se presenta como una solución práctica para desplegar modelos VLA en entornos del mundo real donde la recolección de etiquetas de acción es un cuello de botella.