Resumen Técnico: Error por Grupo, No MSE Total: Ajuste Fino de Modelos de Visión-Lenguaje-Acción para Manipulación Móvil de 11 DoF

Declaración del Problema

El despliegue de modelos preentrenados de Visión-Lenguaje-Acción (VLA) en manipuladores móviles presenta un desafío único debido a la heterogeneidad de sus espacios de acción. Mientras que la mayoría de los VLA (por ejemplo, OpenVLA, RT-2) están entrenados para robots de brazo fijo con 6 a 7 grados de libertad cartesianos, plataformas como el Toyota Human Support Robot (HSR) requieren el control de 11 articulaciones que abarcan un brazo, una pinza, una cabeza y una base con ruedas.

El problema central identificado es que las métricas de evaluación estándar, específicamente el Error Cuadrático Medio (MSE) agregado, oscurecen dinámicas críticas de rendimiento en estos espacios heterogéneos. Cuando 11 dimensiones se colapsan en una sola métrica, los grupos de articulaciones que son fáciles de predecir (por ejemplo, la pinza o la cabeza) pueden enmascarar grupos que presentan un subajuste (por ejemplo, la base móvil o el brazo). En consecuencia, un checkpoint con el menor MSE total puede no corresponder al modelo que mejor funciona en el robot físico, lo que conduce a fallos de despliegue contraintuitivos donde un "mejor" indicador offline resulta en un "peor" resultado en el mundo real.

Metodología

Modelos y Configuración

El estudio compara dos arquitecturas VLA ajustadas para el HSR de 11 DoF:

1. SmolVLA (450 millones de parámetros): Un modelo ligero basado en SmolVLM2-500M, configurado con una cabeza de acción de flow-matching para una salida de 11 dimensiones. Fue preentrenado en un subconjunto de los datos de la comunidad LeRobot (109k episodios, solo brazo fijo) y luego sometido a un ajuste fino (fine-tuning) con datos de teleoperación específicos de HSR.
2. $\pi$0.5 (3.3 mil millones de parámetros): Un modelo más grande basado en PaliGemma2 con una cabeza de acción de experto basada en difusión. Fue preentrenado en un corpus diverso que incluye manipulación móvil a través de múltiples embodiments.

Regímenes de Entrenamiento

• SmolVLA: Entrenado en dos fases: (1) Preentrenamiento en 109k episodios de HSR durante 20k pasos, y (2) Ajuste fino específico de la tarea para una tarea de recogida (pick-up) (3,971 episodios) durante 50k pasos.
• $\pi$0.5: Evaluado utilizando líneas base preentrenadas (80k y 100k pasos) y un régimen de ajuste fino de solo experto donde el backbone de 3 mil millones de parámetros fue congelado, y solo la cabeza de acción de aproximadamente 300 millones de parámetros fue entrenada durante hasta 5k pasos. Este enfoque se eligió debido a las restricciones de memoria que impedían el ajuste fino completo.

Protocolo de Evaluación

Los autores proponen una descomposición de error por grupo en lugar de depender de un MSE agregado. El vector de acción de 11 dimensiones se divide en cuatro grupos funcionales:

• Brazo (5 articulaciones)
• Pinza (1 articulación)
• Cabeza (2 articulaciones)
• Base (3 articulaciones)

La evaluación offline consistió en calcular el Error Cuadrático Medio (MSE) para cada grupo por separado en datos no vistos. La validación con el robot real se realizó en el Toyota HSR con 60 ensayos (20 por modelo) en una tarea de recogida (taza y caja de galletas), calificada mediante una rúbrica de 4 puntos.

Resultados Clave

1. SmolVLA: El Cuello de Botella de la Base Móvil

• Dinámicas de Convergencia: Durante el ajuste fino, el error de la pinza disminuyó rápidamente (92.9% de mejora), mientras que el error de la base móvil mejoró significativamente más lento (57.8%).
• Techo de Rendimiento: La base móvil siguió siendo la fuente dominante de error, estableciendo efectivamente el techo para el MSE total.
• Resultado en el Mundo Real: El mejor checkpoint de SmolVLA (40k pasos) logró una puntuación media en el robot real de 3.5/4. Los fallos se caracterizaron por una navegación precisa pero un agarre mal calibrado (acercándose al objeto pero fallando el agarre por ~20 cm), consistente con el hecho de que el error residual del brazo era mayor que el del la base en algunos contextos, aunque la base fue el principal cuello de botella en el entrenamiento.

2. $\pi$0.5: El Desconecte del "Solo Experto"

• Línea Base vs. Ajuste Fino: La línea base preentrenada de $\pi$0.5 (80k pasos) logró la puntuación más alta en el robot real de 4.0/4 (20/20 éxitos).
• El Resultado Contraintuitivo: El ajuste fino de solo experto redujo el MSE total de 1.04 a 0.95 (una mejora del 9%). Sin embargo, este modelo "mejor" funcionó peor en el robot (3.75/4, 15/20 éxitos), con una diferencia estadísticamente significativa ($p=0.010$).
• Análisis por Grupo: La mejora en el MSE total fue impulsada por las ganancias en los grupos de la pinza y la base. Sin embargo, el error del grupo del brazo degradó significamente (de 0.30 a 0.59 MSE). Los fallos en el mundo real (fallar al levantar el objeto limpiamente) se correlacionaron directamente con esta degradación del brazo, no con el MSE total o el error de la base.

3. Fiabilidad de la Métrica

• Fallo del MSE Total: En el experimento de $\pi$0.5, el modelo con el menor MSE total (solo experto 3k) fue el peor en su desempeño en el robot.
• Éxito por Grupo: La métrica offline que predijo consistentemente el ranking en el robot real fue el error del grupo del brazo.
• Significancia Estadística: Las pruebas de Mann-Whitney confirmaron que el $\pi$0.5 de 80k superó significativamente a ambas variantes de ajuste fino.

Contribuciones Clave

1. Identificación de la "Trampa del MSE Agregado": El artículo demuestra que para espacios de acción heterogéneos, minimizar el MSE total puede llevar a la degradación de grupos de articulaciones críticos (como el brazo) si su magnitud de error es menor que la de otros grupos (como la pinza), causando que el optimizador los sacrifique.
2. Descomposición de Error por Grupo: Los autores introducen un método de evaluación sistemático que descompone el error por grupo de articulaciones (brazo, pinza, cabeza, base), revelando dinámicas de entrenamiento invisibles en las métricas agregadas.
3. Validación de Señales Offline en Robots Reales: A través de 60 ensayos con robots reales, el estudio valida empíricamente que el error por grupo es una señal más fiel para la selección de checkpoints que el MSE total.
4. Identificación de Cuellos de Botella: El trabajo destaca que el grupo "cuello de botella" varía según el modelo y el régimen de entrenamiento:
   • Para SmolVLA, el cuello de botella fue la base móvil (convergencia lenta debido a la falta de exposición en el preentrenamiento).
   • Para el ajuste fino de solo experto de $\pi$0.5, el cuello de botella fue el brazo (se degradó debido a los compromisos de optimización en el proceso de ajuste fino).

Significancia y Afirmaciones

El artículo conclかな que el error por grupo es una señal más fiable que el MSE total para seleccionar checkpoints de VLA destinados al despliegue en robots con espacios de acción heterogéneos.

Los autores argumentan que el desencuentre entre las métricas offline y el rendimiento en el mundo real es una consecuencia predecible de colapsar grupos de articulaciones heterogéneos en una sola métrica. Afirman que:

• Un checkpoint puede parecer competitivo en métricas agregadas mientras falla en grupos críticos para el despliegue.
• El grupo de articulaciones específico que limita el rendimiento depende de la arquitectura del modelo y del régimen de entrenamiento (diversidad del corpus de preentrenamiento vs. escasez de datos de ajuste fino).
• Para los profesionales, reportar el error por grupo es esencial para identificar qué grupo es el cuello de botella actual (ya sea la base en un nuevo modelo o el brazo en un experto ajustado) antes de confiar un modelo para su despliegue.

El estudio no pretende resolver el desequilibrio de optimización subyacente (por ejemplo, mediante ponderación de incertidumbre o balanceo de gradientes), sino que lo identifica como el impulsor probable de las dinámicas observadas, dejando la aplicación de tales técnicas para trabajos futuros. La comparación entre SmolVLA y $\pi$0.5 se enmarca como una comparación práctica de checkpoints disponibles en lugar de un estudio arquitectónico controlado, reconociendo las diferencias en los corpus de preentrenamiento.