Resumen Técnico: DyGRO-VLA

1. Declaración del Problema

El artículo aborda un cuello de botella crítico de escalabilidad en el entrenamiento de modelos Visión-Lenguaje-Acción (VLA) para la manipulación robótica generalista. Si bien los avances recientes en Aprendizaje por Refuerzo (RL) han mejorado la precisión de control y las tasas de éxito para tareas individuales, la aplicación de RL post-entrenamiento en configuraciones multi-tarea a menudo conduce al olvido catastrófico y a la interferencia entre tareas.

El análisis empírico en el benchmark LIBERO revela que, a medida que aumenta el número de tareas, los optimizadores estándar de RL (por ejemplo, Soft Actor-Critic) se degradan en rendimiento. Específicamente:

• Distorsión de Representación: El ajuste fino (fine-tuning) de RL de una sola tarea distorsiona el espacio de características compartido aprendido durante el pre-entrenamiento, aislando las experiencias específicas de la tarea y reduciendo la alineación con otras tareas.
• Degradación del Rendimiento: Los modelos optimizados para tareas específicas a menudo sufren caídas significativas en el rendimiento en tareas no relacionadas, y el entrenamiento de RL multi-tarea se vuelve cada vez más inestable a medida que crece la cantidad de tareas.
• La Compensación: Existe un conflicto fundamental entre lograr alta destreza en tareas específicas y mantener la generalización entre tareas requerida para robots generalistas.

2. Metodología: DyGRO-VLA

Para resolver la compensación entre destreza y generalización, los autores proponen DyGRO-VLA (Optimización Residual Agrupada Dinámica), un marco de optimización de dos etapas.

Etapa 1: Pre-entrenamiento Offline con Cuello de Botella de Información (IB)

La primera etapa se centra en aprender una representación latente cruzada entre tareas robusta y compartida $p(z|o)$ a partir de demostraciones offline.

• Arquitectura: Utiliza una columna vertebral VLM (DINOv2, SigLIP, Qwen2.5-0.5B) para codificar observaciones visuales e instrucciones de lenguaje, fusionadas con datos propioceptivos.
• Objetivo: El modelo se entrena utilizando un objetivo de Cuello de Botella de Información Variacional (VIB). El objetivo es maximizar la información mutua entre la representación latente $Z$ y la acción $A$ ($I(Z; A)$) mientras se minimiza la información mutua entre la observación $O$ y $Z$ ($I(O; Z)$).
• Mecanismo: Esto obliga al codificador a retener solo información relevante para la tarea (por ejemplo, geometría del objeto, relaciones espaciales) mientras descarta factores molestos (por ejemplo, desorden de fondo, iluminación), creando un espacio latente compacto adecuado para la generalización.
• Pérdida: Se deriva una cota inferior variacional para hacer manejable el objetivo IB, involucrando un crítico neuronal $T_\psi$ para estimar los términos de información mutua.

Etapa 2: Ajuste Fino Online mediante Mezcla de Residuos de RL (MoRR)

La segunda etapa optimiza la política para el rendimiento multi-tarea sin perturbar la representación compartida aprendida en la Etapa 1.

• Aprendizaje Residual: En lugar de actualizar directamente la política base, el optimizador de RL predice un residuo ($\Delta a$) para refinar el bloque de acción base ($a_{base}$). Esto preserva el prior pre-entrenado mientras permite correcciones específicas de la tarea.
• Enrutamiento Dinámico (MoE): Para manejar múltiples tareas, el marco emplea una arquitectura de Mezcla de Expertos (MoE) con $N$ expertos residuales.
  • Embeddings de Tarea: Un objetivo de aprendizaje contrastivo ($L_{CL}$) aprende embeddings de tarea ($\tilde{z}_T$) que codifican patrones de identificación de tareas, distintos del latente relevante para la decisión $z$.
  • Enrutador: Una red de puerta condicionada al embedding de tarea selecciona y pondera dinámicamente los $m$ mejores expertos para una tarea dada.
• Objetivos de Entrenamiento: La pérdida total combina:
  1. Pérdida de RL ($L_{RL}$): Pérdida estándar actor-crítico para la política aumentada.
  2. Pérdida Contrastiva ($L_{CL}$): Asegura que los embeddings de tarea sean discriminativos para el enrutamiento.
  3. Balanceo de Carga ($L_{LB}$): Un regularizador basado en entropía para prevenir el colapso de expertos y asegurar una utilización equilibrada del MoE.
• Muestreo Consciente de la Dificultad: El proceso de entrenamiento sesga el muestreo hacia tareas sub-solucionadas para centrar el aprendizaje en escenarios desafiantes.

3. Contribuciones Clave

1. Análisis de las Limitaciones de RL: El artículo proporciona evidencia empírica que demuestra que el entrenamiento post-RL estándar causa olvido catastrófico y distorsión de representaciones en configuraciones VLA multi-tarea, destacando la necesidad de preservar características entre tareas.
2. Marco DyGRO-VLA: Introducción de un novedoso marco de dos etapas que combina el pre-entrenamiento con Cuello de Botella de Información con una Mezcla Dinámica de Residuos de RL para el ajuste fino online.
3. Optimización Agrupada Dinámica: El diseño de un mecanismo de enrutamiento que compone dinámicamente expertos especializados de RL basados en embeddings de tarea, mitigando eficazmente los conflictos de gradiente entre tareas diversas.
4. Validación Exhaustiva: Evaluación extensa en LIBERO (130 tareas), RoboTwin2 (brazo dual) y transferencia Sim2Real en el mundo real, demostrando mejoras consistentes sobre los baselines más avanzados.

4. Resultados Experimentales

Los autores evaluaron DyGRO-VLA en los benchmarks LIBERO y RoboTwin2, comparándolo con baselines sólidos que incluyen Octo, OpenVLA, $\pi_0$ y varios métodos de ajuste fino con RL.

• Benchmark LIBERO:
  • DyGRO-VLA logró una tasa de éxito promedio del 97.1% en todos los conjuntos, superando al modelo base offline en +4.4%.
  • Se observó una mejora notable en el desafiante conjunto LIBERO-Long, donde las tasas de éxito aumentaron del 85.2% al 95.0% (+9.8% de ganancia absoluta).
  • Superó a otros baselines basados en RL (por ejemplo, TGRPO, VLA-RL, RIPT-VLA) que lucharon con el entrenamiento conjunto multi-tarea.
• Análisis de Conflicto de Gradientes: Las visualizaciones de la similitud del coseno de los gradientes mostraron que, mientras que los residuos MLP estándar exhiben fuertes correlaciones negativas (conflictos) entre grupos de tareas, el MoRR de DyGRO-VLA redujo significativamente estos conflictos mientras mantenía la sinergia intra-grupo.
• Estudios de Ablación:
  • Eliminar el objetivo IB o el objetivo de aprendizaje contrastivo condujo a caídas en el rendimiento, confirmando la necesidad del aprendizaje de representaciones compartidas y del enrutamiento discriminativo.
  • Aumentar el número de expertos (de 1 a 8) mejoró consistentemente el rendimiento, siendo 8 expertos los que produjeron los mejores resultados.
• Mundo Real (RoboTwin2):
  • En la transferencia Sim2Real, DyGRO-VLA logró el mejor éxito general en simulación (79.2%) y superó a los baselines RFT en ensayos del mundo real, particularmente en tareas bimanuales complejas y de largo horizonte.

5. Significado y Afirmaciones

El artículo afirma que DyGRO-VLA ofrece una solución escalable y robusta para el ajuste fino eficiente de RL multi-tarea. Su principal significado radica en:

• Preservar la Generalización: Al desacoplar el aprendizaje de representaciones compartidas del refinamiento específico de la tarea mediante aprendizaje residual, evita el "sobreajuste" de los optimizadores de RL que típicamente plaga el entrenamiento VLA multi-tarea.
• Cerrar la Brecha: Conecta exitosamente la brecha entre el control de alto rendimiento de una sola tarea y las capacidades de generalización requeridas para robots generalistas.
• Aplicabilidad Práctica: El método demuestra que políticas complejas de RL multi-tarea pueden transferirse eficazmente a sistemas robóticos del mundo real sin olvido catastrófico.

Los autores reconocen limitaciones, incluida la sensibilidad a la escasez de recompensas durante el entrenamiento online, la dependencia de identidades de tarea conocidas para el enrutamiento y la necesidad de una evaluación más amplia en el mundo real en diversas encarnaciones. Sin embargo, posicionan a DyGRO-VLA como un paso fundamental hacia sistemas robóticos de propósito general capaces de manejar diversas tareas del mundo real con un modelo unificado.