Resumen Técnico: Aprendizaje Adaptativo Informado por Fallos (AFIL) para Modelos Visión-Lenguaje-Acción

1. Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han surgido como un paradigma escalable para la manipulación robótica, aprovechando representaciones preentrenadas a gran escala de visión y lenguaje para habilitar la toma de decisiones encarnada. Sin embargo, los modelos VLA actuales sufren de una fragilidad significativa durante su despliegue. Esta limitación se debe principalmente a su dependencia del clonado de comportamiento basado únicamente en éxitos. Los datos de entrenamiento suelen consistir en trayectorias teleoperadas recopiladas en entornos confinados, las cuales carecen de señales correctivas para estados subóptimos o no vistos.

En consecuencia, las políticas entrenadas exclusivamente con demostraciones exitosas tienden a sobreajustarse a variedades conductuales estrechas. Cuando ocurren errores menores de ejecución, se acumulan rápidamente hasta convertirse en fallos irrecoverables y fuera de distribución. Aunque trabajos recientes sugieren que aprender de datos de fallos puede mejorar la robustez, los enfoques existentes enfrentan limitaciones críticas:

• Diseño Manual: Muchos métodos dependen de taxonomías de fallos diseñadas a mano (por ejemplo, definir categorías específicas como "resbalón" o "agarre incompleto"), lo cual requiere experiencia de dominio y falla al capturar la diversidad estocástica de los fallos del mundo real.
• Dependencia Humana: La recuperación a menudo depende de heurísticas específicas de la tarea o de la intervención humana en tiempo real, lo que limita la escalabilidad.
• Costo Computacional: Aplicar una guía negativa (similar a la indicación negativa en la generación de imágenes) a acciones robóticas secuenciales no es trivial. Los métodos convencionales a menudo requieren modelos separados para distribuciones deseadas y no deseadas, lo cual es computacionalmente prohibitivo para sistemas VLA construidos sobre grandes arquitecturas de Modelos Visión-Lenguaje (VLM).

2. Metodología: Aprendizaje Adaptativo Informado por Fallos (AFIL)

Los autores proponen el Aprendizaje Adaptativo Informado por Fallos (AFIL), un marco de extremo a extremo diseñado para políticas VLA basadas en difusión y ajuste de flujo. AFIL aprovecha las trayectorias de fallo como una guía negativa adaptativa para desviar la generación de acciones de las regiones propensas a fallos.

2.1 Arquitectura de Generador de Acciones Dual (DAG)

AFIL introduce una arquitectura de Generador de Acciones Dual (DAG) que aprende conjuntamente de datos de éxito y de fallo manteniendo la eficiencia de parámetros:

• Cuerpo Compartido: Ambos generadores comparten un cuerpo preentrenado VLM ($\Phi_{VLM}$) común para la percepción visual y la fundamentación semántica.
• Doble Cabeza: La arquitectura emplea dos generadores de acciones distintos:
  1. Generador de Éxito ($\mathcal{G}_{succ}$): Entrenado exclusivamente con trayectorias exitosas para modelar la distribución $p_{succ}(a | o, \ell)$.
  2. Generador de Fallo ($\mathcal{G}_{fail}$): Entrenado exclusivamente con trayectorias de fallo para modelar la distribución $p_{fail}(a | o, \ell)$.
• Generación de Fallos en Línea: En lugar de depender de la anotación manual, AFIL genera trayectorias de fallo en línea ejecutando un VLA preentrenado bajo condiciones de tarea. Estas trayectorias capturan naturalmente modos de error emergentes y acumulativos.

2.2 Estrategia de Entrenamiento

El modelo se entrena en un conjunto de datos mixto $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• Para políticas basadas en difusión, cada generador predice ruido $\epsilon_\theta$ y minimiza el objetivo de difusión estándar en su conjunto de datos respectivo.
• Para políticas de ajuste de flujo, las cabezas predicen campos de velocidad para transportar muestras desde el ruido hasta la distribución de datos.
• Crucialmente, los objetivos de entrenamiento generativos subyacentes permanecen sin cambios; la innovación reside en la estructura de entrenamiento conjunto y en el mecanismo de guía en tiempo de inferencia.

2.3 Muestreo Adaptativo Informado por Fallos

En la inferencia, AFIL emplea un mecanismo de guía dinámica inspirado en la Indicación Negativa en la generación de texto a imagen. En lugar de utilizar una escala de guía estática, AFIL modula adaptativamente la fuerza de la guía negativa basándose en la divergencia entre las predicciones de éxito y de fallo en cada paso de difusión.

La puntuación guiada $\epsilon^*_{FI}$ se calcula como:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
Donde la escala de guía adaptativa $\hat{\lambda}_\eta$ se determina por la similitud del coseno entre los vectores de ruido predichos por los generadores de éxito y de fallo:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

Racional de la Adaptatividad:

• Fases Tempranas: Al inicio de un episodio, las ejecuciones exitosas y fallidas a menudo comparten movimientos de alcance similares. Aquí, la similitud del coseno es alta, lo que resulta en una escala de guía baja para evitar suprimir acciones válidas.
• Fases de Divergencia: A medida que avanza la trayectoria, si emerge un modo de fallo (por ejemplo, dejar caer un objeto), las predicciones divergen. La similitud del coseno disminuye, aumentando la escala de guía para repeler activamente a la política de la variedad de fallo y dirigirla hacia comportamientos correctivos.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco AFIL: La introducción del Aprendizaje Adaptativo Informado por Fallos para VLAs basados en difusión y ajuste de flujo, utilizando ejecuciones de fallo generadas en línea como una forma principista de guía negativa adaptativa para la generación de acciones secuenciales.
2. Arquitectura DAG-VLA: Una arquitectura novedosa que aprende conjuntamente comportamientos de éxito y de fallo con un cuerpo VLM compartido, permitiendo un aprendizaje de políticas consciente de fallos eficiente con una sobrecarga limitada de parámetros.
3. Validación Empírica: Demostración de que AFIL mejora consistentemente las tasas de éxito y la robustez en diversas tareas de manipulación dentro y fuera del dominio, incluidos entornos de corto y largo horizonte.

4. Resultados Experimentales

Los autores evaluaron AFIL en los puntos de referencia ManiSkill y LIBERO utilizando un cuerpo $\pi0.5$.

4.1 Rendimiento en el Dominio (ManiSkill)

• Tareas de Corto Horizonte: AFIL mejoró significativamente las tasas de éxito sobre las líneas base de solo éxito. Por ejemplo, en "Levantar el pasador verticalmente", las tasas de éxito aumentaron del 70.7% (Solo Éxito) al 90.7% (AFIL Adaptativo).
• Tareas de Largo Horizonte: Las ganancias fueron más pronunciadas en tareas complejas y multi-paso donde los errores se acumulan. En "Colocar la lata en el plato y el plátano en el plato", las tasas de éxito aumentaron del 39.3% al 71.3%, superando al muestreo informado por fallos estático en más del 12%.
• Ablación: El estudio confirmó que la guía adaptativa ($\alpha=1.0$) supera a la guía estática, particularmente en equilibrar la repulsión de modos de fallo sin suprimir acciones válidas durante las etapas tempranas de la trayectoria.

4.2 Evaluación de Puntos de Referencia (LIBERO)

• AFIL logró un rendimiento de vanguardia en las cuatro suites de LIBERO (Espacial, Objeto, Meta y Largo).
• En la desafiante suite LIBERO-10 (largo horizonte), el método mejoró el rendimiento de la línea base $\pi0.5$ del 92.4% al 95.8%.
• La tasa de éxito promedio en todas las suites mejoró del 96.9% al 98.4%, demostrando que incluso las políticas preentrenadas fuertes se benefician de la guía adaptativa de fallos.

4.3 Evaluación Fuera del Dominio (OOD)

• En escenarios que involucran objetos no vistos, geometrías novedosas y entornos desordenados, la política de solo éxito se degradó significativamente (por ejemplo, 10.7% en Clasificación de Frutas).
• AFIL demostró una generalización robusta, logrando un 64.0% de éxito en Clasificación de Frutas, superando significativamente tanto a la línea base de solo éxito como a la línea base "Éxito + Corrección de Fallo" sin guía adaptativa.

5. Significado y Afirmaciones

El artículo afirma que AFIL ofrece un mecanismo escalable y eficiente para la generación robusta de acciones robóticas sin requerir:

• Modos de fallo o taxonomías diseñados a mano.
• Heurísticas de recuperación específicas de la tarea.
• Modelos VLA separados y a gran escala para la detección de fallos.

Al modelar explícitamente las distribuciones de fallo y utilizarlas como guía negativa adaptativa, AFIL aborda la fragilidad inherente al entrenamiento basado únicamente en éxitos. Los autores postulan que este enfoque proporciona una dirección prometedora para desarrollar políticas VLA capaces de generalizar a entornos de despliegue realistas donde los errores, los cambios de distribución y la necesidad de recuperación son inevitables. El método se presenta como agnóstico al modelo, aplicable a cualquier política VLA basada en difusión o ajuste de flujo.