Resumen Técnico: RECALL – Recolección de Experiencia de Recuperación para el Aprendizaje Continuo Activo en Modelos de Visión-Lenguaje-Acción

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA), como RT-1, RT-2 y $\pi_0$-FAST, han demostrado amplias capacidades de manipulación, pero a menudo requieren un ajuste fino (fine-tuning) cuando se despliegan en nuevos entornos o distribuciones de tareas. La adaptación actual depende del aprendizaje de imitación pasivo, un proceso en el que los expertos recolectan demostraciones adicionales comenzando desde los estados iniciales de la tarea solo después de que la política falla. Este enfoque sufre de tres ineficiencias primarias:

1. Naturaleza Reactiva: La recolección de datos se activa solo tras el fallo, lo que puede ser lento y poco seguro.
2. Falta de Guía: No proporciona indicaciones sobre qué estados específicos requieren supervisión, lo que conduce a una posible sub-recolección o sobre-recolección.
3. Redundancia: Los demostradores suelen desperdiciar esfuerzo en estados que ya están bien representados en los datos de entrenamiento originales, sin abordar los subpasos específicos o los estados intermedios con cambios de distribución que causan el fallo.

Además, el simple ajuste fino basado en datos recién recolectados introduce el riesgo de olvido catastrófico, donde el modelo pierde la competencia en las tareas previamente aprendidas. El artículo postula que son necesarios paradigmas de aprendizaje continuo activo para abordar estos problemas.

Metodología

Los autores proponen RECALL, un marco de aprendizaje continuo activo para VLAs autorregresivos (específicamente $\pi_0$-FAST). La metodología consta de dos componentes principales:

1. Recolección Activa de Datos mediante Cuantificación de la Incertidumbre

El sistema aprovecha INSIGHT [6], un método de introspección en tiempo de inferencia que utiliza características de probabilidad a nivel de token (entropía, log-probabilidad y estimaciones de incertidumbre basadas en Dirichlet) para predecir cuándo un robot requiere asistencia.

• Selección de Estados: En lugar de recolectar desde los estados iniciales, el sistema identifica estados de alta incertidumbre durante los despliegues (rollouts) de la política.
• Modos de Recolección:
  • Online (En línea): El robot solicita una demostración inmediatamente al encontrar el primer estado de alta incertidumbre durante un despliegue.
  • Offline (Fuera de línea): El robot completa un despliegue completo, registrando todos los estados de alta incertidumbre para solicitar demostraciones más tarde.
• Líneas Base (Baselines): Estos se comparan con la recolección Pasiva, donde las demostraciones se reúnen desde los estados iniciales de la tarea, igualando el volumen y la distribución de tareas de los conjuntos de datos activos.

2. Estrategias de Aprendizaje Continuo

Para prevenir el olvido catastrófico mientras se adapta a nuevos datos de recuperación, el artículo evalúa varias estrategias:

• Mezcla de Datos basada en Replay (Repetición): Ajuste fino sobre una mezcla de nuevos datos de recuperación ($D_{new}$) y datos previos ($D_{old}$). Las variantes incluyen replay completo, LIBERO-10 replay y replay dirigido (solo tareas relevantes para los nuevos datos).
• Regularización:
  • Consolidación de Pesos Elásticos (EWC): Penaliza los cambios en los parámetros importantes para tareas previas utilizando una matriz de información de Fisher.
  • Reducción de la Tasa de Aprendizaje: Uso de una tasa de aprendizaje baja y constante para limitar la magnitud de las actualizaciones.

Contribuciones Clave

El artículo realiza cinco contribuciones principales:

1. Marco Activo: Un flujo de trabajo de recolección de datos activa para VLAs autorregresivos utilizando INSIGHT para seleccionar estados inciertos para el prompting de nuevas demostraciones.
2. Evaluación Activa vs. Pasiva: Evidencia empírica de que las demostraciones de estados de alta incertidumbre producen un mejor rendimiento de la política que las demostraciones pasivas no guiadas.
3. Eficiencia Online vs. Offline: Un hallazgo de que recolectar datos del primer estado incierto (online) es tan efectivo como recolectar de todos los estados inciertos (offline), ofreciendo una mayor eficiencia en la demostración.
4. Análisis de Aprendizaje Continuo: Un estudio comparativo que muestra que la mezcla de datos basada en replay es actualmente la estrategia más fiable para prevenir el olvido catastrófico, superando a EWC y a las tasas de aprendizaje bajas en el equilibrio entre plasticidad y estabilidad.
5. Lecciones de Diseño: Identificación de desafíos abiertos al incorporar nuevos datos dirigidos en grandes políticas robóticas, específicamente los compromisos entre la eficiencia de adaptación y la retención de habilidades previas.

Resultados Experimentales

El estudio se llevó a cabo en el benchmark LIBERO-10 utilizando el modelo $\pi_0$-FAST. Los hallazgos clave incluyen:

• Superioridad de la Recolección Activa: La recolección de recuperación online guiada por un INSIGHT fuerte logró un éxito general del 72.4%, superando significativamente la recolección pasiva emparejada (60.2%) y la línea base original (59.8%).
• Eficiencia de la Recolección Online: La recolección online (una demostración por despliegue) logró un rendimiento comparable a la recolección offline (todos los estados inciertos), sin diferencia estadísticamente significativa en el éxito general (72.4% vs. 68.4%). Esto sugiere que el primer estado incierto marca la divergencia del comportamiento exitoso, haciendo que la recolección densa posterior sea redundante.
• Olvido Catastrófico en el Entrenamiento Solo con Nuevos Datos: El ajuste fino solo con nuevos datos de recuperación causó un olvido severo. Por ejemplo, un modelo de solo nuevos datos logró solo un 28.4% de éxito general frente al 72.4% del modelo basado en replay, con un colapso en el rendimiento de las tareas retenidas.
• Limitaciones de la Regularización: Aunque EWC y las tasas de aprendizaje bajas redujeron el olvido en comparación con el ajuste fino estándar de solo nuevos datos, no lograron igualar el rendimiento de la mezcla basada en replay. Una regularización fuerte preservó los comportamientos antiguos pero suprimió la adaptación a los nuevos datos; una regularización débil permitió la adaptación pero arriesgó el olvido.
• Cobertura del Replay: El replay completo y el LIBERO-10 replay (usando el conjunto completo de datos previos) funcionaron de manera similar. Sin embargo, el replay dirigido (usando solo datos previos de las tareas específicas que se están recuperando) degradó significativamente el rendimiento en las tareas retenidas, indicando que el replay debe cubrir todo el espectro de comportamientos aprendidos previamente, no solo las tareas específicas que se están actualizando.

Significado y Reivindicaciones

El artículo afirma que el aprendizaje activo para VLAs no puede reducirse meramente a seleccionar estados de alto valor; debe formularse como aprendizaje continuo activo. El argumento central es que, si bien los predictores de incertidumbre (como INSIGHT) identifican eficazmente estados informativos para la recuperación, los datos resultantes son distribucionalmente estrechos. Por lo tanto, la adaptación efectiva requiere un mecanismo dual:

1. Recolección de Datos Dirigida: Recolectar demostraciones específicamente de estados de alta incertidumbre para abordar los modos de fallo.
2. Mecanismos de Retención: Integrar estos nuevos datos mediante la mezcla basada en replay para preservar las competencias previamente aprendidas.

El trabajo establece que las demostraciones de recuperación guiadas por la incertididad pueden mejorar significativamente la eficiencia de la adaptación, pero destaca que, sin estrategias robustas de aprendizaje continuo (específicamente el replay), la incorporación de datos dirigidos conduce al olvido catastrófico. Los autores señalan que sus hallazgos se basan en simulación (LIBERO-10) y una arquitectura autorregresiva, lo que sugiere que el despliegue físico y otras arquitecturas VLA (por ejemplo, basadas en difusión) pueden presentar desafíos diferentes respecto a la calibración de la incertidumbre y los costos de recolección de datos.