Resumen Técnico: CRAFT – Entrenamiento de Aprendizaje por Refuerzo mediante Coaching Autónomo utilizando Modelos Fundacionales para Tareas de Coordinación Multi-Robot

1. Formulación del Problema

El artículo aborda el desafío de aplicar el Aprendizaje por Refuerzo Multi-Agente (MARL) a tareas de coordinación multi-robot en el mundo real. Aunque el MARL ofrece un marco para la toma de decisiones descentralizada, su aplicación en la robótica se ve obstaculizada por:

• Espacios de acción conjunta continuos de alta dimensión.
• Diseño de recompensas dispersas y complejas: Definir recompensas que capturen tanto los comportamientos individuales como la coordinación de equipo necesaria es difícil.
• No estacionariedad: Los agentes que aprenden de forma concurrente crean un entorno cambiante para los demás.
• Tareas de largo horizonte: Las tareas que requieren comportamientos ricos en contactos a lo largo de múltiples etapas suelen fallar porque los errores pequeños en las interacciones tempranas impiden el éxito posterior.

Los autores postulan que los humanos aprenden la coordinación compleja mediante el "coaching" (entrenamiento/asesoramiento): un proceso que implica el diseño de currículos (dividir la tarea en subtareas), proporcionar señales de aprendizaje (recompensas) y evaluar el progreso. Argumentan que los Modelos Fundacionales (Modelos de Lenguaje de Gran Escala - LLM y Modelos de Lenguaje-Visión - VLM) pueden automatizar este rol de coaching, descomponiendo tareas, generando recompensas y refinándolas basándose en la retroalimentación visual y cuantitativa.

2. Metodología: El Marco CRAFT

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) opera como un bucle de coaching automatizado que consta de cuatro módulos clave:

2.1 Módulo de Generación de Currículo

Un LLM de Currículo descompone una tarea objetivo de largo horizonte ($M_{target}$) en una secuencia de $K$ subtareas ($M_1, \dots, M_K$).

• Proceso: El LLM recibe una descripción en lenguaje natural de la tarea y el entorno. Para mitigar la estocasticidad de las salidas del LLM, el sistema genera múltiples currículos candidatos y solicita al LLM que los refine en un único currículo coherente.
• Anclaje (Grounding): Las subtareas se describen utilizando variables de estado específicas del entorno (por ejemplo, "minimizar la distancia euclidiana a la manija") en lugar de un lenguaje natural vago para asegurar un diseño de recompensa preciso.

2.2 Módulo de Generación de Funciones de Recompensa

Para cada subtarea $M_k$, un LLM de Generación de Recompensas traduce la descripción en lenguaje natural en una función de recompensa de Python ejecutable ($R_k$).

• Contexto: El LLM recibe descripciones del entorno, funciones auxiliares (para procesar estados de alta dimensión) y funciones de recompensa de subtareas anteriores para prevenir el olvido catastrófico.
• Estructura: La recompensa se descompone en componentes interpretables (por ejemplo, lift_reward, balance_reward) para facilitar el análisis posterior.
• Entrenamiento: Se entrena una política descentralizada $\pi_k$ utilizando un algoritmo de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE), específicamente MAPPO.

2.3 Módulo de Evaluación de la Política

Antes de avanzar a la siguiente subtarea, un VLM de Evaluación evalúa la política entrenada $\pi_k$.

• Entradas: El VLM analiza imágenes de ejecución (instantáneas visuales) y trayectorias de variables de estado.
• Decisión: Determina si la política completó con éxito la subtarea.
  • Éxito: El currículo procede a $M_{k+1}$.
  • Fallo: El VLM proporciona una razón del fallo, activando el bucle de refinamiento.

2.4 Módulo de Refinamiento de Recompensas

Si una política falla, el sistema entra en un bucle de refinamiento (hasta $J$ iteraciones, típicamente $J=3$):

1. Generación de Consejos: Un VLM de Asesoramiento analiza la razón del fallo, el código de la recompensa actual y las curvas de aprendizaje de los componentes de recompensa (gráficos que muestran cómo evolucionaron términos de recompensa específicos durante el entrenamiento). Genera consejos en lenguaje libre sobre cómo modificar la recompensa (por ejemplo, "aumentar el peso del término de elevación", "eliminar el cuadrado de la elevación").
2. Refinamiento de la Recompensa: Un LLM de Refinamiento toma el código de la recompensa fallida y el consejo del VLM para generar una nueva función de recompensa refinada ($R^{j+1}_k$).
3. Reentrenamiento: La política se reentrena con la nueva recompensa. Si todos los intentos fallan, se selecciona la mejor política de las iteraciones y el currículo avanza a la siguiente subtarea.

Arranque en Caliente (Warm-Starting): Al pasar a una nueva subtarea, los pesos de la política se inicializan desde la política exitosa de la subtarea anterior. Para evitar la "pérdida de plasticidad" (convergencia a óptimos locales), el sistema reinicia los parámetros de exploración (desviación estándar de la política) y los pesos de la red de valor, preservando los pesos del actor.

3. Contribuciones Clave

1. Marco CRAFT: Un marco novedoso que aprovecha las capacidades de razonamiento de los modelos fundacionales para entrenar autónomamente equipos multi-robot en tareas de coordinación de largo horizonte.
2. Diseño Automatizado de Currículo y Recompensa: La integración de LLMs para la descomposición de tareas y la generación de recompensas, junto con VLMs para la evaluación visual y el refinamiento de recompensas, reduciendo la necesidad de diseños de currículo y funciones de recompensa humanos.
3. Validación Empírica: Demostración de la efectividad de CRAFT en tareas multi-robot complejas (navegación de cuadrúpedos multi-agente y manipulación bimanual) donde el MARL estándar y los métodos de línea base de LLM fallan.
4. Transferencia al Mundo Real: Transferencia exitosa cero-disparos (zero-shot) de las políticas aprendidas desde la simulación a hardware físico (cuadrúpedos Unitree Go1 y Go2) sin necesidad de ajuste fino (fine-tuning).

4. Resultados Experimentales

Los autores evaluaron CRAFT en tres entornos: Quadruped Gate (paso por una puerta estrecha), Quadruped Seesaw (equilibrio y escalada) y Two-Arm Lift (levantamiento cooperativo de una olla).

• Rendimiento frente a Líneas Base:
  • CRAFT alcanzó las tasas de éxito más altas en Seesaw (59.33%) y Lift (94.67%), y se mantuvo competitivo en Gate (78.33%).
  • Líneas Base: "Env Reward" (diseñada por humanos) y "Example Reward" lograron tasas de éxito cercanas a cero o muy bajas. "From Scratch" (recompensas de CRAFT sin currículo) funcionó significativamente peor que CRAF, resaltando la necesidad del currículo.
  • Líneas Base de LLM: Comparado con Eureka (búsqueda de recompensa con LLM sin currículo) y CurricuLLM (currículo con LLM sin refinamiento de VLM), CRAFT superó a ambos. Eureka a menudo aprendió políticas con configuraciones articulares antinaturales que eran físicamente implausibles, mientras que CurricuLLM sufrió de menor fiabilidad debido a la falta de refinamiento de la recompensa.
• Eficacia del Refinamiento de Recompensa: El bucle de refinamiento guiado por VLM mejoró significamente la "Tasa de Éxito del Currículo" (la fracción de ensayos que resultan en una política exitosa) y la "Tasa de Éxito Máxima" en comparación con CurricuLLM.
• Fiabilidad del VLM: El módulo de evaluación de política del VLM alcanzó una precisión del 85.71% contra la verdad de terreno (ground truth), siendo los errores falsos negativos conservadores (rechazar políticas exitosas), lo cual es tolerable ya que simplemente dispara un mayor refinamiento.
• Transferencia a Hardware: En la tarea Quadruped Gate, la política entrenada en simulación logró una tasa de éxito del 65% en robots reales tras 20 ejecuciones sin ningún ajuste fino, demostrando una transferencia sim-to-real robusta.

5. Significación y Reivindicaciones

El artículo afirma que CRAFT demuestra la viabilidad de utilizar modelos fundacionales como coaches autónomos para sistemas multi-robot. Su importancia radica en:

• Reducción de la Intervención Humana: Automatización del tedioso proceso de diseñar currículos y funciones de recompensa para tareas de coordinación complejas.
• Habilitación de Coordinación Compleja: Aprendizaje exitoso de comportamientos difíciles de adquirir mediante entrenamiento directo o diseño de recompensa estático, particularmente en escenarios de largo horizonte y ricos en contactos.
• Plausibilidad Física: El enfoque de currículo por etapas guía a los agentes hacia comportamientos físicamente factibles (por ejemplo, agarres estables antes de levantar) en lugar de optimizar únicamente para el éxito terminal, lo que a menudo conduce a movimientos antinaturales en métodos de optimización directa como Eureka.

Limitaciones Reconocidas:

• Estocasticidad: La dependencia de los modelos fundacionales introduce variabilidad; algunos ensayos pueden fallar debido a una mala generación de currículo o recompensa, aunque esto es manejable en simulación ejecutando múltiples intentos.
• Dependencia del VLM: El módulo de evaluación depende fuertemente de las trayectorias numéricas de estado en lugar de información puramente visual, lo que podría limitar la detección de fallos anclados visualmente (por ejemplo, mala coordinación espacial).
• Escalabilidad: El enfoque actual requiere múltiples consultas a LLM/VLM por subtarea, lo que puede ser computacionalmente costoso, aunque los autores señalan que es suficiente para las tareas probadas.

Los autores concluyen que, si bien los modelos fundacionales introducen estocasticidad, su capacidad para descomponer tareas y refinar recompensas de forma autónoma ofrece un camino prometedor hacia una coordinación multi-robot escalable y fiable en entornos del mundo real.