Internalizing Agency from Reflective Experience

El marco LEAFE mejora la capacidad de los modelos de lenguaje para recuperar su desempeño en tareas de largo alcance al internalizar la agencia de recuperación mediante el ajuste fino supervisado de correcciones derivadas de la retroalimentación ambiental reflexiva, superando así a los métodos basados únicamente en resultados.

Lo esencial

¡Claro que sí! Imagina que estás enseñando a un robot muy inteligente (un modelo de lenguaje) a resolver problemas complejos, como armar un mueble sin instrucciones, navegar por una ciudad desconocida o escribir un programa de computadora.

El problema que detectaron los autores de este paper es que, hasta ahora, la forma en que entrenábamos a estos robots era un poco como si les dijéramos: "¡Si terminas el mueble perfecto, te doy una estrella de oro! Si te equivocas en el camino, no te digo nada, solo te digo que fallaste al final".

Esto tiene un efecto secundario: el robot aprende a repetir exactamente las pocas veces que tuvo suerte y ganó la estrella, pero no aprende a arreglar sus errores cuando se atasca. Se vuelve muy bueno haciendo lo que ya sabe, pero muy malo cuando se encuentra con un obstáculo nuevo.

Aquí entra en juego LEAFE (el nombre de su nuevo método). Vamos a explicarlo con una analogía sencilla:

🧠 La Analogía del "Entrenador de Deporte con Video"

Imagina que eres un jugador de fútbol y cometes un error en un partido.

1. El método antiguo (RLVR / GRPO):
   El entrenador solo te mira al final del partido. Si ganaste, te felicita. Si perdiste, te dice "bueno, la próxima gana".

   • Resultado: El jugador intenta repetir la misma jugada que funcionó una vez, pero si vuelve a fallar, no sabe cómo corregirlo. Solo espera tener más suerte la próxima vez.

2. El método LEAFE (Aprendizaje de la Experiencia Reflexiva):
   Aquí, el entrenador tiene una cámara y un pizarrón.

   • Paso 1: El "Rebobinado" (Rollback): Cuando el jugador comete un error (por ejemplo, patea el balón fuera del campo), el entrenador no espera al final. Detiene el juego, rebobina la cinta hasta justo antes de que el jugador cometiera el error.
   • Paso 2: La Reflexión: El entrenador le dice: "Oye, en este momento específico, en lugar de patear fuerte a la izquierda, debiste pasar el balón al compañero". Le da una explicación clara de por qué falló y cómo arreglarlo.
   • Paso 3: La Práctica: El jugador vuelve a intentar desde ese punto, pero esta vez aplicando la corrección. Si tiene éxito, ¡guardamos esa lección!
   • Paso 4: La Internalización: Al final, el robot no necesita al entrenador para cada partido. Ha "internalizado" la lección. Ahora, cuando se equivoca en un juego real, su propia mente sabe automáticamente: "¡Ah! Esto es como la vez que fallé, debo corregir mi paso aquí".

¿Qué hace exactamente LEAFE?

El paper describe un proceso de dos etapas para lograr esto:

1. Exploración con "Rebobinado" (Stage 1):
   El agente (el robot) intenta resolver un problema. Si se da cuenta de que va por mal camino (recibe una señal de error, como un mensaje de compilación fallida o un objeto que no se mueve), no sigue adelante a ciegas.

   • Se detiene.
   • Identifica el momento exacto donde se equivocó (el "punto de rebobinado").
   • Crea un resumen de la experiencia: "Me equivoqué aquí porque X, así que debo hacer Y".
   • Vuelve atrás y prueba una solución diferente basada en esa lección.

2. Enseñanza al Modelo (Stage 2):
   Una vez que el robot ha aprendido a arreglar sus errores durante la práctica, los investigadores toman esas lecciones y las "imprimen" en el cerebro del robot mediante un entrenamiento especial.

   • El objetivo es que el robot aprenda a arreglarse solo.
   • Ya no necesita que un humano le diga "rebobina y corrige" en tiempo real; la capacidad de detectar el error y corregirlo se convierte en parte de su naturaleza.

¿Por qué es importante?

El paper muestra que los métodos antiguos (como GRPO) son muy buenos para mejorar la puntuación en el primer intento (Pass@1), pero se estancan cuando necesitas muchas oportunidades para resolver un problema difícil.

LEAFE es diferente:

• Mejora la capacidad de recuperación: El robot no se rinde cuando falla; sabe cómo volver atrás y cambiar de estrategia.
• Ahorra tiempo y dinero: En lugar de tener que ejecutar el mismo problema 100 veces a ver si por suerte sale bien (lo cual es costoso), el robot aprende a hacerlo bien con menos intentos porque ha aprendido de sus propios errores pasados.
• Funciona en situaciones largas: Es ideal para tareas complejas que requieren muchos pasos, como navegar por internet, hacer experimentos científicos o programar software, donde un pequeño error al principio puede arruinar todo el proyecto si no se corrige.

En resumen

Imagina que antes entrenábamos a nuestros robots como si fueran lotería: "¡Espera a que salga el número ganador!".
Con LEAFE, los entrenamos como músicos de jazz: "Si tocas una nota falsa, no te detengas; escucha el error, entiende por qué sonó mal y ajusta tu siguiente nota para que la melodía siga siendo hermosa".

El robot deja de ser un ejecutor ciego y se convierte en un agente inteligente que aprende de sus tropiezos para volverse más fuerte y capaz en el futuro.

Resumen técnico

Resumen Técnico: Internalización de la Agencia a partir de la Experiencia Reflexiva (LEAFE)

1. El Problema: Limitaciones de los Métodos Basados en Resultados

Los Grandes Modelos de Lenguaje (LLM) están evolucionando hacia agentes autónomos capaces de planificar y actuar en entornos complejos. Sin embargo, los métodos actuales de post-entrenamiento, como el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) (ej. GRPO), presentan deficiencias críticas en tareas de largo horizonte:

• Enfoque en el resultado final: Estos métodos optimizan principalmente una señal de recompensa escalar al final de la tarea (éxito/fracaso).
• Subutilización del feedback: Ignoran la riqueza de los datos de retroalimentación intermedia (errores de compilación, transiciones de estado inválidas, mensajes de error) que explican por qué falló una trayectoria.
• Afilado de la distribución (Distribution Sharpening): En lugar de expandir la capacidad de resolución de problemas, el RLVR tiende a concentrar la probabilidad en un conjunto pequeño de comportamientos ya exitosos. Esto mejora el rendimiento en una sola prueba (Pass@1), pero falla en mejorar la capacidad de exploración y recuperación ante errores en configuraciones de múltiples intentos (Pass@k para valores altos de $k$).
• Dependencia de cómputo en tiempo de prueba: Para evitar errores tempranos, los practicantes dependen de costosas estrategias de tiempo de prueba (reintentos múltiples, búsqueda en árbol), lo que aumenta la latencia y la complejidad de despliegue.

2. Metodología: Marco LEAFE

Los autores proponen LEAFE (Learning Feedback-Grounded Agency from Reflective Experience), un marco de dos etapas diseñado para internalizar la capacidad de recuperación del agente dentro de los pesos del modelo, transformando el feedback ambiental en supervisión accionable.

Etapa 1: Generación de Experiencia Basada en Árboles con Reversión (Rollback)

• Reflexión Periódica: Durante la exploración, el agente analiza la historia de interacción. Si detecta un punto de decisión subóptimo o un fallo, invoca un proceso de reflexión.
• Identificación del Punto de Reversión ($\tau$): El modelo identifica el paso exacto donde la trayectoria se desvió y genera un resumen de experiencia ($e$) que incluye un diagnóstico y una instrucción de corrección.
• Reversión y Ramificación: El sistema "rebobina" el entorno al estado $\tau$, restaura el historial y genera una nueva acción corregida ($a'_\tau$) guiada por la experiencia $e$.
• Construcción del Árbol: Este proceso crea un árbol de trayectorias que siguen la estructura: Fallo $\to$ Reversión $\to$ Corrección $\to$ Éxito.

Etapa 2: Destilación de Experiencia a Política (Experience-to-Policy Distillation)
El objetivo es que el modelo aprenda a corregir sus errores sin necesidad de recibir la instrucción de experiencia explícita durante la inferencia. Se utiliza un entrenamiento supervisado con dos componentes de pérdida:

1. Repetición de Comportamiento (Behavior Rehearsal, $L_{reh}$): Mantiene las capacidades fundamentales del modelo aprendiendo de trayectorias exitosas (incluyendo las ramificadas) para evitar el olvido catastrófico.
2. Destilación Contrafactual (Counterfactual Distillation, $L_{cf}$): Esta es la contribución clave. El modelo se entrena para predecir la acción corregida ($a'_\tau$) basándose únicamente en el historial original ($h_\tau$) y la instrucción, sin la experiencia $e$ explícita.
   • Objetivo: Internalizar la lógica de corrección en los pesos del modelo, de modo que la política intrínseca sea capaz de recuperar una trayectoria fallida de manera autónoma.

3. Contribuciones Clave

1. Exploración Estructurada mediante Feedback a Experiencia: Transforman señales escalares de éxito/fracaso en ramas de exploración guiadas por experiencia (reversión + corrección), permitiendo una exploración dirigida más allá de los modos dominantes de la política base.
2. Supervisión más Rica que las Recompensas Escalares: Proporcionan supervisión a nivel de decisión que especifica explícitamente dónde falló un rollo y cómo arreglarlo, en lugar de tratar cada rollo como una muestra independiente puntuada solo al final.
3. Mejora de la Capacidad de Recuperación (Pass@k): Al ajustar finamente el modelo con acciones post-reversión, internalizan la "agencia basada en feedback". Esto expande la cobertura de comportamientos y mejora significativamente el rendimiento en escenarios de largo horizonte y múltiples intentos.

4. Resultados Experimentales

El marco se evaluó en una variedad de benchmarks interactivos: CodeContests (programación competitiva), WebShop, ALFWorld, ScienceWorld y Sokoban, utilizando modelos base como Qwen2.5 y Llama-3.1.

• Rendimiento en Pass@1 vs. Pass@k:
  • Mientras que métodos como GRPO a veces superan ligeramente a LEAFE en Pass@1 (una sola prueba), LEAFE supera consistentemente a todos los baselines en Pass@128 (y valores superiores).
  • En CodeContests, LEAFE logró mejoras de hasta un 14% en Pass@128 en comparación con el modelo base, demostrando una mayor capacidad de cobertura de soluciones.
• Eficiencia de Muestreo: LEAFE alcanza umbrales de precisión más altos con menos muestras en comparación con el RLVR tradicional, indicando una mejor eficiencia en la conversión de intentos adicionales en éxito.
• Generalización Fuera de Distribución (OOD): En pruebas en MBPP (entrenado en CodeContests), LEAFE mantuvo su rendimiento o lo mejoró ligeramente, mientras que GRPO sufrió una degradación significativa (-4.2%), lo que sugiere que LEAFE aprende una agencia reflexiva fundamental en lugar de memorizar atajos del conjunto de datos.
• Análisis de Ablación: Se demostró que la destilación contrafactual ($L_{cf}$) es crucial para la mejora de Pass@128, mientras que la repetición de comportamiento ($L_{reh}$) es esencial para mantener la estabilidad.

5. Significado e Impacto

El trabajo de LEAFE representa un cambio de paradigma en el entrenamiento de agentes LLM:

• De la Explotación a la Agencia Interna: En lugar de depender de búsquedas externas costosas en tiempo de prueba (como árboles de pensamiento o múltiples reintentos ciegos), LEAFE entrena al modelo para que la recuperación de errores sea una capacidad intrínseca.
• Superación del "Afilado de Distribución": Demuestra que es posible entrenar agentes que no solo se vuelven mejores en lo que ya saben hacer, sino que expanden activamente su capacidad de resolución de problemas aprendiendo de sus propios fallos estructurados.
• Aplicabilidad Práctica: Ofrece una ruta viable para desarrollar agentes más robustos y autónomos capaces de operar en entornos dinámicos donde la retroalimentación es rica pero el éxito final no está garantizado en el primer intento.

En conclusión, LEAFE establece que la internalización de la experiencia reflexiva es fundamental para desbloquear el verdadero potencial de los agentes LLM en tareas de largo horizonte, superando las limitaciones de los métodos de recompensa puramente orientados al resultado.