Co-Evolution of Policy and Internal Reward for Language Agents

Resumen Técnico: Co-Evolución de Política y Recompensa Interna

1. El Problema: La Cuello de Botella de la Recompensa Escasa

Los agentes basados en Modelos de Lenguaje Grande (LLM) aprenden interactuando con entornos, pero enfrentan un desafío fundamental en tareas de horizonte largo (como navegación web, experimentación científica o interacción física):

• Recompensas Escasas y Retrasadas: La retroalimentación del entorno (éxito o fracaso) suele llegar solo al final de una trayectoria larga.
• Asignación de Crédito Difícil: Sin señales intermedias, es imposible determinar qué decisiones específicas avanzaron la tarea y cuáles fueron redundantes o perjudiciales.
• Limitaciones de Métodos Actuales: Las soluciones existentes, como la asignación de crédito post-hoc o los modelos de recompensa externos, a menudo separan la mejora de la recompensa de la mejora de la política, añaden sobrecarga computacional o no guían la toma de decisiones en tiempo real (durante la inferencia).

2. Metodología: Self-Guide

Los autores proponen Self-Guide, un marco unificado donde el agente genera su propia señal de recompensa interna. La innovación central es utilizar la misma señal para dos propósitos distintos pero conectados:

• Guía en Tiempo de Inferencia (Inference-Time Guidance):

  • Antes de tomar una acción $a_t$, el agente genera una señal verbal de auto-guía $z_t$ (una evaluación en lenguaje natural sobre si la trayectoria actual está progresando, se ha desviado o se acerca a un sub-objetivo).
  • Esta señal $z_t$ se utiliza como contexto adicional para guiar la selección de la siguiente acción.
  • Ventaja: Proporciona orientación explícita en el contexto antes de actuar.

• Recompensa Interna en Tiempo de Entrenamiento (Training-Time Internal Reward):

  • La misma señal verbal $z_t$ se convierte en una recompensa escalar densa ($r^{sg}_t$) para el entrenamiento.
  • Se mapean las evaluaciones (positivo, neutral, negativo) a valores numéricos (ej. +0.1, 0, -0.1).
  • Esta recompensa interna se combina con la recompensa escasa del entorno ($R_{env}$) para formar una señal de entrenamiento más densa y discriminativa.

El Ciclo de Co-evolución:
Existe un bucle de retroalimentación positiva: una política mejorada genera trayectorias más coherentes, lo que permite generar señales de auto-guía más precisas; a su vez, estas señales de guía más precisas actúan como recompensas internas más fiables, mejorando aún más la política.

Programación de Confianza por Etapas (Stage-Wise Trust Schedule):
Dado que la auto-guía inicial es inmadura, aplicar la recompensa interna desde el principio podría desestabilizar el aprendizaje. Los autores proponen un cronograma de confianza en forma de trapecio con cuatro fases:

1. Calentamiento (Solo Guía): El agente usa $z_t$ para actuar, pero no como recompensa ($\lambda=0$). El modelo aprende a generar y actuar sobre la guía basándose solo en la retroalimentación del entorno.
2. Activación: La contribución de la recompensa interna ($\lambda$) aumenta suavemente de 0 a 1.
3. Recompensa Completa: La co-evolución opera a plena potencia con recompensa interna densa ($\lambda=1$).
4. Recocido Tardío (Late Annealing): La contribución de la recompensa interna disminuye gradualmente hacia 0. Esto asegura que la política final se optimice estrictamente para el objetivo real del entorno, evitando sesgos por recompensas internas no basadas en potencial.

3. Contribuciones Clave

1. Self-Guide: Un nuevo formato de recompensa interna generada por el propio agente que sirve tanto para la guía en tiempo de inferencia como para la supervisión en tiempo de entrenamiento.
2. Programación de Confianza: Un mecanismo de programación en etapas que estabiliza el entrenamiento de RL al introducir progresivamente la recompensa auto-generada, evitando el colapso por señales inmaduras.
3. Validación Empírica: Demostración de que la co-evolución de la política y la recompensa interna supera significativamente a los métodos basados únicamente en recompensas del entorno.

4. Resultados Experimentales

El método se evaluó en tres benchmarks principales: ALFWorld (navegación doméstica), ScienceWorld (razonamiento científico) y WebShop (interacción web). Se utilizaron modelos base como Qwen3-1.7B, Qwen3-4B y Qwen2.5-7B.

• Rendimiento en Inferencia: Incluso sin entrenamiento de RL, el uso de auto-guía durante la inferencia mejoró el rendimiento (especialmente en ALFWorld), reduciendo errores como bucles de acción y exploración redundante.
• Rendimiento en Entrenamiento (RL):
  • La combinación de GRPO (Group Relative Policy Optimization) con Self-Guide y la recompensa de guía superó consistentemente al GRPO estándar.
  • Mejora Cuantitativa: Con Qwen3-4B, el método logró una mejora promedio del 8% sobre la línea base GRPO. En algunos casos específicos (como WebShop con Qwen3-1.7B), la mejora fue de hasta un 17.2% en puntuación de éxito.
• Análisis de Ablación:
  • Introducir la recompensa interna inmediatamente (sin calentamiento) resultó en un rendimiento inferior, confirmando que las señales tempranas no son lo suficientemente fiables.
  • La distilación offline (entrenar un modelo de guía con un modelo más grande y luego usarlo) falló al transferirse al RL en línea debido a la desviación de distribución. Esto confirma que la guía y la política deben co-evolucionar en línea.

5. Significado e Impacto

Este trabajo sugiere un cambio de paradigma en el aprendizaje de agentes de lenguaje:

• Aprendizaje Autónomo: Los agentes no solo mejoran acumulando más experiencia, sino aprendiendo a generar y refinar sus propios criterios de evaluación durante la acción y el aprendizaje.
• Eficiencia: Elimina la necesidad de modelos de recompensa externos costosos o evaluadores separados, integrando la supervisión directamente en el bucle de decisión del agente.
• Estabilidad: La programación de confianza resuelve el problema de "huevo y gallina" de confiar en señales internas inmaduras, permitiendo un entrenamiento de RL estable y escalable en entornos complejos.

En conclusión, Self-Guide demuestra que la capacidad de un agente para auto-evaluarse y auto-guiarse es un componente crítico para superar las limitaciones de las recompensas escasas en tareas de interacción a largo plazo.