Resumen Técnico: Aprendizaje por Refuerzo Agéntico con Modelado de Recompensa por Auto-destilación (ADRS)

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) agéntico permite que los agentes de Modelos de Lenguaje Extensos (LLM) aprendan mediante la interacción con entornos. Sin embargo, el RL agéntico estándar suele depender de recompensas terminales dispersas a nivel de trayectoria. Si bien estas recompensas indican si una trayectoria tuvo éxito, no logran identificar qué decisiones intermedias (consultas o acciones) merecen crédito. Esta dispersión dificulta la asignación de crédito temporal a nivel de token, incluso para métodos sin crítico como GRPO y GiGPO.

Aunque las habilidades en lenguaje natural (por ejemplo, subobjetivos, reglas de acción) pueden proporcionar una guía más densa, los métodos existentes tienen dificultades para integrar esta información de manera efectiva. Específicamente, los enfoques actuales enfrentan tres desafíos técnicos al utilizar información "privilegiada" (habilidades disponibles solo durante el entrenamiento):

1. Calibración de Puntuación: Las log-probabilidades brutas del profesor varían en desfase y escala a través de los pasos de interacción debido a la longitud del contexto y la composición de la respuesta, lo que las hace incomparables.
2. Estimación de Fiabilidad: Una alta confianza del profesor no necesariamente se correlaciona con mayores retornos realizados; un profesor puede preferir decisiones lingüísticamente canónicas que fallan en lograr el resultado de la tarea.
3. Integración de Crédito: Los métodos existentes suelen tratar la supervisión privilegiada como un objetivo auxiliar separado, lo que puede desalinear las actualizaciones a nivel de token con la construcción nativa de recompensa-a-ventaja del núcleo de RL.

Metodología: Marco ADRS

Los autores proponen el Aprendizaje por Refuerzo Agéntico con Modelado de Recompensa por Auto-destilación (ADRS), un marco que convierte las habilidades procedimentales ajustadas a la tarea en recompensas a nivel de token asociadas al retorno sin requerir las habilidades durante el despliegue o la inferencia. ADRS opera como una capa de construcción de crédito entre la recolección de trayectorias y la optimización del actor, abordando los tres desafíos mediante tres módulos acoplados:

1. Puntuación Privilegiada Relativa dentro del Paso (Calibración de Puntuación)

Para abordar la incomparabilidad de las puntuaciones brutas entre pasos, ADRS recalibra las puntuaciones de los tokens generados por el estudiante utilizando una instantánea de la política congelada bajo un contexto privilegiado (habilidades ajustadas a la tarea). Luego aplica el centrado y la normalización de escala dentro del paso:

• Calcula la log-probabilidad media ($b_s$) de las puntuaciones privilegiadas dentro de un paso de interacción específico.
• Calcula la desviación con signo ($q_{s,j}$) de cada token respecto a esta media.
• Normaliza por la desviación estándar ($\sigma_q$) de las desviaciones dentro del paso.
  Esto produce una puntuación centrada y con escala controlada ($\hat{q}_{s,j}$) que representa la preferencia relativa del token dentro de un paso de decisión, suprimiendo la deriva dependiente del paso mientras conserva las puntuaciones brutas para la posterior estimación de fiabilidad.

2. Compuerta de Fiabilidad TVA de Retorno Asociado (Estimación de Fiabilidad)

Para asegurar que la señal privilegiada se alinee con el éxito real de la tarea, ADRS introduce una compuerta de Ventaja de Valor del Profesor (TVA). Esta compuerta modula la señal normalizada basándose en la asociación entre la confianza privilegiada y los retornos realizados dentro de un grupo de comparación (por ejemplo, trayectorias para el mismo prompt en GRPO, o estados ancla en GiGIO).

• El método calcula un peso de alta confianza suave ($\alpha_u$) para cada unidad (trayectoria o paso) basado en su log-probabilidad privilegiada promedio.
• Contrasta los retornos de las unidades de alta confianza ($\mu^+_g$) contra las de baja confianza ($\mu^-_g$).
• La diferencia ($d_g$) sirve como una compuerta escalar ($m_u$). Si una mayor confianza se correlaciona con mayores retornos, la compuerta amplifica la señal; si no es así, la suprime.
  La Proposición 1 establece que el signo de la compuerta TVA corresponde a la covarianza empírica entre la confianza privilegiada y el retorno dentro del grupo.

3. Modulación de Ventaja por Token Guiada por el Profesor (Integración de Crédito)

En lugar de usar una pérdida auxiliar separada, ADRS integra la señal con la compuerta en la ruta nativa de recompensa-a-ventaja antes de la construcción de la ventaja.

• Recompensa del Profesor: La puntuación centrada y con compuerta se convierte en una recompensa a nivel de token ($r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$).
• Recompensa Modelada: Esta se suma a la recompensa base del entorno ($\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$).
• Construcción de la Ventaja: La recompensa modelada se pasa a través del operador de ventaja estándar (por ejemplo, GRPO o GiGIO).
• Doble Ruta: Debido a que la recompensa del profesor centrada por paso suma cero (Proposición 2), la suma a nivel de trayectoria permanece inalterada, preservando la dirección del resultado definido por el entorno. Sin embargo, la ventaja a nivel de token se redistribuye ($A^{ADRS} = A^{traj} + \eta Z^T$), permitiendo que la política aprenda qué tokens específicos dentro de una trayectoria exitosa fueron más críticos.

Contribuciones Clave

1. Marco ADRS: Un método de modelado de recompensa por auto-destilación que transforma las habilidades procedimentales exclusivas del entrenamiento en recompensas de token asociadas al retorno. Combina de manera única la calibración de puntuación dentro del paso y la compuerta TVA, manteniendo los despliegues e inferencias libres de habilidades.
2. Integración Nativa: Los autores formulan la señal con compuerta como un modelado de recompensa pre-ventaja, integrando la guía privilegiada directamente en la construcción nativa de crédito de RL en lugar de como un objetivo auxiliar separado. Caracterizan su compatibilidad con GRPO/GiGIO y su equivalencia de primer orden local con las actualizaciones de tokens muestreados.
3. Validación Empírica: Experimentos extensos en tres benchmarks interactivos (ALFWorld, Búsqueda de QA, WebShop) demuestran mejoras de rendimiento consistentes.

Resultados Experimentales

El artículo evalúa ADRS en modelos Qwen2.5 (3B, 7B) y Qwen3 (1.7B) a través de tres benchmarks:

• Rendimiento de Vanguardia (SOTA): ADRS logra nuevos resultados de vanguardia en los tres benchmarks. Por ejemplo, con Qwen2.5-3B, alcanza un 94.5% de éxito en ALFWorld (una mejora de 10.1 puntos porcentuales sobre la línea base más fuerte) y un 45.0% de macro-promedio en Búsqueda de QA.
• Tareas de Largo Horizonte: ADRS muestra una fortaleza particular en tareas procedimentales de largo horizonte (ALFWorld), manteniendo las ganancias de rendimiento durante un entrenamiento extendido (300 pasos) y a través de diferentes backbones de RL (GRPO y GiGIO).
• Eficiencia de Datos: ADRS supera a las líneas base de GRPO de datos completos utilizando solo el 60% de los datos de entrenamiento disponibles.
• Generalización: El método se transfiere efectivamente a divisiones de tareas no vistas en ALFWorld, mejorando las tasas de éxito en la mayoría de las categorías.
• Análisis de Mecanismo: El análisis diagnóstico revela que ADRS concentra el contraste de actualización en los tokens de acción y objeto portadores de la tarea, separándolos de los tokens de estilo genéricos, lo que explica su eficacia en interacciones de largo horizonte.

Significado y Reivindicaciones

El artículo afirma que ADRS aborda con éxito el desafío fundamental de asignar crédito a las decisiones intermedias en el RL agéntico. Al convertir el conocimiento privilegiado exclusivo del entrenamiento en una señal que está calibrada (comparable entre pasos), fiable (asociada con los retornos) e integrada (nativa del objetivo de RL), ADRS permite que los agentes aprendan de manera más efectiva a partir de retroalimentación dispersa.

Los autores enfatizan que ADRS no requiere información privilegiada durante la inferencia, lo que lo convierte en un marco práctico para desplegar agentes libres de habilidades que han aprendido de un entrenamiento guiado por habilidades. Los resultados sugieren que el conocimiento procedimental exclusivo del entrenamiento puede convertirse efectivamente en un crédito a nivel de token e incorporarse directamente en la construcción nativa de recompensa-a-ventaja, ofreciendo un camino robusto para mejorar los agentes de lenguaje de múltiples turnos.