Resumen Técnico: Qué y Cuándo Destilar: Destilación Selectiva de Perspectiva Retrospectiva para Agentes de Múltiples Turnos

1. Declaración del Problema

El aprendizaje por refuerzo (RL) es un paradigma principal para entrenar agentes de Modelos de Lenguaje Grande (LLM) en entornos interactivos de largo horizonte (por ejemplo, navegación web, tareas corporificadas). Sin embargo, existe un cuello de botella crítico en la asignación de crédito: las señales de éxito dispersas a nivel de trayectoria (por ejemplo, una única recompensa de "tarea completada") deben distribuirse entre decenas de acciones, muchas de las cuales son pasos rutinarios de navegación o formato sin impacto causal en el resultado.

Los métodos existentes enfrentan dos limitaciones principales:

1. Asignación de Crédito Grosera: Los métodos relativos al grupo, como GRPO, transmiten una única ventaja a nivel de trayectoria a cada token, tratando de manera idéntica las decisiones decisivas y los tokens de interfaz inertes.
2. Fuga de Información Privilegiada en la Destilación: Si bien la auto-destilación en política (OPD) puede proporcionar una supervisión densa a nivel de token utilizando un modelo "maestro" que observa la retroalimentación del entorno (perspectiva retrospectiva), la imitación indiscriminada arriesga filtrar información no disponible para el estudiante en el momento de la decisión (por ejemplo, observaciones futuras, mensajes de error). Esto puede amplificar preferencias estilísticas no relacionadas con el éxito de la tarea y desestabilizar el entrenamiento.

El desafío central es determinar qué fuentes de retroalimentación son útiles, dónde (en qué granularidad) deben aplicarse y cómo integrarlas sin comprometer el vínculo causal entre la decisión del agente y la recompensa final.

2. Metodología: SERL

Los autores proponen SERL (Aprendizaje Selectivo Reponderado por Entorno), un marco que desacopla la dirección de la actualización de la magnitud y colocación de la actualización.

Principio Central

• Recompensa de la Tarea: Determina la dirección de la actualización de la política (si reforzar o suprimir un comportamiento).
• Retroalimentación del Entorno: Ajusta únicamente la colocación (qué tokens) y la magnitud (qué tan fuerte) de dicha actualización.

Componentes Clave

A. Colocación de Perspectiva Retrospectiva (Fuente y Granularidad)

SERL explora sistemáticamente el espacio de diseño de fuentes de retroalimentación y puntos de inserción:

• Fuentes de Retroalimentación: Retroalimentación inmediata ($r_t$), siguiente observación ($s_{t+1}$), trayectoria futura ($\tau_{>t}$), trayectorias exitosas ($\tau_+$) y combinaciones.
• Granularidades:
  • Nivel de Paso: Aplica retroalimentación a cada transición.
  • Nivel de Ancla: Agrupa estados semánticamente similares en "anclas" y aplica retroalimentación solo en cambios de estado significativos para reducir la redundancia y el ruido.

B. Mecanismo Maestro-Estudiante Asimétrico

SERL emplea una política maestra con gradiente detenido ($\pi_T$) condicionada a la perspectiva retrospectiva colocada $\Phi(t)$, mientras que el estudiante ($\pi_\theta$) solo ve el contexto del momento de la decisión.

1. Brecha de Log-Probabilidad: El sistema calcula la brecha entre las log-probabilidades del maestro y del estudiante para un token: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$.
2. Reponderación Consciente del Signo: Esta brecha se convierte en un peso acotado $w_{t,i}$ que modifica la ventaja de GRPO. Crucialmente, el signo de la ventaja original de GRPO ($A_t$) dicta cómo se interpreta la brecha:
   • Si $A_t > 0$ (trayectoria exitosa), los tokens favorecidos por el maestro reciben actualizaciones positivas mayores.
   • Si $A_t < 0$ (trayectoria fallida), los tokens desfavorecidos por el maestro son penalizados más severamente.
3. Enmascaramiento de Tokens de Acción: La reponderación se restringe a tokens de acción ejecutables. Los tokens de razonamiento y formato conservan sus pesos originales de GRPO, evitando que el maestro influya en partes no decisivas de la generación.
4. Programa de Decaimiento: La fuerza de la reponderación de perspectiva retrospectiva ($\alpha_k$) decae durante el entrenamiento. Las etapas tempranas aprovechan la perspectiva retrospectiva densa para la asignación de crédito durante la exploración; las etapas posteriores devuelven el control al objetivo impulsado por la recompensa para evitar un sesgo privilegiado persistente.

C. Función Objetivo

El objetivo final combina la pérdida de RL reponderada ($\mathcal{L}_{rw}$) con un término de destilación ligero, solo de acciones ($\mathcal{L}_{act}$):
$$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$$
Esto asegura que la perspectiva retrospectiva privilegiada nunca dicte la dirección de actualización de la respuesta completa, sino que sirva como un ajuste de crédito acotado a nivel de acción.

3. Contribuciones Clave

1. Estudio Sistemático del Diseño de Retroalimentación: El primer análisis integral de la retroalimentación del entorno para el RL de agentes LLM de largo horizonte, evaluando cinco fuentes de retroalimentación y dos granularidades de inserción en ALFWorld y WebShop.
2. Marco SERL: Un objetivo compatible con GRPO que convierte la perspectiva retrospectiva privilegiada en una reponderación acotada a nivel de acción del gradiente de la política, manteniendo la dirección de optimización anclada a la recompensa de la tarea.
3. Hallazgos Empíricos: Demostración de que la retroalimentación efectiva no es simplemente el contexto "más rico". Las señales fundamentadas y relevantes para la acción en puntos de inserción semánticamente significativos (Nivel de Ancla) superan consistentemente el uso indiscriminado de contextos más largos o más privilegiados.

4. Resultados Experimentales

Los experimentos se realizaron en ALFWorld (toma de decisiones corporificada) y WebShop (navegación de compras en línea) utilizando Qwen2.5-7B-Instruct como modelo base.

• Rendimiento: SERL logró un 90.0% de éxito promedio en ALFWorld y un 80.1% de éxito en WebShop.
• Comparaciones:
  • Superó a fuertes líneas base de RL (por ejemplo, GRPO, HGPO) por márgenes significativos (por ejemplo, +14.7 puntos en el éxito promedio de ALFWorld sobre GRPO).
  • Superó a híbridos de destilación-RL (por ejemplo, SDPO, RLSD), que a menudo sufrieron ganancias inconsistentes o inestabilidad en tareas de largo horizonte.
• Hallazgos de Ablación:
  • Fuente: La combinación de trayectorias exitosas + retroalimentación inmediata produjo los mejores resultados, lo que sugiere que el comportamiento de referencia debe estar fundamentado en la transición real del despliegue actual.
  • Granularidad: La colocación a nivel de ancla generalmente superó a la colocación a nivel de paso para retroalimentación de múltiples fuentes, ya que suprimió actualizaciones redundantes mientras preservaba señales causales.
  • Decaimiento: El decaimiento de la señal del maestro fue crítico; el uso uniforme de la perspectiva retrospectiva durante todo el entrenamiento condujo a un rendimiento subóptimo debido a la fuga de información privilegiada en etapas posteriores.

5. Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en el RL de agentes no es meramente la reducción de la varianza en la estimación del gradiente, sino el desalineamiento de la asignación de crédito en trayectorias largas.

• Fundamentado vs. Rico: El estudio desafía la suposición de que más contexto (por ejemplo, trayectorias futuras completas) siempre es mejor. En cambio, argumenta que las señales fundamentadas y relevantes para la acción en puntos semánticamente significativos son superiores porque mantienen la alineación causal con las decisiones específicas del agente.
• Destilación Controlada: SERL demuestra que la destilación puede integrarse en el RL sin inestabilidad si la señal del maestro se utiliza de manera asimétrica: como un coeficiente para el ajuste de magnitud en lugar de un objetivo directo para la imitación.
• Principios de Diseño: El trabajo establece que el RL de agentes efectivo requiere la alineación de tres elecciones de diseño: la fuente de la retroalimentación, la colocación (granularidad) de dicha retroalimentación y la fuerza de su influencia en la actualización de la política.

Al abordar el "qué y cuándo" de la destilación, SERL proporciona un camino estable para entrenar agentes de múltiples turnos que pueden utilizar eficazmente la retroalimentación densa del entorno sin sucumbir a las trampas de la fuga de información privilegiada.