Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Resumen Técnico: Ausencia de Logits Antiguos en RL Agente Asíncrono

Definición del Problema
En el aprendizaje por refuerzo (RL) asíncrono para Modelos de Lenguaje Grande (LLM), la desacoplamiento de la generación de muestras (despliegue) de la optimización de la política es esencial para maximizar el rendimiento. Sin embargo, esta arquitectura introduce un modo de fallo crítico para la corrección fuera de política al estilo de la Optimización de Política Proximal (PPO).

Idealmente, la razón de importancia en PPO debería descomponerse en dos factores semánticamente distintos:

1. Discrepancia Entrenamiento-Inferencia ($r_d$): Corrige las diferencias numéricas entre el motor de inferencia (por ejemplo, vLLM) y el motor de entrenamiento (por ejemplo, Megatron-LM) en la misma versión de la política.
2. Obsolescencia de la Política ($r_s$): Corrige la brecha entre la política de comportamiento histórica que generó los tokens y la política actual que se está optimizando.

El artículo identifica que en las tuberías asíncronas prácticas, particularmente aquellas que involucran despliegues parciales y actualizaciones retrasadas, los logits antiguos del lado del entrenamiento ($\pi_{old}$) necesarios para calcular el término de discrepancia $r_d$ a menudo están ausentes. Cuando el actor actualiza sus pesos antes de que el despliegue correspondiente a una versión anterior se procese completamente, la versión específica de la política $\pi_{old}$ utilizada para generar esos tokens puede ya no estar disponible.

Este problema de "logit antiguo ausente" obliga a los métodos existentes a sustituir el verdadero $\pi_{old}$ con aproximaciones (por ejemplo, interpolación lineal o proxies estáticos). Los autores argumentan que esta sustitución entrelaza la reparación de discrepancias con la corrección de obsolescencia, rompiendo la separación semántica pretendida. En consecuencia, los umbrales de recorte y enmascaramiento interactúan de manera indeseable, lo que lleva a una estabilidad y rendimiento de optimización subóptimos.

Metodología
El artículo propone un análisis unificado de las correcciones fuera de política bajo una visión de "doble restricción" y evalúa dos direcciones principales para su resolución:

1. Adquisición Exacta de Logits Antiguos (Nivel de Sistema):
   Los autores investigan tres estrategias para recuperar el $\pi_{old}$ de verdad sin depender de aproximaciones:

   • Rastreo de Versiones Basado en Instantáneas: Retener instantáneas de parámetros históricos y recargar la versión específica que generó cada token. Esto es exacto pero incurre en una alta sobrecarga de memoria y E/S.
   • Modelo Dedicado de Logits Antiguos: Mantener una instancia de modelo separada exclusivamente para calcular logits antiguos mientras el actor principal entrena. Esto permite la superposición de cómputo pero requiere la partición de recursos.
   • Sincronización mediante Interrupción de Despliegues Parciales: Interrumpir a los trabajadores de despliegue para calcular logits antiguos para trayectorias parciales antes de que la versión de la política sea descartada. Esto evita costos de almacenamiento pero introduce paradas de sincronización y sobrecarga de reconfiguración de recursos.

2. Corrección Aproximada (Nivel de Algoritmo):
   Reconociendo que la recuperación exacta a menudo es demasiado costosa para sistemas a gran escala, el artículo propone un método revisado de PPO-EWMA (Media Móvil Ponderada Exponencialmente).

   • En lugar de usar un proxy de interpolación estática, este método mantiene una política de referencia suavizada ($\pi_{prox}$) que rastrea el centro de la ventana de versiones asíncrona.
   • Decaimiento Consciente de la Obsolescencia: El factor de decaimiento $\beta$ se establece en función de la ventana de obsolescencia esperada ($W_{stale}$) para asegurar que la política de referencia se alinee con el medio de la brecha de versiones, en lugar de quedarse atrás.
   • Reinicio Automático: Para evitar que la política de referencia se desvíe demasiado y provoque el colapso de la "Máscara de Entrenamiento-Inferencia" (que filtra tokens con alta discrepancia), el sistema monitorea la fracción de tokens activos. Si esta fracción cae por debajo de un umbral ($\tau$), la política de referencia se reinicia a los parámetros actuales del actor.

El artículo también proporciona un análisis teórico (Proposición 1) que demuestra que los proxies basados en interpolación (lineal o log-lineal) no recuperan genuinamente la política de referencia faltante; más bien, simplemente reparametrizan los límites de recorte efectivos de la razón de importancia total.

Contribuciones Clave

• Identificación del Problema de Logit Antiguo Ausente: El artículo define formalmente el modo de fallo semántico en el RL Agente Asíncrono donde la ausencia de $\pi_{old}$ rompe el desacoplamiento de la reparación de discrepancias y la corrección de obsolescencia.
• Análisis Unificado de Correcciones Fuera de Política: Formula variantes existentes de PPO bajo un marco de Muestreo de Importancia Enmascarado (MIS), aclarando por qué una sola razón o umbral es insuficiente para manejar tanto las discrepancias numéricas como la obsolescencia de la política.
• Análisis de Compensaciones del Sistema: Evalúa tres estrategias de adquisición exacta, cuantificando sus costos en términos de memoria, E/S y sobrecarga de sincronización.
• Propuesta de PPO-EWMA: Introduce un método de corrección aproximada de bajo costo que preserva los beneficios de la corrección desacoplada sin requerir cambios costosos en la infraestructura.

Resultados Experimentales
Los autores evaluaron sus métodos en puntos de referencia de RL Agente ($\tau^2$-Bench y VitaBench) utilizando tanto modelos densos (Qwen3-4B) como modelos de Mezcla de Expertos (Qwen3-30B-A3B).

• Rendimiento: El método PPO-EWMA superó consistentemente al PPO Desacoplado estándar y a los proxies de interpolación lineal (Linear_prox). En el modelo MoE de 30B, PPO-EWMA logró las tasas de éxito más altas en la división de aerolíneas y empató con el mejor en tareas de retail y telecomunicaciones.
• Comparación con el Ideal: Aunque PPO-EWMA no coincidió completamente con el rendimiento del método "Instantánea" (que asume acceso perfecto a logits antiguos), logró resultados muy cercanos al caso ideal, lo que sugiere que una referencia aproximada bien ajustada puede recuperar la mayoría de los beneficios de la corrección exacta.
• Sobrecarga del Sistema: Los métodos de recuperación exacta (Instantánea) incurrieron en costos de sistema significativos (por ejemplo, ~178 segundos adicionales por paso para el modelo de 30B debido a pasadas forward históricas). En contraste, PPO-EWMA añadió una sobrecarga insignificante, ofreciendo una compensación superior entre rendimiento y costo.
• Estudios de Ablación: Los experimentos confirmaron que sin el mecanismo de reinicio automático, la referencia EWMA podría desviarse, provocando el colapso de la Máscara de Entrenamiento-Inferencia y el fallo del entrenamiento. El mecanismo de reinicio centró nuevamente la referencia, manteniendo la estabilidad.

Significado y Afirmaciones
El artículo afirma que el problema del logit antiguo ausente es un problema semántico fundamental en el RL de LLM asíncrono que socava las garantías teóricas de la corrección desacoplada. Los autores afirman que:

1. La recuperación exacta es la única forma de lograr una reparación de discrepancias y una corrección de obsolescencia semánticamente correctas, pero a menudo es prohibitivamente costosa.
2. Los métodos aproximados basados en interpolación simple son insuficientes porque no restauran la política de referencia verdadera, simplemente desplazando los límites de restricción.
3. PPO-EWMA ofrece una alternativa práctica y de bajo costo que mejora significativamente la velocidad de entrenamiento y el rendimiento de optimización sobre las líneas base asíncronas existentes, convirtiéndolo en una solución viable para sistemas de RL Agente a gran escala donde la recuperación exacta de logits es inviable.

El trabajo concluye que, aunque PPO-EWMA es una aproximación y podría tener dificultades bajo no estacionariedad extrema o brechas de versiones muy grandes, representa un paso significativo hacia la estabilización del entrenamiento asíncrono sin requerir modificaciones pesadas en la infraestructura.