Resumen Técnico: Optimización de Política Descorrelacionada por Recompensa (RDPO)

1. Enunciado del Problema

En entornos complejos de aprendizaje por refuerzo (RL) para Modelos de Lenguaje Grandes (LLM), el entrenamiento a menudo implica configuraciones de múltiples tareas con formulaciones de recompensa mixta. Una sola ejecución de entrenamiento puede incorporar objetivos diversos como corrección, seguimiento de instrucciones, satisfacción de rúbricas, puntuaciones de modelos de preferencia y longitud de la respuesta.

Agrupar estas señales de recompensa heterogéneas en una sola ventaja escalar presenta dos desafíos principales que desestabilizan el entrenamiento:

1. Escalas y Distribuciones Heterogéneas: Las recompensas varían significativamente en escala (binaria, fraccionaria, continua) y forma de distribución (sesgada, atada, propensa a valores atípicos). Los métodos de agregación estándar a menudo fallan en asignar ventajas de manera robusta a nivel de prompt, lo que lleva a situaciones donde un solo despliegue domina la señal de actualización.
2. Correlación de Recompensas: Las dimensiones de recompensa dentro de una tarea a menudo están correlacionadas (por ejemplo, corrección del código y longitud de la respuesta, o satisfacción de rúbricas y puntuaciones de preferencia). Sumar recompensas correlacionadas sin ajuste introduce varianza redundante, causando que el modelo "cuente dos veces" variaciones específicas o cancele señales útiles, reduciendo así la eficiencia de información efectiva de la ventaja agregada.

Los métodos existentes como GRPO (suma directa) oscurecen las variaciones de rendimiento relativo, mientras que GDPO (normalización Z independiente) sigue siendo sensible a distribuciones no gaussianas a nivel de prompt y no aborda las correlaciones inter-recompensa.

2. Metodología: Optimización de Política Descorrelacionada por Recompensa (RDPO)

Los autores proponen RDPO, una pipeline de procesamiento de recompensas ligera y de dos pasos diseñada para atacar explícitamente los modos de fallo de inestabilidad de escala y redundancia de correlación.

2.1 Métrica Diagnóstica: Eficiencia de Información Efectiva ($\eta_{eff}$)

Antes de detallar la solución, el artículo introduce $\eta_{eff}$ como una medida diagnóstica para evaluar la agregación de recompensas mixtas. Se descompone en:

• $\eta_{proj}$ (Eficiencia de Proyección): Mide qué tan bien la agregación se alinea con una proyección de ponderación igual en el espacio de recompensa estandarizado. Penaliza los desequilibrios causados por escalas de recompensa variables.
• $\eta_{corr}$ (Eficiencia de Correlación): Cuantifica la información independiente retenida después de sumar recompensas correlacionadas. Penaliza la redundancia causada por dependencias lineales positivas o negativas entre las dimensiones de recompensa.

2.2 Paso 1: Normalización Cuantílica Consciente de la Magnitud (MAQ)

Objetivo: Estabilizar la asignación de ventajas a nivel de prompt entre recompensas binarias, fraccionarias y continuas, abordando las limitaciones de la normalización Z-score bajo condiciones no gaussianas.

Mecanismo:

• Brechas Comprimidas por Logaritmo: En lugar de un escalado lineal, MAQ calcula el espaciado entre puntuaciones de despliegues ordenados utilizando una función de compresión logarítmica: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$. Esto restringe la influencia de valores atípicos extremos mientras preserva distinciones sutiles en regiones densas.
• Asignación de CDF: Las brechas se normalizan para asignar posiciones de la Función de Distribución Acumulada (CDF) de manera proporcional.
• Mapeo Inverso Normal: Los valores se mapean a una distribución normal estándar mediante la CDF inversa ($\Phi^{-1}$).

Efecto: MAQ produce ventajas que son comparables entre dimensiones y menos sensibles a estadísticas de grupo patológicas (empates, sesgo, valores atípicos), asegurando que ningún despliegue domine desproporcionadamente la actualización a nivel de prompt.

2.3 Paso 2: Blanqueo de Mahalanobis

Objetivo: Mitigar la varianza redundante entre dimensiones de recompensa co-ocurrentes dentro de un subespacio de tarea específico.

Mecanismo:

• Selección de Subespacio: En configuraciones de múltiples tareas, un despliegue rara vez observa todas las dimensiones de recompensa. RDPO aplica el blanqueo exclusivamente sobre el subespacio de recompensa observado $S$ para una tarea dada.
• Estimación de Covarianza en Ejecución: Se utiliza un Promedio Móvil Exponencial (EMA) para estimar la matriz de covarianza $\hat{\Sigma}_t$ de las ventajas normalizadas por MAQ en línea, suavizando el ruido a nivel de lote.
• Transformación de Blanqueo: El vector de ventaja $A^{(i,j)}$ se transforma utilizando la raíz cuadrada inversa de la matriz de covarianza: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$. Esto desplaza las dimensiones de recompensa activas hacia señales no correlacionadas y de varianza unitaria.
• Agregación: La ventaja escalar final es la suma de las dimensiones blanqueadas, seguida de una normalización a nivel de lote.

3. Configuración Experimental

• Modelo: LongCat-Flash (etapa de post-entrenamiento).
• Tareas: Una mezcla unificada de cuatro tipos de tareas: Razonamiento Matemático, Generación de Código, Seguimiento de Instrucciones y Escritura General.
• Subespacios de Recompensa:
  • Matemáticas: Corrección matemática + Longitud.
  • Código: Corrección de código + Longitud.
  • Seguimiento de Instrucciones: IFEval + Rúbricas.
  • Escritura General: Longitud + RM (Modelo de Recompensa) + Rúbricas.
• Líneas Base: GRPO (suma cruda), GDPO (normalización Z-score) y el modelo de inicialización de RL.
• Validación: Validación a pequeña escala en un modelo más pequeño de la misma familia para aislar las contribuciones de MAQ y el Blanqueo antes de escalar a LongCat-Flash.

4. Resultados Clave

4.1 Validación a Escala Reducida

En un modelo interno más pequeño, la pipeline completa de RDPO superó a GDPO, GRPO y al modelo de inicialización en varias métricas:

• Seguimiento de Instrucciones: Ganancias significativas en IFEval (83.55% vs. 78.56% para GDPO).
• Razonamiento y Codificación: Mejoras en AIME24, FullStackBench, HumanEval+ y MBPP+.
• Análisis de Componentes: Tanto MAQ (Q) como el Blanqueo (M) proporcionaron beneficios complementarios. MAQ fue particularmente efectivo en métricas sensibles a la distribución (por ejemplo, AH-Creative), mientras que el blanqueo ayudó en configuraciones sensibles a la correlación.

4.2 Resultados Escalados en LongCat-Flash

Al aplicarse a LongCat-Flash, RDPO demostró:

• Seguimiento de Instrucciones y Escritura: RDPO logró las puntuaciones más altas en IFEval (90.39%), GuideBench, SOP-Maze, WritingBench y ambos subconjuntos de ArenaHard v2 (AH-Creative: 89.00%, AH-Hard: 76.10%). Esto confirma la utilidad de estabilizar las ventajas a nivel de prompt y reducir la redundancia para tareas abiertas y sensibles a preferencias.
• Razonamiento y Codificación: Los resultados fueron ampliamente competitivos pero mixtos. RDPO igualó la mejor puntuación en MATH500 (98.60%) y se mantuvo competitivo en AIME2025 y GPQA. En codificación, RDPO lideró en MBPP+ y LiveCodeBench v6, mientras que GRPO o el modelo de inicialización permanecieron más fuertes en FullStackBench y HumanEval+.
• Estabilidad General: El método se transfirió exitosamente de la validación a pequeña escala al entrenamiento a gran escala, manteniendo un rendimiento estable en razonamiento y codificación mientras impulsaba significativamente el seguimiento de instrucciones y la calidad de la escritura.

5. Significado y Afirmaciones

El artículo afirma que RDPO ofrece una solución robusta para el RL multiobjetivo en el post-entrenamiento de LLM al abordar explícitamente los modos de fallo duales de inestabilidad de escala y redundancia de correlación.

• Contribución Metodológica: Al combinar la normalización Cuantílica Consciente de la Magnitud con el blanqueo de Mahalanobis, RDPO asegura que la señal de ventaja agregada sea tanto geométricamente consistente (contribución igual entre dimensiones) como informacionalmente eficiente (minimizando la varianza redundante).
• Impacto Práctico: El método permite la optimización simultánea de tareas heterogéneas (por ejemplo, matemáticas, código, escritura) sin la inestabilidad de entrenamiento típicamente asociada con formulaciones de recompensa mixta.
• Rendimiento: Los autores concluyen que RDPO mejora el seguimiento de instrucciones, la calidad de la escritura y la robustez ante prompts difíciles, mientras se mantiene ampliamente competitivo en evaluaciones de razonamiento y codificación, validando su efectividad como una estrategia de procesamiento de recompensas de propósito general para entornos complejos de RL.