Resumen Técnico: LamPO – Una Optimización de Política Estilo Lambda para Modelos de Lenguaje de Razonamiento

Declaración del Problema

El aprendizaje por refuerzo con recompensas verificables (RLVR) ha surgido como un paradigma dominante para potenciar las capacidades de razonamiento en Modelos de Lenguaje Grandes (LLM) en tareas como matemáticas, programación y respuesta a preguntas científicas. Si bien la Optimización de Política Relativa por Grupos (GRPO) se ha convertido en una alternativa estándar, libre de críticos, a PPO al normalizar las recompensas dentro de una muestra de grupo, adolece de una limitación crítica: compresión de información.

GRPO resume cada grupo de respuestas muestreadas en estadísticas escalares (media y desviación estándar) para calcular ventajas. Este enfoque descarta información relacional detallada entre las respuestas candidatas. En tareas de razonamiento, donde las soluciones pueden diferir solo sutilmente en calidad (por ejemplo, parcialmente correcta vs. casi correcta), una línea base escalar solo puede indicar si una respuesta está por encima o por debajo del promedio del grupo. No logra preservar explícitamente qué respuestas específicas supera un candidato ni en qué medida. Esta limitación es particularmente severa bajo recompensas binarias dispersas, donde muchas trayectorias incorrectas reciben retroalimentación idéntica, lo que conduce a una asignación de crédito débil.

Metodología

Los autores proponen LamPO (Optimización de Política Estilo Lambda), un método diseñado para retener la eficiencia de la optimización libre de críticos mientras recupera la estructura relacional perdida dentro de los grupos de respuestas.

1. Ventaja Descompuesta por Pares (PDA)

En lugar de calcular una ventaja escalar basada en estadísticas de grupo, LamPO reemplaza la ventaja relativa al grupo con una Ventaja Descompuesta por Pares. Para una respuesta $o_i$ dentro de un grupo de tamaño $G$, la ventaja $A_\lambda(o_i)$ se calcula como el promedio de las brechas de recompensa por pares ponderadas por un factor de confianza:

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

Donde:

• $R(o_i) - R(o_j)$ representa la brecha de recompensa por pares, proporcionando la dirección de aprendizaje.
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ es la diferencia en las log-probabilidades de la secuencia bajo la política antigua.
• $\sigma(\cdot)$ es la función sigmoide logística que actúa como un peso consciente de la confianza.
• $\tau$ es un parámetro de temperatura que controla la sensibilidad de la ponderación a las diferencias en log-probabilidades.

Esta formulación agrega comparaciones por pares, preservando la información de clasificación dentro del grupo. La ponderación asegura que las comparaciones donde la política es más confiable (diferencia mayor en log-probabilidades) contribuyan más significativamente a la actualización.

2. Función Objetivo de la Política

LamPO retiene la función objetivo sustituta recortada al estilo PPO y la estructura libre de críticos de GRPO. La ventaja estándar $\hat{A}_i$ simplemente se reemplaza con la PDA calculada $A_\lambda(o_i)$ en la función objetivo recortada. La función objetivo completa incluye un término de regularización KL contra una política de referencia $\pi_{ref}$.

3. Recompensa Densa de Superposición de Referencia

Para abordar la dispersión de recompensas cuando están disponibles soluciones de referencia, LamPO introduce una recompensa auxiliar ligera basada en ROUGE-L.

• La recompensa final es una combinación lineal: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$.
• $R_{ext}$ es la recompensa escasa de corrección verificable (0 o 1).
• $R_{sem}$ es la puntuación F1 de ROUGE-L entre la traza generada y la solución de referencia.
• $\lambda_{sem}$ controla la fuerza de esta señal densa.

Esta recompensa auxiliar proporciona señales de superposición conscientes de la secuencia, complementando la señal escasa de corrección sin reemplazarla.

Contribuciones Clave

1. Identificación de Limitación: El artículo identifica la pérdida de información relacional intra-grupo en la optimización relativa al grupo con línea base escalar como un cuello de botella clave en RLVR para tareas de razonamiento.
2. Algoritmo LamPO: Un método novedoso de optimización de política libre de críticos que utiliza Ventajas Descompuestas por Pares con ponderación consciente de la confianza para preservar la información de clasificación dentro de los grupos muestreados.
3. Integración de Recompensa Auxiliar: Un mecanismo simple y efectivo para reducir la dispersión de recompensas utilizando superposición basada en ROUGE-L cuando están disponibles trazas de razonamiento de referencia.
4. Validación Empírica: Demostró mejoras consistentes sobre GRPO y variantes recientes de RLVR (DAPO, GSPO, SAPO) en múltiples puntos de referencia y familias de modelos.

Resultados Experimentales

Los autores evaluaron LamPO en cuatro puntos de referencia de razonamiento: AIME24, AIME25, MATH-500 y GPQA-Diamond, utilizando tres modelos base: Qwen3-1.7B, Qwen3-4B y Phi-4-mini.

• Rendimiento: LamPO superó consistentemente a GRPO y otros puntos de referencia (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO) en todos los tamaños de modelo.
  • En Qwen3-1.7B, LamPO logró la puntuación promedio más alta (53.60), con ganancias notables en tareas matemáticas de estilo competitivo (AIME24: 46.67 vs. 42.08 de GRPO).
  • En Qwen3-4B, LamPO mejoró la puntuación promedio en 1.69 puntos sobre GRPO (77.09 vs. 75.40).
  • En Phi-4-mini, LamPO mostró ganancias similares, indicando que el método no está atado a una familia de modelos específica.
• Dinámicas de Entrenamiento: Las curvas de entrenamiento revelaron que LamPO produce mejoras de recompensa más suaves y longitudes de finalización más estables en comparación con GRPO. Esta estabilidad se atribuye a la señal estructurada proporcionada por las brechas por pares, que reduce las actualizaciones oscilatorias causadas por la normalización escalar de alta varianza, especialmente en modelos más pequeños.
• Estudios de Ablación:
  • Temperatura ($\tau$): Un valor de $\tau=1.5$ arrojó los mejores resultados. Valores más bajos ($\tau=0.5$) hicieron que la ponderación fuera demasiado sensible, mientras que valores más altos ($\tau=5.0, 7.0$) suavizaron demasiado la ponderación, debilitando la discriminación por pares.
  • Recompensa Semántica: Eliminar la recompensa auxiliar densa ($\lambda_{sem}=0.0$) redujo el rendimiento, confirmando que la conformación de superposición de referencia mejora la eficiencia de la muestra bajo recompensas dispersas.

Significado y Afirmaciones

El artículo afirma que LamPO ofrece un mecanismo de asignación de crédito más efectivo para tareas de razonamiento donde la calidad de la solución varía sutilmente. Al pasar de estadísticas de grupo escalares a ventajas descompuestas por pares, LamPO proporciona una señal de aprendizaje más rica que aprovecha explícitamente el ordenamiento relativo de las respuestas candidatas.

Los autores enfatizan que LamPO mantiene la eficiencia computacional y la estabilidad del marco GRPO (siendo libre de críticos y utilizando actualizaciones recortadas) mientras aborda la debilidad específica de la pérdida de información en los métodos relativos al grupo. La integración de una recompensa ROUGE-L ligera mejora aún más la eficiencia del entrenamiento cuando están disponibles datos de referencia, sin comprometer la dependencia de la corrección verificable.

Limitaciones Reconocidas:

• Costo Computacional: La comparación por pares introduce una complejidad de $O(G^2)$ relativa al tamaño del grupo $G$, aunque esto se considera despreciable para tamaños de grupo típicos en RLVR.
• Fiabilidad de la Recompensa: El método depende de señales de recompensa fiables; recompensas ruidosas o subjetivas podrían amplificar errores en las brechas por pares.
• Alcance de la Recompensa Auxiliar: La recompensa ROUGE-L captura la superposición léxica en lugar de la corrección completa del razonamiento y requiere soluciones de referencia, las cuales pueden no existir para todas las tareas.
• Generalización: Los experimentos están actualmente limitados al razonamiento matemático y científico; la generalización a diálogos abiertos o tareas multimodales sigue siendo una pregunta abierta.