Resumen Técnico: Control Flexible de Entropía en RLVR desde una Perspectiva de Preservación de Gradientes

Enunciado del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), particularmente utilizando la Optimización de Políticas Relativas Grupales (GRPO), se ha convertido en un método pivotal para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM). Sin embargo, el entrenamiento continuo en este paradigma a menudo conduce al colapso de la entropía de la política. Este fenómeno se caracteriza por un decaimiento rápido de la entropía de la política hacia valores cercanos a cero, resultando en una sobreconfianza prematura, una diversidad de salida reducida y la desaparición de las normas de los gradientes, lo que finalmente inhibe el aprendizaje posterior y degrada el rendimiento del modelo.

Un factor principal que impulsa estas dinámicas es el Recorte de Preservación de Gradientes, un mecanismo heredado de la Optimización de Políticas Cercanas Recortadas (PPO-Clip) que restringe la relación de muestreo de importancia dentro de una región de confianza. Mientras que las estrategias de mitigación existentes, como el enfoque "Clip-Higher", intentan abordar esto ajustando estáticamente los umbrales de recorte, carecen de un marco teórico que conecte los mecanismos de recorte con un control preciso de la entropía. En consecuencia, los métodos actuales suelen ser estáticos y no proporcionan la regulación flexible y específica de la etapa de entropía necesaria para un entrenamiento efectivo de RL.

Metodología

Este artículo propone un enfoque novedoso para remodelar el control de la entropía en RLVR desde una Perspectiva de Preservación de Gradientes. La metodología se basa en tres componentes principales:

1. Análisis Teórico y Empírico de las Dinámicas de Entropía

Los autores analizan teóricamente la relación entre los gradientes de actualización del aprendizaje por refuerzo y los gradientes globales de entropía. Al calcular el producto interno del gradiente del objetivo ($\nabla_z L$) y el gradiente de entropía ($\nabla_z H$), identifican cuatro regiones distintas de la relación de muestreo de importancia ($r_t$) que dictan si la entropía aumenta o disminuye:

• E1 (Alta Ganancia): Los tokens de alta probabilidad con ventaja positiva fomentan un mayor afilado (disminución de la entropía).
• E2 (Baja Ganancia): Los tokens de baja probabilidad con ventaja positiva fomentan un aplanamiento (aumento de la entropía).
• E3 (Alta Caída): Los tokens de alta probabilidad con ventaja negativa fomentan un aplanamiento (aumento de la entropía).
• E4 (Baja Caída): Los tokens de baja probabilidad con ventaja negativa fomentan un afilado (disminución de la entropía).

La verificación empírica confirma que aplicar selectivamente el Recorte de Preservación de Gradientes a estas regiones específicas influye directamente en la trayectoria de la entropía de la política.

2. Umbrales de Recorte Dinámicos para la Regulación de Entropía

Basándose en los hallazgos teóricos, el artículo introduce un mecanismo de umbrales de recorte dinámicos. En lugar de utilizar límites escalares fijos ($\epsilon$), los umbrales de recorte se formulan como funciones de la probabilidad actual de la política ($\pi_\theta$) con una operación de stop-gradient:
$$\epsilon(\pi_\theta) := f(\bar{p}_t), \quad \bar{p}_t = \text{sg}[\pi_\theta(a_t|s_t)]$$
donde $f(\bar{p}_t)$ está negativamente correlacionada con la probabilidad.

• Para Ventaja Positiva: El umbral de recorte superior se aumenta para tokens de baja probabilidad (para fomentar la exploración/E2) y se disminuye para tokens de alta probabilidad (para prevenir la sobreconcentración/E1).
• Para Ventaja Negativa: El umbral de recorte inferior se disminuye para tokens de alta probabilidad (para mantener la estabilidad) y se relaja para tokens de baja probabilidad (para suprimir regiones subóptimas/E4).

Este mecanismo permite una modulación precisa y dependiente de la probabilidad de la región de confianza para promover o suprimir cambios en la entropía.

3. Estrategias de Control de Entropía

Aprovechando el mecanismo de regulación dinámica, los autores diseñan tres estrategias de entrenamiento distintas para gestionar la evolución de la entropía a lo largo del ciclo de vida del entrenamiento:

• Aumentar-luego-Disminuir (ID): Diseñado para modelos alineados con SFT. Comienza con una fase de aumento de entropía (fomentando un razonamiento diverso) seguida de una fase de disminución de entropía (convergiendo hacia un rendimiento óptimo).
• Disminuir-Aumentar-Disminuir (DID): Adecuado para modelos base o de alta entropía. Inicialmente reduce la entropía para estabilizar la optimización, permite un aumento controlado para prevenir el colapso y finalmente disminuye la entropía para la convergencia.
• Decaimiento Oscilatorio (OD): Diseñado para ejecuciones de entrenamiento largas o escenarios propensos a mínimos locales. Emplea una máquina de estados que activa el impulso o la supresión de la entropía basándose en si la entropía actual cae por debajo de un límite inferior o excede un límite superior decreciente, manteniendo un equilibrio dinámico durante todo el entrenamiento.

Contribuciones Clave

1. Perspectiva Teórica: El artículo proporciona una derivación teórica y una validación empírica de cómo regiones específicas de la relación de muestreo de importancia contribuyen al crecimiento y reducción de la entropía, estableciendo un vínculo claro entre el Recorte de Preservación de Gradientes y las dinámicas de entropía.
2. Mecanismo de Regulación: Propone un mecanismo de umbrales de recorte dinámicos que modula los límites superior e inferior basándose en la probabilidad del token, permitiendo un control flexible y preciso sobre las fluctuaciones de entropía.
3. Diseño de Estrategias: Introduce y evalúa tres estrategias específicas de control de entropía (ID, DID, OD) que adaptan el proceso de entrenamiento a diferentes estados y objetivos del modelo, mitigando eficazmente el colapso de la entropía.

Resultados Experimentales

Los métodos propuestos fueron evaluados en los modelos Qwen2.5-Math-7B, Qwen2.5-7B y Phi-4-14B utilizando el conjunto de datos DAPO-MATH. El rendimiento se comparó en múltiples tareas de razonamiento matemático (AIME24/25, AMC, MATH-500, GSM8k, Olimpiadas) y dominios no matemáticos (GPQA-Diamond, LiveCodeBench, MMLU-Redux).

• Mejoras de Rendimiento: Las tres estrategias (ID, DID, OD) superaron consistentemente a la línea base GRPO y otros métodos del estado del arte (por ejemplo, Clip-Higher, Regularización de Entropía, GSPO) en múltiples puntos de referencia. Por ejemplo, en Qwen2.5-Math-7B, la estrategia Ours-ID logró una puntuación de 33.1 en AIME24 en comparación con 24.4 para GRPO, y 48.3 en Olimpiadas en comparación con 46.2.
• Control de Entropía: Las curvas de entrenamiento demostraron que los métodos propuestos evitaron con éxito el colapso de la entropía. La estrategia ID mostró un aumento inicial claro de la entropía seguido de un decaimiento controlado, mientras que OD mantuvo un comportamiento oscilatorio que previno la convergencia prematura.
• Generalización: Los métodos demostraron escalabilidad a modelos más grandes (Phi-4-14B) y generalización a dominios no matemáticos, mostrando mejoras consistentes en las métricas Pass@K y puntuaciones de recompensa.
• Eficiencia: El mecanismo de recorte dinámico introdujo una sobrecarga computacional mínima, con tiempos de entrenamiento comparables a la línea base GRPO.

Significado y Afirmaciones

El artículo afirma que al cambiar la perspectiva del control de la entropía desde el ajuste estático de umbrales hacia una modulación dinámica dependiente de la probabilidad y de preservación de gradientes, es posible gestionar con precisión el equilibrio entre exploración y explotación en RLVR.

Los autores afirman que su trabajo aborda el problema crítico del colapso de la entropía, que ha sido identificado como un cuello de botella en la escalabilidad de RL para el razonamiento de LLM. Al proporcionar un marco teórico y estrategias prácticas (ID, DID, OD), el artículo ofrece una solución robusta para mantener la diversidad de salida y el flujo de gradientes durante el entrenamiento continuo. Los resultados sugieren que el control flexible de la entropía no es meramente una técnica de regularización, sino un componente fundamental para lograr un rendimiento de razonamiento superior en modelos de lenguaje grandes. El trabajo enfatiza que la efectividad de estas estrategias radica en su capacidad para adaptar las restricciones de la región de confianza según los estados de probabilidad específicos de los tokens, en lugar de aplicar ajustes uniformes.