Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

Resumen Técnico: Policy Split

1. El Problema

La aplicación de Aprendizaje por Refuerzo (RL) en Modelos de Lenguaje Grandes (LLM), especialmente en Modelos de Razonamiento (LRMs), ha demostrado un gran éxito. Sin embargo, existe un conflicto fundamental entre la exploración (necesaria para descubrir nuevas soluciones y mejorar la creatividad) y la explotación (necesaria para mantener la precisión y la exactitud en tareas lógicas).

• La paradoja de la entropía: Los métodos actuales de RL guiados por entropía intentan maximizar la entropía para fomentar la exploración. No obstante, estudios recientes indican que forzar una mayor entropía en modelos que ya tienen capacidades robustas (baja entropía) a menudo degrada la precisión, provocando que las salidas se vuelvan incoherentes o que el modelo colapse en secuencias sin sentido.
• Limitación actual: Los enfoques tradicionales aplican una sola política con una regularización de entropía uniforme, lo que obliga al modelo a sacrificar precisión por diversidad o viceversa, sin lograr un equilibrio óptimo.

2. Metodología: Policy Split

Los autores proponen Policy Split, un nuevo paradigma que bifurca la política de un único modelo en dos modos distintos pero colaborativos: un modo normal y un modo de alta entropía.

A. Bifurcación de la Política mediante Prompting:

• Modo Normal: Optimizado para la corrección de la tarea (precisión). No utiliza un prompt especial.
• Modo de Alta Entropía: Identificado mediante un system prompt específico que instruye al modelo a "explorar un proceso de pensamiento único", "evitar el camino de razonamiento más directo" y "maximizar la diversidad".
• Nota crucial: El artículo demuestra que el prompting por sí solo es insuficiente para inducir comportamientos de alta entropía; se requiere un entrenamiento explícito con regularización dual.

B. Regularización de Entropía Dual:
El núcleo de la metodología es una función de ventaja (advantage function) diferenciada para cada modo:

1. Modo Normal: Calcula la ventaja siguiendo el estándar GRPO (Group Relative Policy Optimization), enfocándose únicamente en la corrección de la respuesta.
2. Modo de Alta Entropía: Modifica la ventaja añadiendo dos componentes clave:
   • Término de Entropía: Incentiva explícitamente salidas con mayor entropía.
   • Término de Divergencia KL: Penaliza la similitud con el modo normal, forzando al modo de alta entropía a explorar áreas del espacio de búsqueda diferentes a las del modo normal.
   • Técnica de Clamping: Se utiliza para evitar que los términos de entropía alteren el signo de la señal de recompensa, garantizando la estabilidad del entrenamiento.

C. Aprendizaje Colaborativo (Share-GRPO):
Aunque las políticas tienen objetivos diferentes, comparten parámetros y datos de rollouts (muestras generadas):

• El modo normal aprende de las respuestas correctas descubiertas por el modo de alta entropía (que explora más).
• El modo de alta entropía se estabiliza aprendiendo de las respuestas correctas y precisas del modo normal, evitando colapsar en comportamientos aleatorios.

3. Contribuciones Clave

1. Marco de RL de Doble Modo: Introducción de Policy Split, que permite que un solo modelo mantenga simultáneamente una política conservadora (alta precisión) y una política exploratoria (alta creatividad) mediante la bifurcación de la política y la regularización de entropía dual.
2. Desacoplamiento de Objetivos: Logra desacoplar la presión por la precisión de la necesidad de exploración, resolviendo el conflicto tradicional entre exactitud y diversidad en el RL de LLMs.
3. Validación Empírica: Demostración de que este enfoque revive la entropía de modelos LRMs de baja entropía sin sacrificar significativamente la precisión general, superando a las líneas base existentes en tareas generales y creativas.
4. Análisis de Generalización: Evidencia que el modo de alta entropía no solo genera respuestas únicas, sino que puede generalizar a prompts de cambio de modo no vistos durante el entrenamiento.

4. Resultados Experimentales

Los experimentos se realizaron en modelos Qwen3 (1.7B, 4B y 8B) en tareas de razonamiento matemático (MATH-500, AIME), ciencias (GPQA, MMLU-Pro) y escritura creativa.

• Tareas Generales (Precisión): Policy Split logró mejoras consistentes y significativas (p < 0.01) en la precisión promedio en comparación con las líneas base (GRPO, regularización de entropía simple, etc.), especialmente en modelos más grandes (4B y 8B).
• Recuperación de Entropía: El método logró aumentar significativamente la entropía de los modelos, reviviendo su capacidad de exploración que suele perderse durante el entrenamiento continuo.
• Tareas Creativas: En escritura creativa, el modo de alta entropía superó ampliamente a las líneas base en métricas de diversidad (N-gramas, Self-BLEU) y en evaluaciones de LLM-as-a-Judge (Creatividad, Originalidad, Impacto Emocional, Imágenes).
• Análisis de Comportamiento:
  • Se observó una divergencia KL significativamente mayor entre los dos modos en Policy Split en comparación con GRPO estándar, confirmando que se han desarrollado comportamientos de inferencia distintos.
  • El modo de alta entropía encontró más soluciones correctas únicas ("Best-of-N" más alto), proporcionando señales de aprendizaje valiosas para el modo normal.

5. Significado e Impacto

• Superación del Compromiso (Trade-off): Policy Split demuestra que no es necesario elegir entre un modelo preciso y uno creativo. Un solo modelo puede ofrecer ambas capacidades dependiendo del prompt de inferencia.
• Flexibilidad en la Inferencia: Proporciona a los LLMs una flexibilidad única, permitiendo a los usuarios cambiar entre un modo "riguroso" para tareas lógicas y un modo "exploratorio" para tareas creativas sin necesidad de entrenar modelos separados.
• Futuro de los Modelos de Razonamiento: Sugiere que el modelado de múltiples políticas colaborativas es un camino prometedor para mejorar la flexibilidad, la direccionalidad y el rendimiento general de los sistemas de IA, alejándose de las limitaciones de los enfoques de política única.

En conclusión, Policy Split representa un avance metodológico importante al utilizar la bifurcación de políticas y la regularización dual para resolver el dilema exploración-explotación en el RL de LLMs, logrando modelos más robustos, precisos y creativos simultáneamente.