Resumen Técnico: Optimización de Políticas Diversificadas Guiada por Pistas para el Razonamiento de LLM

Planteamiento del Problema

Los avances recientes en los Modelos de Lenguaje Grande (LLMs) han demostrado capacidades de razonamiento significativas, particularmente a través del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Sin embargo, los marcos de RLVR existentes, como la Optimización de Política Relativa al Grupo (GRPO), están limitados principalmente por recompensas a nivel de resultado. Estos mecanismos evalúan la corrección de la respuesta final, pero carecen de señales explícitas para guiar a los modelos hacia la exploración de trayectorias de solución diversas. En consecuencia, los modelos suelen sufrir de homogeneización de soluciones; si un modelo queda atrapado en una trayectoria de razonamiento incorrecta, le cuesta recuperarse o identificar la respuesta correcta debido a una exploración insuficiente del espacio de soluciones. Esta limitación reduce la tolerancia a fallos de los procesos de razonamiento, especialmente cuando el número de intentos de muestreo es restringido.

Metodología

Para abordar estas limitaciones, los autores proponen la Optimización de Políticas Diversificadas Guiada por Pistas (HDPO), un marco diseñado para incentivar la generación de soluciones diversas y fiables a través de una trayectoria de razonamiento de "proponer-seleccionar-pensar". HDPO opera en dos etapas distintas:

1. Arranque en Frío para el Razonamiento Estructurado

La primera etapa emplea el Ajuste Fino Supervisado (SFT) para inculcar el patrón "proponer-seleccionar-pensar" en el modelo de política.

• Construcción de Datos: Un LLM profesor avanzado genera trayectorias de razonamiento estructuradas. Para un problema dado, se le pide al modelo que primero enumere múltiples esquemas de soluciones candidatas (pistas), seleccione el más fiable y luego proceda con el razonamiento detallado.
• Filtrado: Para asegurar la calidad de los datos, las trayectorias generadas se someten a un proceso de filtrado de dos fases:
  • Verificación de Corrección: La respuesta final se compara con la verdad fundamental (ground truth).
  • Verificación de Fiabilidad: Un modelo ligero muestrea respuestas para cada esquema de solución candidata para calcular la precisión. Una trayectoria se conserva solo si la candidata seleccionada se alinea con aquella que exhibe la mayor precisión de muestreo.
• Objetivo: El modelo de política es ajustado para seguir este formato estructurado, estableciendo una base para generar pistas candidatas antes de razonar.

2. Aprendizaje por Refuerzo Diversificado Guiado por Pistas

En la segunda etapa, el modelo se somete a Aprendizaje por Refuerzo (RL) para optimizar la generación de soluciones diversas y fiables. La función de recompensa global combina cuatro componentes:

• Recompensa de Formato ($r_{fmt}$): Asegura que la salida se adhiera a la estructura "proponer-seleccionar-pensar" (por ejemplo, presencia de etiquetas específicas, número de candidatos entre 1 y 5).
• Recompensa de Precisión ($r_{acc}$): Proporciona una señal binaria (1 o 0) basada en si la respuesta final coincide con la verdad fundamental.
• Recompensa de Diversidad ($r_{div}$): Incentiva al modelo a generar soluciones candidatas distintas. Las soluciones candidatas se codifican en embeddings, y la similitud se mide mediante la similitud de coseno. Para evitar que el modelo priorice la diversidad sobre la corrección en las primeras etapas del entrenamiento, se emplea una estrategia de programación de la diversidad. Esta utiliza un coeficiente de aprendizaje basado en senos para aumentar gradualmente el peso de la recompensa de diversidad tras un periodo de calentamiento (warm-up).
• Recompensa de Fiabilidad ($r_{rel}$): Incentiva al modelo a seleccionar la candidata más fiable. Dado que las verificaciones de fiabilidad basadas en muestreo son computacionalmente costosas durante el RL, los autores utilizan la entropía de los tokens como un proxy de la confianza. Las soluciones con menor entropía (mayor confianza) se clasifican con mayor rango. La recompensa es inversamente proporcional al rango de la solución seleccionada entre todos los candidatos (por ejemplo, si la solución seleccionada es la $k$-ésima más fiable, $r_{rel} = 1/k$).

La recompensa total se calcula como:
$$r_i = r_{fmt} + r_{acc} + \mathbb{I}[r_{acc} > 0] \cdot r_{div} + \bar{r}_{acc} \cdot r_{rel}$$
donde la recompensa de diversidad se aplica solo cuando la respuesta es correcta, y la recompensa de fiabilidad se escala con el promedio de precisión del grupo para mitigar la sobreconfianza.

Contribuciones Clave

1. Marco HDPO: Introducción de un nuevo marco basado en el paradigma "proponer-seleccionar-pensar", que permite a los modelos generar explícitamente pistas de soluciones candidatas antes de comprometerse con una trayectoria de razonamiento.
2. Mecanismos de Diversidad y Fiabilidad: Desarrollo de una estrategia de programación de la diversidad y una recompensa de fiabilidad basada en la confianza que optimizan conjuntamente la exploración del espacio de soluciones y la selección de candidatos robustos.
3. Internalización de la Política: A diferencia de los métodos de búsqueda en tiempo de inferencia (por ejemplo, Árbol de Pensamiento / Tree-of-Thought) que incurren en una alta latencia mediante el muestreo repetido, HDPO internaliza el mecanismo de explorar-luego-explotar en los parámetros de la política mediante RLVR, permitiendo un razonamiento de un solo paso y sin sobrecarga (zero-overhead).

Resultados Experimentales

Los autores evaluaron HDPO en nueve benchmarks de razonamiento, incluyendo AMC 2023, AIME 2024/2025, Math-500, Minerva, Olympiad-Bench, MMLU-Pro, SciBench y GPQA-Diamond, utilizando modelos de fondo de diversas escalas (Qwen3-4B, Qwen2.5-Math-7B y DeepSeek-R1-Distill-Llama-8B).

• Ganancias de Rendimiento: HDPO superó consistentemente a GRPO estándar y a otros baselines de SOTA de RLVR (por ejemplo, EDGE-GRPO, Critique-GRPO, LUFFY). Por ejemplo, en el modelo Qwen3-4B, HDPO logró una puntuación promedio de 61.03 frente a 53.76 para GRPO.
• Mejora en la Tasa de Acierto (Hit Rate): Los experimentos mostraron que HDPO mantiene una precisión superior incluso con un número limitado de intentos de muestreo (Hit@N), mientras que el rendimiento de GRPO cae significativamente a medida que el número de intentos disminuye, lo que indica la capacidad superior de HDPO para encontrar soluciones correctas en menos ensayos.
• Estudios de Ablación: Eliminar la fase de arranque en frío, la recompensa de diversidad o la recompensa de fiabilidad resultó en una degradación significativa del rendimiento, confirmando la necesidad de cada componente. El estudio también validó que usar un modelo profesor más fuerte para los datos de arranque en frío produce mejores resultados, aunque un enfoque iterativo de auto-evolución también mostró potencial.
• Eficiencia: Aunque HDPO introduce un ligero aumento en la latencia de inferencia (menos de 0.2 segundos en comparación con los métodos SOTA), se mantiene por debajo de 1 segundo, lo que lo hace desplegable en escenarios del mundo real ofreciendo mejoras sustanciales en el razonamiento.

Significado y Reivindicaciones

El artículo afirma que HDPO aborda eficazmente el problema de la homogeneización de soluciones en los marcos de RLVR actuales. Al incentivar explícitamente la generación de soluciones candidatas diversas y entrenar al modelo para seleccionar la más fiable, HDPO mejora la tolerancia a fallos y la robustez del razonamiento del modelo. Los autores enfatizan que su enfoque va más allá de la optimización centrada únicamente en la precisión, al optimizar conjuntamente la diversidad y la fiabilidad, permitiendo que los LLM exploren un rango más amplio de soluciones potenciales e identifiquen el camino más prometedor sin la sobrecarga computacional de la búsqueda en tiempo de inferencia. Los resultados sugieren que HDPO es una estrategia escalable y efectiva para mejorar el razonamiento de los LLM tanto en dominios matemáticos como generales.