Resumen Técnico: Optimización de Política Guiada por Estrategia (SGPO) para el Razonamiento de LLM

1. Planteamiento del Problema

Los métodos actuales para destilar capacidades de razonamiento de modelos de lenguaje grandes (LLM) fuertes a débiles dependen predominantemente de la imitación a nivel de trayectoria. Ya sea mediante el Ajuste Fino Supervisado (SFT) sobre trazas de expertos o mediante optimización de política híbrida, estos enfoques entrenan a los modelos estudiantes para reproducir secuencias de soluciones específicas generadas por expertos. El artículo argumenta que esta unidad de transferencia de conocimiento es defectuosa: fomenta la memorización de patrones específicos de cada instancia en lugar de la adquisición de habilidades de resolución de problemas transferibles. En consecuencia, los modelos entrenados de esta manera tienen dificultades para generalizar a problemas novedosos porque aprenden qué responder en lugar de cómo razonar.

El desafío central abordado es cómo desplazar el objetivo de la destilación desde trayectorias de solución concretas hacia estrategias de resolución de problemas reutilizables que expliquen por qué se eligieron pasos específicos, sin requerir que el modelo dependa de pistas externas durante la inferencia.

2. Metodología: Optimización de Política Guiada por Estrategia (SGPO)

Los autores proponen SGPO, un marco que reemplaza la imitación de trayectoria a nivel de instancia con la destilación de estrategias reutilizables. El marco opera extrayendo descripciones de estrategias estructuradas de las respuestas de un modelo fuerte y utilizándolas para remodelar la distribución de razonamiento del modelo estudiante.

2.1 Componentes Principales

Para cada problema $q$, SGPO construye dos grupos de trayectorias:

1. Grupo Autónomo: Muestreado de la política actual $\pi_\theta(\cdot | q)$.
2. Grupo Guiado por Estrategia: Muestreado de $\pi_\theta(\cdot | q, s)$, donde $s$ es una descripción de estrategia concisa en lenguaje natural (que especifica el tipo de problema, el enfoque y los pasos procedimentales) extraída de un modelo fuerte, pero que no contiene cálculos ni la respuesta final.

El marco aborda dos preguntas clave: Cómo destilar y Cuándo destilar.

2.2 Cómo Destilar: Objetivo de Forward-KL a Nivel de Token

En lugar de imitar directamente la trayectoria guiada (lo que colapsaría de nuevo en SFT), SGPO destila el desplazamiento distributivo inducido por el condicionamiento de la estrategia.

• Divergencia Forward-KL: El método minimiza la divergencia de Kullback-Leibler donde la distribución guiada por la estrategia es la referencia y la distribución no guiada es el objetivo ($D_{KL}(\pi_{guided} || \pi_{unguided})$).
• Selectividad: A diferencia de la Reverse KL, que colapsaría la política hacia un único modo guiado, la Forward KL fomenta que la política no guiada cubra el modo guiado mientras preserva las alternativas existentes descubiertas mediante la exploración autónoma.
• Mecanismo: El objetivo concentra naturalmente la presión de optimización en los tokens donde la distribución del siguiente token cambia significativamente bajo el condicionamiento de la estrategia (por ejemplo, al elegir un método matemático específico). Estos corresponden a puntos de decisión críticos de la estrategia, mientras que los tokens lingüísticos rutinarios exhiben una baja divergencia KL. Esto proporciona una señal de destilación selectiva sin requerir anotaciones explícitas a nivel de token.

2.3 Estabilidad y Eficiencia: Restricciones Proximales

Para asegurar la estabilidad y eficiencia del entrenamiento, SGPO emplea tres niveles de restricciones proximales:

1. Nivel de Trayectoria (Selección de Objetivo Alcanzable): En lugar de promediar sobre todas las trayectorias guiadas correctas, el método selecciona la única trayectoria guiada más alcanzable por la política no guiada actual. Esto minimiza la brecha distributiva que el modelo debe cerrar.
2. Nivel de Token (Recorte de KL): Las posiciones de token donde la divergencia entre las distribuciones guiada y no guiada excede un umbral $\delta$ son enmascaradas. Esto evita que las posiciones atípicas dominen la optimización y causen un colapso de la entropía.
3. Nivel de Instancia (Ponderación Adaptativa): Un peso dinámico $\alpha(q)$ modula la fuerza de la destilación basada en el beneficio marginal de la guía estratégica.
   • Si la tasa de éxito autónoma es baja y la tasa de éxito guiada es alta, $\alpha(q)$ es grande, fortaleciendo la guía.
   • A medida que la competencia autónoma del modelo crece, $\alpha(q)$ disminuye, transitando naturalmente el entrenamiento de una mejora impulsada por la estrategia a una optimización autónoma sin necesidad de programación manual.

2.4 Objetivo General

El loss total combina la Optimización de Política de Grupo Relativo (GRPO) autónoma con el término de destilación de estrategia proximal:
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. Contribuciones Clave

• Cambio de Paradigma: Mueve la destilación de razonamiento de la imitación de trayectorias de solución específicas a la internalización de estrategias de resolución de problemas reutilizables.
• Destilación Forward-KL: Introduce un objetivo de forward-KL a nivel de token que transfiere selectivamente el conocimiento estratégico al enfocarse en los cambios de probabilidad en los puntos de decisión, superando la imitación directa de trayectorias.
• Marco Adaptativo: Propone una dinámica de entrenamiento donde la fuerza de la destilación escala automáticamente con la competencia del modelo, eliminando la necesidad de una programación de currículo manual.
• Escalabilidad Complementaria: Demuestra que los beneficios de la destilación de estrategia escalan con la capacidad del modelo base, lo que sugiere que se requiere una competencia mínima de razonamiento para internalizar eficazmente la guía estratégica.

la 4. Resultados Experimentales

Los experimentos se realizaron en cuatro bancos de pruebas de razonamiento matemático (MATH500, AMC 23, OlympiadBench, AIME 24) utilizando dos familias de modelos: Qwen2.5 (1.5B y 7B) y Llama-3.2 (8B).

• Rendimiento: SGPO superó consistentemente a las bases fuertes, incluyendo SFT, RL on-policy (SFT+GRPO) y métodos de política híbrida (HPT, LUFFY).
  • En Qwen2.5-7B-Instruct, SGPO mejoró la puntuación promedio en 2.2 puntos sobre la base más fuerte (LUFFY) y en 9.9 puntos sobre el modelo base.
  • En Qwen2.5-1.5B-Instruct, la puntuación promedio mejoró en 6.7 puntos respecto al modelo base.
• Estudios de Ablación:
  • Eliminar la destilación de estrategia redujo el rendimiento, confirmando el valor de la transferencia a nivel de estrategia sobre el RL puro.
  • Eliminar el GRPO autónomo provocó un colapso de la entropía y un estancamiento del rendimiento, resaltando la necesidad de mantener la diversidad de exploración.
  • Eliminar las restricciones proximales causó la mayor caída de rendimiento (6.8 puntos), indicando su papel crítico en la estabilidad.
• Análisis:
  • Selectividad: La señal de forward-KL alcanzó su máximo en los pasos críticos de la estrategia (por ejemplo, determinar el mínimo común denominador) mientras permaneció baja para los tokens rutinarios, a diferencia de la pérdida monótonamente decreciente del SFT directo.
  • Escalabilidad: Las ganancias de SGPO fueron mayores para los modelos base más fuertes, lo que sugiere que la destilación de estrategia es complementaria a la competencia de razonamiento fundacional.

5. Significado y Reivindicaciones

El artículo afirma que transferir el conocimiento al nivel de la estrategia es una dirección más efectiva para la destilación de razonamiento que la imitación a nivel de trayectoria.

• Generalización: Al internalizar cómo razonar (estrategias) en lugar de qué responder (trayectorias), los modelos adquieren habilidades transferibles que generalizan mejor a problemas novedosos.
• Selectividad Inherente: El objetivo de forward-KL propuesto actúa como un mecanismo automático para identificar y amplificar los tokens críticos de la estrategia, eliminando la necesidad de anotación manual de los pasos de razonamiento.
• Eficiencia: El mecanismo de ponderación adaptativa asegura que los recursos computacionales se centren en las instancias donde la guía estratégica proporciona el mayor beneficio marginal, lo que conduce a una convergencia más rápida y techos de rendimiento más altos.

Los autores concluyen que, si bien la mejora de las capacidades de razonamiento conlleva riesgos potenciales, el enfoque específico en el razonamiento matemático presenta un riesgo directo mínimo, y el marco ofrece un camino robusto para mejorar el razonamiento de los LLM mediante la destilación de estrategias.