Resumen Técnico: Ajuste de Referencia Selectiva Fuera de Política con Guía de Planificación (SORT)

1. Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), particularmente la Optimización de Políticas Relativas por Grupos (GRPO), ha mejorado el razonamiento en modelos de lenguaje al reforzar soluciones muestreadas que producen resultados positivos. Sin embargo, GRPO enfrenta un modo de fallo crítico en "prompts difíciles" donde cada trayectoria muestreada es incorrecta. En estos escenarios, la ventaja relativa por grupo colapsa a cero porque no hay varianza en las recompensas (todas son cero), lo que hace que el prompt sea invisible para la actualización del gradiente de la política.

Estos prompts con recompensa cero son a menudo las señales de entrenamiento más informativas, ya que vienen acompañados de soluciones de referencia verificadas que contienen la estructura de razonamiento faltante. No obstante, los enfoques estándar para utilizar estas referencias —como el Ajuste Fino Supervisado (SFT) uniforme o la imitación de trayectorias completas— fallan porque mezclan decisiones de razonamiento fundamentales con álgebra rutinaria, formato y redacción superficial. Esta imitación uniforme puede provocar un colapso de la política o verbosidad sin mejorar la precisión del razonamiento. Los métodos de guía existentes a menudo alteran la distribución de las trayectorias o dependen de docentes externos, lo que introduce complejidad o desplazamientos distribucionales.

2. Metodología: SORT

Los autores proponen el Ajuste de Referencia Selectiva Fuera de Política con Guía de Planificación (SORT), un mecanismo de reparación auxiliar diseñado específicamente para grupos GRPO con recompensa cero. SORT opera sin modificar el proceso principal de generación de trayectorias de GRPO.

Mecanismo Central

1. Almacenamiento en Buffer y Diferimiento: Cuando un prompt produce únicamente trayectorias incorrectas (grupo con recompensa cero), no se descarta. En su lugar, el prompt y su solución de referencia verificada se almacenan en un buffer.
2. Extracción del Plan: Para cada ejemplo almacenado en el buffer, el modelo actual extrae un "plan de razonamiento" de la solución de referencia. Este plan es un esquema ordenado de decisiones clave de razonamiento (por ejemplo, lemas, divisiones de casos, propagación de restricciones), pero no se utiliza como secuencia objetivo para la generación.
3. Evaluación Dual (Contexto Diagnóstico): El modelo evalúa los tokens de referencia dos veces bajo la misma política:
   • Condición Base: La probabilidad del token se calcula considerando únicamente el prompt del problema.
   • Condición Condicionada al Plan (Docente): La probabilidad del token se calcula considerando el prompt del problema más el plan de razonamiento extraído.
4. Puntuación de Saliencia de Tokens: El método calcula la relación logarítmica entre la probabilidad condicionada al plan y la probabilidad base. Los tokens cuya probabilidad aumenta significativamente bajo el condicionamiento del plan se identifican como "estructuralmente informativos" (es decir, representan pasos de razonamiento que el modelo pasó por alto pero que puede aprender si la estructura es explícita). Los tokens rutinarios (álgebra, formato) muestran poco cambio.
5. Ponderación Geométrica: SORT construye una pérdida auxiliar utilizando un peso de media geométrica:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   Este peso combina la estabilidad del soporte del modelo base (proveniente del Ajuste Fino Dinámico, DFT) con la selectividad del docente condicionado al plan. Los tokens que se vuelven más predecibles con el plan se ponderan hacia arriba; aquellos que no lo son se ponderan hacia abajo o se dejan sin cambios.

Garantías Teóricas

Los autores formalizan SORT utilizando un modelo de plan de verdad fundamental. Demuestran que, a medida que el plan extraído se aproxima al plan de razonamiento verdadero, el peso de SORT converge a un peso "oráculo" que enfatiza exactamente los tokens estructuralmente críticos. Se demuestra que el límite de arrepentimiento es proporcional al error de extracción del plan ($\gamma$) y a la probabilidad base, asegurando que el método degrade graciosamente a un comportamiento similar al DFT si la extracción del plan es deficiente.

3. Contribuciones Clave

• Identificación de Fallos de Ventaja Cero: El artículo identifica los prompts con recompensa cero como un cuello de botella específico en GRPO donde la ventaja por grupo es cero, e introduce SORT para repararlos sin alterar la generación de trayectorias.
• Condicionamiento de Plan con el Mismo Modelo: A diferencia de los métodos que inyectan trazas fuera de política de modelos más fuertes o utilizan docentes externos, SORT utiliza el mismo modelo para extraer un plan y puntuar los tokens de referencia, evitando dependencias externas.
• Ponderación de Tokens con Media Geométrica: Un esquema de ponderación novedoso que integra la conciencia del soporte estilo DFT con la selectividad condicionada al plan, matemáticamente demostrado para aproximar la ponderación de tokens estructurales por oráculo.
• Validación Empírica: Experimentos exhaustivos que demuestran mejoras consistentes sobre GRPO estándar y líneas base basadas en guía a través de múltiples tamaños de modelo y puntos de referencia.

4. Resultados Experimentales

El método fue evaluado en tres bases de modelos ajustados a instrucciones (Llama-3.2-3B, Qwen2.5-7B y Qwen3-4B) a través de ocho puntos de referencia, incluyendo tareas matemáticas dentro de la distribución (AIME, AMC, MATH-500) y razonamiento fuera de la distribución (GPQA, MMLU-Pro).

• Mejoras de Rendimiento: SORT superó consistentemente a GRPO estándar y a otras líneas base (LUFFY, ReLIFT, Scaf-GRPO).
  • En el modelo más débil (Llama-3.2-3B), SORT mejoró el promedio dentro de la distribución del 17,8% al 23,9% y fuera de la distribución del 22,5% al 33,8%.
  • En modelos más fuertes, SORT proporcionó ganancias marginales pero consistentes, confirmando su utilidad incluso cuando los grupos con recompensa cero son menos frecuentes.
• Comparación con Líneas Base:
  • vs. SFT/ReLIFT: A diferencia de SFT o ReLIFT, que a menudo aumentaron la longitud de la respuesta y la verbosidad sin mejorar la precisión (especialmente en modelos más débiles), SORT mantuvo generaciones compactas mientras potenciaba el razonamiento.
  • vs. LUFFY: LUFFY, que mezcla trazas fuera de política más fuertes, mostró menos selectividad y a veces degradó el rendimiento en tareas fuera de la distribución.
• Dinámicas de Entrenamiento: SORT mejoró las puntuaciones de recompensa sin la expansión de longitud observada en otros métodos. Reparó eficazmente los prompts difíciles al dirigirse a tokens específicos de razonamiento en lugar de imitar trazas completas.

5. Significado y Afirmaciones

El artículo afirma que SORT aborda una limitación fundamental en RLVR: la incapacidad de aprender de los prompts más difíciles donde la exploración falla. Al tratar las referencias verificadas no como trayectorias a copiar, sino como evidencia de un plan de razonamiento, SORT convierte los fallos "todos incorrectos" en señales de aprendizaje estructuradas y selectivas a nivel de token.

Los autores enfatizan que SORT es una actualización auxiliar conservadora que preserva el proceso original de trayectorias de GRPO. No requiere docentes externos, trayectorias sintetizadas ni cambios en la distribución de inferencia. El método es particularmente significativo para modelos más débiles donde los grupos con recompensa cero son más frecuentes, ofreciendo una vía para mejorar las capacidades de razonamiento sin el costo computacional de generar trayectorias correctas para cada prompt. El enfoque se enmarca como una "forma selectiva de auto-distilación" que evita las trampas de enfatizar en exceso tokens fáciles y rutinarios, centrándose en cambio en los pasos de razonamiento inciertos y estructuralmente críticos.