🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

Este artículo presenta un nuevo método de post-entrenamiento para modelos de lenguaje grandes que mejora la Optimización de Política Relativa Grupal (GRPO) promediando los logits de una política de referencia SFT congelada y una política entrenable, eliminando así la necesidad de regularización KL o de un crítico, al tiempo que combina eficazmente las capacidades de razonamiento del RL con la estabilidad de formato del SFT.

Autores originales: Xingwei Gan, Ying Zhu

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xingwei Gan, Ying Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: Dos profesores, un estudiante

Imagina que estás entrenando un modelo de lenguaje grande (una IA) para resolver problemas de matemáticas. Tienes dos "profesores" distintos intentando enseñarle:

El profesor de formato (SFT): Este profesor es excelente enseñando a la IA cómo escribir respuestas ordenadamente, usar los símbolos correctos y seguir reglas estrictas (como encerrar la respuesta final en un recuadro). Sin embargo, este profesor a veces comete errores en la lógica matemática real.
El profesor de razonamiento (RL): Este profesor es un genio de las matemáticas que puede resolver ecuaciones complejas perfectamente. Pero, este profesor es desordenado; a menudo olvida encerrar la respuesta en un recuadro, salta pasos o escribe en un formato extraño que no coincide con lo que requiere el examen.

El problema:
Tradicionalmente, cuando intentas combinar estos dos, utilizas un método llamado "Regularización KL". Piensa en esto como una banda elástica que ata al profesor de razonamiento al profesor de formato. La banda elástica fuerza al profesor de razonamiento a mantenerse cerca del estilo del profesor de formato.

La trampa: Si el profesor de formato comete un error matemático, la banda elástica arrastra al profesor de razonamiento hacia ese mismo error. La IA se queda atrapada intentando ser "ordenada" pero falla en ser "inteligente".

La nueva solución: Promedio de logits
Los autores de este artículo proponen una nueva forma de combinar estos profesores. En lugar de atarlos juntos con una banda elástica, crean una Voz Mezclada.

Imagina que la IA es un coro. En lugar de forzar a los cantantes a mantenerse en un unísono perfecto (lo cual limita su rango), el nuevo método mezcla sus voces antes de que canten.

Si el profesor de formato dice: "Encierra la respuesta en un recuadro", y el profesor de razonamiento dice: "La respuesta es 5", la Voz Mezclada dice: "Encierra la respuesta en un recuadro: 5".
Si el profesor de formato comete un error matemático (diciendo que la respuesta es 6), pero el profesor de razonamiento sabe que es 5, la Voz Mezclada se inclina fuertemente hacia las matemáticas del profesor de razonamiento mientras mantiene la instrucción del profesor de formato de "encuadrarlo".

Cómo funciona (La magia de los "logits")

En términos de IA, la "voz" del modelo está compuesta por números llamados logits (que representan la probabilidad de que el modelo elija una palabra o número específico a continuación).

La mezcla: Los investigadores toman los números del profesor de formato y del profesor de razonamiento y los promedian matemáticamente.
El resultado: Esto crea una nueva "Política Mezclada" temporal.
El entrenamiento: La IA aprende practicando sobre esta Política Mezclada. Recibe una recompensa (puntos) si la respuesta final es correcta.
- Debido a que el profesor de formato es parte de la mezcla, la IA nunca olvida cómo escribir ordenadamente.
- Debido a que el profesor de razonamiento es parte de la mezcla, la IA tiene libertad para corregir los errores matemáticos del profesor de formato.

Por qué esto es mejor (El "Producto de Expertos")

El artículo utiliza un concepto llamado "Producto de Expertos". Piensa en ello como una decisión de comité:

Si el Experto A (Formato) está seguro sobre el estilo, y el Experto B (Razonamiento) está seguro sobre las matemáticas, la decisión final es fuerte en ambos aspectos.
Si el Experto A está equivocado sobre las matemáticas, la confianza del Experto B la supera, pero la confianza del Experto A sobre el estilo permanece.

El artículo encontró que este enfoque de "Voz Mezclada" funciona mejor que el antiguo método de "banda elástica". La IA aprendió a resolver problemas de matemáticas correctamente y mantuvo su formato ordenado, mientras que el método antiguo a menudo hacía que la IA olvidara cómo formatear correctamente o se quedara atrapada en los errores matemáticos del profesor de formato.

Los experimentos

Los investigadores probaron esto en tres "exámenes" diferentes (conjuntos de datos):

MATH: Problemas de matemáticas difíciles.
cn-k12: Matemáticas de secundaria/preparatoria chinas.
MMLU: Conocimiento general y razonamiento.

Lo probaron en tres tamaños diferentes de modelos de IA (pequeño, mediano y grande).

Los resultados:

En casi todos los casos, el nuevo método de "Voz Mezclada" obtuvo puntuaciones más altas que el método tradicional.
Fue especialmente bueno corrigiendo un problema específico: El método tradicional a menudo hacía que la IA "olvidara" cómo formatear respuestas a medida que aprendía a resolver matemáticas más difíciles. El nuevo método mantuvo las habilidades de formato intactas mientras mejoraba las habilidades matemáticas.

Un ejemplo concreto del artículo

El artículo da un ejemplo específico de un problema de geometría:

El profesor de formato (SFT): Configura correctamente la ecuación pero comete un error matemático, concluyendo que el radio es 6. Encierra la respuesta ordenadamente en un recuadro.
El profesor de razonamiento (RL): Calcula correctamente las matemáticas, encontrando que el radio es 5, pero olvida encerrar la respuesta en un recuadro o escribirla en el formato final.
La Voz Mezclada: Toma las matemáticas correctas (5) del profesor de razonamiento y la instrucción ordenada de encuadrar del profesor de formato. La salida final es un 5 ordenadamente encerrado en un recuadro.

Resumen

El artículo introduce una forma de entrenar modelos de IA que actúa como un equipo colaborativo en lugar de una jerarquía estricta. Al promediar matemáticamente los "pensamientos" (logits) de un profesor ordenado pero desordenado y un profesor inteligente pero desordenado, la IA aprende a ser tanto inteligente como ordenada, evitando las trampas de forzar a uno a seguir estrictamente al otro.

Resumen Técnico: Complementar el Aprendizaje por Refuerzo con Ajuste Fino Supervisado mediante Promedio de Logits

1. Planteamiento del Problema

La post-entrenación de Modelos de Lenguaje Grandes (LLM) depende típicamente de dos paradigmas: Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL) con recompensas verificables (RLVR). Mientras que SFT proporciona supervisión densa por token para aprender formato y estilo, está limitado por la distribución de las demostraciones de entrenamiento. Por el contrario, los métodos de RL como la Optimización de Política Próxima (PPO) y la Optimización de Política Relativa por Grupos (GRPO) pueden superar estos límites distribucionales, pero sufren de señales de recompensa dispersas y ruidosas.

El enfoque estándar combina estos métodos secuencialmente: primero se aplica SFT, seguido de RL con un término de regularización de Kullback-Leibler (KL), $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ , para anclar la política entrenable $\pi_\theta$ a la referencia de SFT $\pi_{\text{sft}}$ . Los autores identifican una tensión fundamental en esta receta "anclada por KL": la penalización KL arrastra a $\pi_\theta$ hacia $\pi_{\text{sft}}$ , potencialmente restringiendo la política a las limitaciones del punto de control de SFT (por ejemplo, errores algebraicos, bucles de repetición) y evitando que aproveche plenamente las capacidades de razonamiento desarrolladas durante el RL. Los practicantes a menudo mitigan esto eligiendo un $\beta$ pequeño, pero los autores proponen una alternativa estructural a la regularización.

2. Metodología

El artículo introduce un método que reemplaza la regularización KL con promedio de logits. En lugar de penalizar la divergencia, la política entrenable $\pi_\theta$ y una política de referencia congelada $\pi_{\text{ref}}$ (por ejemplo, SFT) se acoplan promediando sus logits para formar una política mixta $\pi^{\text{mix}}_{\theta, \alpha}$ .

Mecanismo Central:
Dado un peso $\alpha \in [0, 1]$ y un estado $s$ , los logits mixtos $z^{\text{mix}}_{\theta, \alpha}(s)$ se definen como:
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
La política mixta es entonces $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ .

Objetivo de Entrenamiento:
Los autores adaptan el objetivo de GRPO a esta política mixta:

Despliegues (Rollouts): Las trayectorias se muestrean desde la política mixta $\pi^{\text{mix}}_{\theta, \alpha}$ en lugar de la política entrenable pura $\pi_\theta$ .
Estimación de Ventaja: Las ventajas relativas al grupo se calculan basándose en las recompensas de estos despliegues mixtos.
Optimización: Los parámetros entrenables $\theta$ se actualizan para maximizar la recompensa bajo la política mixta. Los logits de referencia $z_{\text{ref}}$ permanecen congelados durante todo el proceso.
Esquemas de Ponderación:
1. Pesos Fijos: $\alpha$ se mantiene constante (por ejemplo, $\alpha=0.5$ ) durante todo el entrenamiento.
2. Pesos Adaptativos: $\alpha$ se actualiza dinámicamente basándose en un conjunto de validación retenido. La regla de actualización utiliza una métrica de "ganancia neta" que compara la corrección de la política pura versus la política mixta, empujando $\alpha$ hacia 1 si la mezcla produce una ganancia neta y hacia 0 en caso contrario.

Comparación con RLVR:
A diferencia de los métodos estándar de RLVR (PPO, GRPO, DAPO) que utilizan un crítico y regularización KL, este enfoque no tiene término KL ni crítico. La política de referencia participa en la exploración mediante el promedio de logits, y los ratios de importancia en la función de pérdida se calculan entre las políticas mixtas actual y antigua.

3. Contribuciones y Hallazgos Clave

Habilidades Complementarias (Patrón 1 y 2):
El análisis empírico en los conjuntos de datos MATH, cn-k12 y MMLU revela que SFT y la política entrenada con RL poseen habilidades complementarias:

SFT sobresale en el formato (adherirse a plantillas de salida) pero puede fallar en razonamiento complejo.
Política de RL ( $\pi_\theta$ ) sobresale en el razonamiento (derivar respuestas numéricas correctas) pero a menudo pierde la disciplina de formato.
Complementariedad: Una fracción significativa de problemas (22%–38%) se resuelven correctamente por exactamente una de las dos políticas. El promedio de logits actúa como un "Producto de Expertos", combinando la fortaleza de formato de SFT con la fortaleza de razonamiento de la política de RL.

Resultados de Rendimiento:
Evaluado en modelos Qwen2.5-Instruct (1.5B, 3B, 7B) en tres conjuntos de datos:

Precisión: El método de promedio de logits logra una precisión de respuesta igual o superior en comparación con GRPO regularizado con KL canónico en las nueve configuraciones (conjunto de datos $\times$ tamaño del modelo).
Ablación: Reemplazar el ancla de SFT con un modelo base Instruct resulta en un rendimiento significativamente menor, confirmando que las ganancias provienen de la mezcla con una referencia consciente del formato.
Promedio de Logits vs. Promedio de Probabilidades: El promedio de logits (media geométrica de distribuciones) supera al promedio de probabilidades (media aritmética). El promedio de logits logra tasas de resolución más altas con pesos de mezcla más pequeños y alcanza su punto máximo en $\alpha=0.5$ , mientras que el promedio de probabilidades requiere pesos más altos y alcanza su punto máximo en $\alpha=0.6$ .

Conexión Teórica:
El artículo establece que el promedio de logits es matemáticamente equivalente a un Producto de Expertos (POE). La política resultante minimiza una suma ponderada de divergencias KL hacia las políticas de RL y de referencia. Esta estructura permite que la política concentre la probabilidad en los tokens favorecidos por ambos expertos, corrigiendo efectivamente los errores algebraicos de SFT mientras retiene sus restricciones de formato.

4. Significado y Afirmaciones

Los autores afirman que este método ofrece una ventaja distinta sobre la receta estándar regularizada con KL al desacoplar el "ancla de formato" de la "restricción de gradiente".

Superar Limitaciones: Mientras que la regularización KL fuerza a $\pi_\theta$ a mantenerse cerca de $\pi_{\text{sft}}$ (potencialmente heredando sus fallas de razonamiento), el promedio de logits permite a $\pi_\theta$ superar las limitaciones de la referencia mientras mantiene las ventajas de formato a través del acoplamiento estructural de la política mixta.
Región de Confianza Implícita: La mezcla actúa como una región de confianza implícita, evitando la deriva distribucional alejada de los estilos de formato que a menudo afecta al RL puro a gran escala.
Priors Densos: A diferencia del RL, que propaga señales solo desde el token de recompensa final, el promedio de logits incorpora un prior denso a nivel de token desde el ancla de SFT en cada paso de decodificación.
Escalabilidad: El enfoque se extiende naturalmente a conjuntos de Modelos de Lenguaje Pequeños (SLM), permitiendo que un sistema aproveche expertos especializados (por ejemplo, para código, seguridad o terminología de dominio) sin el costo de entrenar una única política masiva.

El artículo concluye que el promedio de logits proporciona una alternativa robusta a la regularización KL, aprovechando exitosamente la complementariedad entre SFT y RL para mejorar la precisión del razonamiento sin sacrificar la calidad del formato.