Resumen Técnico: InfoSFT

Enunciado del Problema

El Ajuste Fino Supervisado (SFT) es el enfoque estándar para enseñar a los Modelos de Lenguaje Grandes (LLM) nuevos comportamientos utilizando demostraciones de expertos fuera de línea. Sin embargo, el SFT estándar adolece de dos limitaciones críticas:

1. Generalización Débil en Tiempo de Prueba: El SFT estándar ajusta uniformemente todas las muestras, incluidas aquellas con baja probabilidad bajo el modelo base. Estos tokens de baja probabilidad incurren en grandes pérdidas de log-verosimilitud negativa, obligando al modelo a sobreajustarse a muestras específicas en lugar de aprender el comportamiento objetivo subyacente. En consecuencia, el SFT a menudo tiene un rendimiento inferior en comparación con los métodos en política (como RL) en los benchmarks de generalización.
2. Olvido Catastrófico: Adaptarse a nuevos comportamientos utilizando datos fuera de línea de baja probabilidad induce cambios sustanciales en la distribución de salida del modelo. Este gran cambio distribucional se correlaciona con la degradación de capacidades previas (por ejemplo, seguridad, seguimiento de instrucciones o razonamiento general), un fenómeno conocido como olvido catastrófico.

Las estrategias de mitigación existentes, como filtrar o reducir el peso de los datos de baja probabilidad, a menudo suprimen los propios comportamientos novedosos que el modelo base necesita aprender, creando una compensación entre aprender nuevas tareas y retener las antiguas.

Metodología: InfoSFT

Los autores proponen InfoSFT, un esquema de ponderación de tokens principista diseñado para concentrar las señales de aprendizaje en "tokens de confianza media, máximamente informativos". El método se deriva de un marco de actualización proximal, optimizando la compensación entre ajustar la distribución del experto y mantenerse cerca del modelo base bajo un presupuesto fijo de divergencia KL.

Derivación Teórica

Los autores enmarcan el SFT como un problema de gradiente de política donde la ponderación de una muestra depende de su probabilidad $q = \pi_\theta(y^*|x)$ bajo el modelo actual.

• SFT Estándar asigna un peso uniforme ($w=1$), tratando efectivamente todos los tokens por igual.
• DFT (SFT Ponderado por Probabilidad) asigna pesos proporcionales a la probabilidad ($w \propto q$), lo que estabiliza el entrenamiento pero subestima las muestras informativas de baja probabilidad.
• InfoSFT deriva una regla de ponderación óptima que prioriza ajustar la distribución poblacional de los datos del experto en lugar de memorizar muestras individuales. El peso óptimo para un token con probabilidad $q$ se deriva como:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  Donde:
  • $p$ es una estimación de la confianza promedio del experto (una constante de calibración).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ denota recorte para asegurar pesos no negativos.

Características Clave

• Enfoque en Confianza Media: La función de ponderación alcanza su máximo para tokens con confianza intermedia. Asigna pesos altos a tokens que son poco probables bajo el modelo base (y por tanto informativos) pero no tan improbables que causen inestabilidad.
• Peso Desvanecido para Extremos:
  • Para tokens altamente confiables ($q \to 1$), el término de corrección se desvanece, evitando el refuerzo innecesario de tokens que el modelo ya predice bien.
  • Para tokens extremadamente improbables ($q \to 0$), el peso se desvanece, previniendo la inestabilidad.
• Implementación: InfoSFT requiere únicamente una modificación de una línea en la función de pérdida token a token estándar. Reemplaza el peso uniforme con el factor de ponderación derivado.

Contribuciones Clave

1. Actualización Óptima bajo Presupuesto KL: El artículo demuestra teóricamente que, cuando se restringe a mantenerse cerca del modelo base (presupuesto KL fijo), la estrategia de actualización óptima asigna los pesos más altos a muestras con confianza intermedia, en lugar de pesos uniformes o proporcionales a la probabilidad.
2. Algoritmo InfoSFT: Una variante SFT simple y novedosa que incorpora esta regla de ponderación. Enfatiza los tokens informativos de baja probabilidad mientras otorga poco peso a los tokens ya resueltos.
3. Complementariedad con SFT: Los autores muestran que InfoSFT y el SFT estándar son complementarios. El SFT es efectivo para introducir formatos muy improbables (por ejemplo, nuevas etiquetas de razonamiento como <thought>), mientras que InfoSFT es superior para refinar el modelo una vez que esos formatos se vuelven más probables.

Resultados Experimentales

Los autores evaluaron InfoSFT en tareas de matemáticas, código y razonamiento de Cadena de Pensamiento (CoT) utilizando diversas familias de modelos (Qwen-2.5, Llama-3.1) y tamaños.

• Rendimiento de Generalización: InfoSFT superó consistentemente tanto al SFT vanilla como al DFT en los benchmarks de tiempo de prueba (MATH500, AMC, HumanEval, MultiPL-E). Notablemente, logró puntuaciones pass@8 más altas, indicando una mejor diversidad y robustez en la generación de soluciones correctas entre múltiples muestras.
• Olvido Catastrófico: En experimentos que miden la compensación entre la precisión en nuevas tareas y las capacidades previas (Preguntas y Respuestas de Ciencias y Uso de Herramientas), InfoSFT alcanzó una frontera de Pareto superior. Alcanzó una mayor precisión en nuevas tareas que el SFT y el DFT mientras preservaba las capacidades previas (por ejemplo, HumanEval, IFEval) de manera más efectiva.
• Control de Entropía: A diferencia del DFT, que a menudo conduce al colapso de la entropía (salidas deterministas), InfoSFT mantiene una entropía de salida más alta, lo cual es crucial para la alineación aguas abajo y la inferencia basada en muestreo.
• Razonamiento CoT: En el ajuste fino de CoT, un enfoque de dos etapas (1 época de SFT seguido de 1 época de InfoSFT) produjo los mejores resultados en AIME, aprovechando el SFT para aprender el formato y el InfoSFT para refinar el razonamiento.

Significado y Afirmaciones

El artículo afirma que la ponderación de tokens es un ingrediente clave para el entrenamiento posterior supervisado confiable. Al ir más allá del ajuste uniforme o la ponderación simple por probabilidad, InfoSFT aborda la tensión fundamental entre aprender nuevos comportamientos a partir de datos fuera de línea y preservar las capacidades preexistentes. El método ofrece una solución principista y de bajo costo que mejora la generalización y mitiga el olvido catastrófico sin requerir filtrado complejo de datos ni muestreo en política. Los autores posicionan a InfoSFT como una alternativa robusta que cierra la brecha entre la estabilidad del SFT y los beneficios de generalización de los métodos en política.