Resumen Técnico: Una Lente Unificadora sobre el Ajuste Fino Supervisado mediante el Diseño de la Distribución Objetivo

Planteamiento del Problema

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) es una etapa crítica para adaptar los Modelos de Lenguaje de Gran Escala (LLMs) a tareas específicas mediante la imitación de demostraciones de expertos. Sin embargo, el SFT estándar depende de una distribución objetivo one-hot rígida, donde el modelo es entrenado para maximizar la probabilidad del token observado $y_t$ mientras asigna una probabilidad de cero a todos los demás tokens.

Los autores argumentan que esta formulación es subóptima por varias razones:

1. No Unicidad: En conjuntos de datos realistas, un solo prompt suele admitir múltiples rutas de razonamiento, redacciones o pasos intermedios válidos. Un único token observado rara vez es la única continuación correcta.
2. Ruido y Desalineación: Los tokens observados pueden ser ruidosos o estar desalineados con el rico conocimiento previo (prior) codificado en el modelo preentrenado.
3. Exceso de Confianza: El ajuste estricto a un objetivo one-hot puede amplificar el ruido, inducir exceso de confianza, interferir con el prior preentrenado y degradar la generalización.

Trabajos existentes intentan mitigar estos problemas mediante el reponderado a nivel de token (por ejemplo, DFT, ProFit) o la regularización de la distribución (por ejemplo, suavizado de etiquetas, restricciones KL). Sin embargo, estos métodos suelen presentarse como elecciones algorítmicas dispares, careciendo de un marco teórico unificado que explique sus conexiones o guíe la construcción de mejores objetivos.

Metodología: El Marco de Trabajo Q-Target

El artículo reinterpreta el SFT no como un problema de minimización de pérdida, sino como un problema de diseño de la distribución objetivo. La idea central es que cualquier función de pérdida a nivel de token impulsa implícitamente al modelo a coincidir con una distribución objetivo $Q_t$ específica.

La Formulación Q-Target

Los autores proponen el marco de trabajo Q-target, que descompone la supervisión del entrenamiento en dos elecciones de diseño explícitas:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Donde:

• $\delta_{y_t}$ es la distribución one-hot del token observado.
• $\gamma_t \in [0, 1]$ representa la confianza en el token observado. Controla cuánta masa de probabilidad se asigna a la etiqueta.
• $\tilde{\pi}_t$ es la distribución residual sobre las alternativas plausibles, que recibe la masa de probabilidad restante $(1 - \gamma_t)$.

Este marco unifica las variantes existentes de SFT:

• Variantes de Pesado de Tokens (ej., DFT, ProFit): Ajustan principalmente $\gamma_t$ basándose en la confianza del modelo o la calidad del token, pero establecen implícitamente el residual $\tilde{\pi}_t$ como el propio prior del modelo (auto-coincidencia), lo que no proporciona ninguna señal correctiva para las alternativas.
• Variantes Distribucionales (ej., Suavizado de Etiquetas, Restricciones KL): Especifican principalmente $\tilde{\pi}_t$ (ej., uniforme, modelo de referencia) pero a menudo utilizan un $\gamma_t$ fijo.

TARGET-SFT: Una Instanciación Concreta

Basándose en este marco, los autores proponen TARGET-SFT, que diseña explícitamente ambos componentes del Q-target:

1. Confianza Adaptativa ($\gamma_t$): En lugar de pesos fijos, $\gamma_t$ se deriva de la propia probabilidad predictiva del modelo $p_y = \pi_\theta(y_t | x_t)$.

   • Si el modelo está seguro ($p_y \approx 1$), $\gamma_t \approx 1$, y el objetivo se aproxima al SFT estándar.
   • Si el modelo tiene incertidumbre ($p_y \approx 0$), $\gamma_t \approx 0$, debilitando la imitación estricta del token potencialmente ruidoso.
   • Esto está motivado por el modelado de la "confianza" en un token como una variable latente con una distribución Beta, donde la media posterior aproxima la probabilidad del modelo.

2. Residual Guiado por el Profesor ($\tilde{\pi}_t$): En lugar de dejar la masa residual al prior del estudiante (que no ofrece nueva información), TARGET-SFT la asigna a una distribución guiada por un profesor.

   • El residual se construye mediante el modelado de recompensa regularizado por KL: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, donde $\pi_T$ es una distribución del profesor (ej., un modelo ajustado por instrucciones) y $\eta$ controla la intensidad de la señal del profesor.
   • Esto permite que el modelo aprenda de las "alternativas plausibles" sugeridas por el profesor cuando el token observado es incierto, actuando como un mecanismo de supervisión de respaldo (fallback).

El objetivo final es la pérdida de entropía cruzada entre la distribución del modelo y la $Q_t^{TARGET}$ construida:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Contribuciones Clave

1. Perspectiva de Distribución Objetivo: El artículo introduce un cambio fundamental en la forma de ver el SFT, argumentando que la distribución objetivo inducida es el objeto principal de diseño, más que la función de pérdida en sí misma.
2. Marco de Trabajo Q-Target: Una lente unificadora que descompone los objetivos de SFT en dos elecciones explícitas: confianza en la etiqueta ($\gamma_t$) y asignación del residual ($\tilde{\pi}_t$). Este marco explica cómo las variantes existentes (reponderado, regularización, destilación) son elecciones implícitas dentro de este espacio.
3. Algoritmo TARGET-SFT: Un método concreto que equilibra adaptativamente la imitación de la etiqueta y la supervisión del residual guiado por el profesor. Evita el sobreajuste a etiquetas inciertas mientras aprovecha el conocimiento del profesor para guiar al modelo hacia alternativas plausibles.

Resultados Experimentales

Los autores evaluaron TARGET-SFT a través de 10 configuraciones de conjunto de datos-modelo, cubriendo razonamiento matemático (NuminaMath-CoT, OpenR1-15k) y razonamiento médico (m23k) con modelos que van desde 1.5B hasta 8B de parámetros (Qwen2.5, Qwen3, LLaMA).

• Desempeño: TARGET-SFT alcanzó consistentemente la mayor precisión Average@16 en todas las configuraciones, superando al SFT estándar, al SFT ponderado por probabilidad (p-loss) y a las líneas base de destilación de conocimiento.
• Razonamiento Matemático: El SFT estándar a menudo produjo ganancias modestas o incluso degradó el desempeño (ej., en Qwen3-1.7B) debido al ajuste one-hot rígido. TARGET-SFT mejoró significativamente respecto a p-loss, demostrando que el diseño explícito de la distribución residual es superior al mero debilitamiento de la etiqueta.
• Razonamiento Médico: Aunque el SFT estándar funcionó bien en algunos casos médicos (sugiriendo que la imitación estricta es válida en ocasiones), TARGET-SFT aun así logró el mejor desempeño promedio. Esto indica que la rama del residual guiado por el profesor aporta valor incluso cuando el reponderado simple es menos efectivo.
• Estudios de Ablación:
  • Variar la intensidad de la señal del profesor ($\eta$) mostró que el pesado adaptativo es robusto ante diferentes intensidades.
  • Reemplazar el peso adaptativo $(1-\gamma_t)$ con una constante fija $c$ degradó el desempeño, confirmando la necesidad de un pesado dependiente de la incertidumbre.
  • Las líneas base de destilación fueron altamente sensibles al peso de mezcla $c$ y no lograron igualar el desempeño de TARGET-SFT, lo que sugiere que usar un profesor como un objetivo completo y fijo es subóptimo comparado con la supervisión de respaldo adaptativa.

Significado y Afirmaciones

El artículo afirma que su formulación revela un principio de diseño más fundamental para el entrenamiento SFT. Al desplazar el enfoque de la función de pérdida hacia la distribución objetivo inducida, los autores:

• Unifican las disparidades de las variantes de SFT bajo un único marco teórico.
• Exponen un espacio de búsqueda más amplio para los objetivos de SFT, permitiendo un control explícito sobre cuánto imitar los datos frente a preservar los priors o incorporar guía externa.
• Demuestran que un SFT efectivo surge del diseño cuidadoso tanto de la fuerza de imitación como de la asignación de la masa de probabilidad restante, en lugar de depender de objetivos one-hot rígidos o regularización estática.

Los autores concluyen que TARGET-SFT ofrece una perspectiva novedosa y más completa sobre el SFT, abriendo nuevas vías para el diseño de objetivos futuros que equilibren mejor la imitación de datos, la preservación del prior y la supervisión alternativa.