Resumen Técnico: LP-SFT (Ajuste Fino Supervisado de Preservación Local)

1. Planteamiento del Problema

El Ajuste Fino Supervisado (SFT, por sus siglas en inglés) es el paradigma estándar para adaptar los modelos de lenguaje preentrenados (PLM) a tareas específicas. Sin embargo, el SFT estándar, que se basa en la pérdida de entropía cruzada (CE) a nivel de token, a menudo induce una degradación de capacidades en dos dimensiones:

1. Olvido Catastrófico: La especialización excesiva en la distribución de ajuste fino conduce a la pérdida de capacidades fuera del dominio.
2. Reducción de la Diversidad de Generación: El modelo suprime soluciones alternativas válidas, colapsando la distribución hacia un único token y reduciendo la diversidad accesible mediante muestreo (medida por pass@k).

Los autores argumentan que esta degradación proviene de un desajuste entre el objetivo de CE y el rico conocimiento distributivo codificado en los PLM. Los PLM aprenden capacidades amplias que resultan en distribuciones de siguiente token con una información sustancial más allá del único token objetivo observado; la CE estándar ignora la estructura de preferencia restante. La supresión repetida de alternativas plausibles durante el ajuste fino distorsiona la integridad estructural preentrenada.

2. Observaciones Clave: Estructura de Entropía Multimodal

Antes de proponer una solución, los autores analizan la estructura de entropía de las predicciones del siguiente token en los modelos base.

• Picos de Entropía Multimodales: Utilizando las entropías de Shannon ($H_1$) y Rényi-2 ($H_2$), los autores observan que la distribución de la entropía exhibe picos multimodales distintivos cerca de $\ln k$ para enteros $k$.
• Estados de Meseta-k (Plateau-k): Estos picos corresponden a "estados de entropía comprimida" donde la incertidumbre se distribuye sobre $k$ candidatos de siguiente token similares y plausibles.
  • Mesetas de bajo orden ($k=1\text{--}5$): A menudo corresponden a ramificaciones lógicas o semánticas donde existen múltiples continuaciones válidas.
  • Mesetas de alto orden ($k \approx 10$): A menudo corresponden a ambigüedades estructurales (por ejemplo, dígitos aleatorios, IDs) donde el modelo distribuye la probabilidad a través de un conjunto de caracteres.
• Implicación: El modelo base codifica intrínsecamente un rico conocimiento distributivo. La CE estándar trata todos los tokens de manera uniforme, distorsionando innecesariamente esta estructura heterogénea al forzar al modelo a ignorar estas alternativas estructuradas.

3. Metodología: LP-SFT

Para abordar esto, los autores proponen LP-SFT (Ajuste Fino Supervisado de Preservación Local). El método utiliza el modelo base congelado como una referencia estructural local para preservar las preferencias relativas entre las alternativas no objetivo sin entrar en conflicto con la señal de aprendizaje supervisado.

Componentes Principales

1. Conjunto de Preservación de Top-K Local:

   • En cada posición de token $t$, el método construye un conjunto de candidatos $S_t$ a partir de los top-$K_{max}$ tokens de la distribución del modelo base congelado ($q_t$).
   • Por defecto, $K_{max} = 10$, elegido para cubrir tanto la ramificación de bajo orden como la prominente meseta de alto orden observada en el análisis.

2. Eliminación del Token Objetivo:

   • Para evitar conflictos con el objetivo primario de entropía cruzada (que optimiza el token objetivo supervisado $y_t$), $y_t$ es explícitamente eliminado del conjunto de preservación.
   • El conjunto de preservación se convierte en $A_t = S_t \setminus \{y_t\}$.

3. Normalización KL Local:

   • En lugar de aplicar una divergencia KL global sobre todo el vocabulario (lo cual puede ser computacionalmente costoso y excesivamente restrictivo), LP-SFT aplica una divergencia KL localmente normalizada sobre el conjunto $A_t$.
   • Las probabilidades del modelo base ($q_t$) y del modelo entrenable ($p_t$) se normalizan solo dentro de $A_t$ para obtener $\hat{q}_t$ y $\hat{p}_t$.
   • La pérdida se define como: $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$.
   • Razón: Esto preserva la estructura de preferencia relativa entre las alternativas no objetivo restantes sin restringir artificialmente su masa de probabilidad absoluta o la masa total asignada al conjunto.

Objetivo de Entrenamiento

El objetivo final combina la pérdida de entropía cruzada estándar para el token objetivo y la pérdida de preservación local:
$$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$$
donde $\mu$ controla la fuerza de preservación.

Eficiencia de Implementación

A diferencia de los métodos que requieren una pasada hacia adelante (forward pass) del modelo base en cada paso de entrenamiento, LP-SFT emplea una implementación de dos etapas:

1. Precomputación Offline: El modelo base procesa todo el conjunto de datos de entrenamiento una vez para cachear los logits top-$K_{max}$.
2. Ajuste Fino: El bucle de entrenamiento solo requiere la pasada hacia adelante del modelo entrenable, utilizando los logits cacheados para calcular la pérdida de preservación local. Esto reduce significativamente la carga computacional en comparación con los métodos de anclaje de vocabulario completo.

4. Resultados Experimentales

Los autores evaluaron LP-SFT en tres familias de modelos (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) en entornos de dominio mixto y de dominio único (Matemáticas, Código, Instrucción General).

• Rendimiento vs. SFT Vanilla: LP-SFT supera consistentemente a la CE estándar y a las líneas base recientes de mejora de SFT (DFT, EAFT, GEM, ASFT) en términos de rendimiento promedio general.
• Intercambio (Trade-off) Pass@1 vs. Pass@k:
  • La CE estándar a menudo mejora el pass@1 (precisión de muestra única) a costa del pass@k (diversidad).
  • Métodos como DFT mejoran el pass@1 pero causan caídas significativas en el pass@k.
  • LP-SFT logra el mejor equilibrio: Mejora el pass@1 mientras mantiene o mejora el pass@k, lo que indica que retiene la diversidad accesible mediante muestreo sin sacrificar la precisión.
• Olvido Catastrófico: En el ajuste fino de dominio mixto, LP-SFT mitiga significativamente la degradación de capacidades. Por ejemplo, en el benchmark MMLU, LP-SFT mantuvo un rendimiento casi igual al del modelo base congelado, mientras que la CE estándar sufrió caídas severas.
• Estudios de Ablación: El método es relativamente insensible al hiperparámetro $\mu$. Se encontró que tanto la eliminación del token objetivo como la normalización KL local son críticos para la estabilidad y el rendimiento.

5. Significado y Reivindicaciones

El artículo afirma que LP-SFT ofrece un enfoque novedoso para el ajuste fino supervisado al proteger explícitamente la estructura de entropía inherente de los modelos preentrenados.

• Mecanismo: Al desacoplar el aprendizaje del token objetivo de la preservación de las preferencias estructurales locales, LP-SFT evita la "sobrescritura" de la incertidumbre estructurada del modelo base.
• Resultado: Este enfoque ayuda a mitigar el olvido catastrófico y preserva la diversidad de generación (soluciones accesibles mediante muestreo) mientras mantiene o mejora la precisión de muestra única.
• Eficiencia: El método proporciona estos beneficios con una carga computacional modesta en comparación con las técnicas de anclaje de vocabulario completo, lo que lo convierte en una alternativa práctica para preservar las capacidades preentrenadas durante la adaptación de dominio.

Los autores concluyen que la preservación local es una estrategia efectiva para equilibrar la adaptación de dominio con la retención de capacidades generales, sugiriendo que el rico conocimiento distributivo aprendido durante el preentrenamiento debe preservarse en lugar de descartarse durante el ajuste fino.