Resumen Técnico: MIXSD - Auto-Distilación Contextual Mixta para Inyección de Conocimiento

Enunciado del Problema

El Ajuste Fino Supervisado (SFT) es el enfoque estándar para inyectar nuevo conocimiento en Modelos de Lenguaje Grandes (LLMs). Sin embargo, este proceso induce frecuentemente un olvido catastrófico, donde el modelo se degrada en capacidades pre-entrenadas como el razonamiento, la seguimiento de instrucciones y el rendimiento en dominios generales.

Los autores argumentan que este olvido surge de una discrepancia de distribución entre los objetivos de supervisión y la distribución autoregresiva nativa del modelo. En las pipelines estándar, las secuencias objetivo son redactadas por humanos o sistemas externos, a menudo conteniendo frases, formatos o estructuras de razonamiento que se encuentran en las colas de baja probabilidad de la distribución del modelo base. Forzar al modelo a imitar estas secuencias de tokens de baja probabilidad token por token induce actualizaciones de parámetros a lo largo de direcciones sensibles, interrumpiendo comportamientos previamente aprendidos.

Metodología: MIXSD

Para abordar esto, el artículo propone MIXSD (Auto-Distilación Contextual Mixta), un método simple y sin maestro externo para la inyección de conocimiento alineada con la distribución. En lugar de entrenar sobre objetivos fijos redactados externamente, MIXSD construye la supervisión dinámicamente utilizando el propio modelo base.

Mecanismo Central

En cada paso de decodificación $t$, dado un prefijo autoregresivo compartido, MIXSD muestrea el token de supervisión a partir de una mezcla de dos distribuciones condicionales definidas por el modelo base $p_{\theta^*}$:

1. Condicional Experto: $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$, donde la entrada $x^+_i$ incluye el hecho inyectado (verdad fundamental) en el contexto. Esto genera tokens que expresan el hecho correcto en la forma superficial del modelo.
2. Condicional Ingenua: $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$, donde la entrada $x_i$ contiene únicamente el prompt original sin el conocimiento inyectado. Esto refleja el prior original del modelo.

El objetivo de supervisión $y^{mix}_{i,t}$ se muestrea como:
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{con probabilidad } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{con probabilidad } \lambda \end{cases}$$
donde $\lambda \in [0, 1]$ es una tasa de mezcla. El modelo se actualiza luego utilizando la pérdida estándar de Negativo Log-Likelihood (NLL) sobre estos objetivos mixtos.

Decisiones Clave de Diseño

• Sin Maestro Externo: A diferencia de la distilación de conocimiento tradicional, MIXSD no requiere un modelo maestro más fuerte, evitando el costo computacional de generar múltiples trayectorias por consulta (como se observa en las líneas base de Auto-Distilación On-Policy).
• Alineación de Distribución: Al mezclar tokens ingenuos, los objetivos de supervisión permanecen sustancialmente más cerca de la distribución nativa del modelo base, reduciendo el NLL de los objetivos de entrenamiento bajo el modelo base.
• Hiperparámetro $\lambda$: Controla la compensación. Un $\lambda$ bajo enfatiza la señal experta (memorización), mientras que un $\lambda$ alto ancla el modelo a su prior (retención).

Configuración Experimental

Los autores evaluaron MIXSD en múltiples escalas de modelo (Qwen3-1.7B, 4B y 8B) y dos corpus sintéticos diseñados para aislar tipos específicos de conocimiento:

• KGFACT: Un corpus de conocimiento factual derivado de un grafo de mundo simulado con entidades nuevas para probar el recuerdo y la recuperación factual.
• KGFUNC: Un conjunto de datos para la adquisición de funciones aritméticas, que requiere que el modelo infiera reglas a partir de operaciones a nivel de dígitos.
• Benchmarks: La evaluación incluyó benchmarks generales de dominio retenidos (AIME, MATH, GSM8K, HumanEval, MMLU) para medir el olvido, junto con la precisión de entrenamiento en el dominio.

Resultados Clave

1. Mejora en la Compensación Memorización-Retención: En todos los conjuntos de datos y escalas de modelo, MIXSD superó consistentemente a las líneas base de SFT estándar y Auto-Distilación On-Policy (OPSD).
   • El SFT estándar logró una precisión de entrenamiento casi perfecta pero retuvo tan poco como el 1% de las capacidades retenidas del modelo base.
   • MIXSD (con $\lambda=0.3$ o $0.5$) mantuvo una precisión de entrenamiento casi perfecta mientras retenía hasta el 100% de la capacidad retenida del modelo base (por ejemplo, en Qwen3-4B, MIXSD retuvo ~77% de las capacidades generales frente a ~43% para SFT).
2. Alineación de Distribución: Los objetivos de supervisión de MIXSD exhibieron un NLL por token significativamente menor bajo el modelo base en comparación con los objetivos de SFT. Los tokens de alto NLL (que indican baja probabilidad bajo el modelo base) constituían el 27–42% de los objetivos de SFT pero solo el 4–8% para MIXSD en $\lambda=0.3$.
3. Análisis del Modo de Error: El SFT causó cambios cualitativos en el comportamiento de generación, llevando a "fugas" (generar entidades ficticias no relacionadas con el prompt) y "colapso" (respuestas cortas y estilo plantilla sin razonamiento). MIXSD preservó en gran medida el perfil de error original del modelo base, siendo la mayoría de los errores intentos de razonamiento "genuinos" en lugar de fallos patológicos.
4. Dirección de Actualización de Parámetros: El artículo introduce una métrica de desplazamiento de parámetros ponderado por Fisher. Los resultados muestran que la dirección de las actualizaciones de parámetros (alineación con direcciones Fisher sensibles) se correlaciona fuertemente con el olvido ($r \approx 0.56-0.82$), mientras que la magnitud de las actualizaciones no lo hace ($r \approx 0.02-0.34$). MIXSD reduce la alineación con estas direcciones sensibles en comparación con el SFT.

Significado y Afirmaciones

El artículo afirma que alinear la supervisión con la distribución de generación nativa del modelo es un principio simple y efectivo para la inyección de conocimiento que mitiga el olvido catastrófico.

• Perspectiva Teórica: El trabajo sugiere que el olvido catastrófico es impulsado menos por la magnitud de los cambios en los parámetros y más por las actualizaciones a lo largo de direcciones sensibles inducidas por una supervisión con discrepancia de distribución.
• Utilidad Práctica: MIXSD ofrece un reemplazo "plug-and-play" para los objetivos estándar de SFT que no requiere un maestro externo y tiene una sobrecarga computacional mínima adicional (solo un costo de preprocesamiento único para generar trayectorias mixtas).
• Generalizabilidad: Se observaron beneficios en diferentes familias de modelos (Qwen y Llama) y configuraciones, incluyendo la edición de conocimiento (sobrescribir hechos existentes) y la adquisición de funciones aritméticas nuevas.

Los autores concluyen que, mientras el SFT fuerza a los modelos a imitar trayectorias externas de baja probabilidad, MIXSD preserva la señal de aprendizaje factual mientras mantiene la trayectoria de supervisión dentro de las regiones de alta probabilidad del modelo, estabilizando así las capacidades pre-entrenadas.