Resumo Técnico: MIXSD - Auto-Distilação Contextual Mista para Injeção de Conhecimento

Declaração do Problema

O Ajuste Fino Supervisionado (SFT) é a abordagem padrão para injetar novos conhecimentos em Modelos de Linguagem de Grande Escala (LLMs). No entanto, esse processo frequentemente induz ao esquecimento catastrófico, onde o modelo degrada capacidades pré-treinadas, como raciocínio, seguimento de instruções e desempenho em domínios gerais.

Os autores argumentam que esse esquecimento decorre de um descompasso de distribuição entre os alvos de supervisão e a distribuição autoregressiva nativa do modelo. Em pipelines padrão, as sequências-alvo são autoradas por humanos ou sistemas externos, contendo frequentemente formulações, formatações ou estruturas de raciocínio que residem nas caudas de baixa probabilidade da distribuição do modelo base. Forçar o modelo a imitar essas sequências de tokens de baixa probabilidade token por token induz atualizações de parâmetros ao longo de direções sensíveis, perturbando comportamentos previamente aprendidos.

Metodologia: MIXSD

Para abordar isso, o artigo propõe o MIXSD (Auto-Distilação Contextual Mista), um método simples, sem professor externo, para injeção de conhecimento alinhada à distribuição. Em vez de treinar em alvos fixos e autorados externamente, o MIXSD constrói a supervisão dinamicamente usando o próprio modelo base.

Mecanismo Central

Em cada passo de decodificação $t$, dado um prefixo autoregressivo compartilhado, o MIXSD amostra o token de supervisão a partir de uma mistura de duas distribuições condicionais definidas pelo modelo base $p_{\theta^*}$:

1. Condicional Especialista: $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$, onde a entrada $x^+_i$ inclui o fato injetado (verdade fundamental) no contexto. Isso gera tokens expressando o fato correto na própria forma superficial do modelo.
2. Condicional Ingênua: $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$, onde a entrada $x_i$ contém apenas o prompt original sem o conhecimento injetado. Isso reflete o prior original do modelo.

O alvo de supervisão $y^{mix}_{i,t}$ é amostrado como:
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{com probabilidade } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{com probabilidade } \lambda \end{cases}$$
onde $\lambda \in [0, 1]$ é uma taxa de mistura. O modelo é então atualizado usando a perda padrão de Negativa Log-Verossimilhança (NLL) sobre esses alvos mistos.

Escolhas de Design Chave

• Sem Professor Externo: Ao contrário da distilação de conhecimento tradicional, o MIXSD não requer um modelo professor mais forte, evitando o custo computacional de gerar múltiplos rollouts por consulta (como visto nas linhas de base de Auto-Distilação On-Policy).
• Alinhamento de Distribuição: Ao misturar tokens ingênuos, os alvos de supervisão permanecem substancialmente mais próximos da distribuição nativa do modelo base, reduzindo a NLL dos alvos de treinamento sob o modelo base.
• Hiperparâmetro $\lambda$: Controla o compromisso. Um $\lambda$ menor enfatiza o sinal especialista (memorização), enquanto um $\lambda$ maior ancora o modelo ao seu prior (retenção).

Configuração Experimental

Os autores avaliaram o MIXSD em múltiplas escalas de modelo (Qwen3-1.7B, 4B e 8B) e dois corpora sintéticos projetados para isolar tipos específicos de conhecimento:

• KGFACT: Um corpus de conhecimento factual derivado de um grafo de mundo simulado com entidades novas para testar a recordação e recuperação factuais.
• KGFUNC: Um conjunto de dados para aquisição de funções aritméticas, exigindo que o modelo infira regras a partir de operações ao nível de dígitos.
• Benchmarks: A avaliação incluiu benchmarks de domínio geral retidos (AIME, MATH, GSM8K, HumanEval, MMLU) para medir o esquecimento, juntamente com a precisão de treinamento no domínio.

Resultados Chave

1. Compromisso Melhorado entre Memorização e Retenção: Em todos os conjuntos de dados e escalas de modelo, o MIXSD superou consistentemente as linhas de base SFT padrão e Auto-Distilação On-Policy (OPSD).
   • O SFT padrão alcançou precisão de treinamento quase perfeita, mas reteve tão pouco quanto 1% das capacidades retidas do modelo base.
   • O MIXSD (com $\lambda=0.3$ ou $0.5$) manteve precisão de treinamento quase perfeita enquanto retinha até 100% da capacidade retida do modelo base (por exemplo, no Qwen3-4B, o MIXSD reteve ~77% das capacidades gerais versus ~43% para o SFT).
2. Alinhamento de Distribuição: Os alvos de supervisão do MIXSD exibiram NLL por token significativamente menor sob o modelo base em comparação com os alvos do SFT. Tokens de alta NLL (indicando baixa probabilidade sob o modelo base) constituíram 27–42% dos alvos do SFT, mas apenas 4–8% para o MIXSD em $\lambda=0.3$.
3. Análise do Modo de Erro: O SFT causou mudanças qualitativas no comportamento de geração, levando a "vazamento" (geração de entidades fictícias não relacionadas ao prompt) e "colapso" (respostas curtas, em estilo de modelo, sem raciocínio). O MIXSD preservou amplamente o perfil de erro original do modelo base, com a maioria dos erros sendo tentativas de raciocínio "genuínas" em vez de falhas patológicas.
4. Direção de Atualização de Parâmetros: O artigo introduz uma métrica de deslocamento de parâmetros ponderado por Fisher. Os resultados mostram que a direção das atualizações de parâmetros (alinhamento com direções Fisher sensíveis) correlaciona-se fortemente com o esquecimento ($r \approx 0.56-0.82$), enquanto a magnitude das atualizações não o faz ($r \approx 0.02-0.34$). O MIXSD reduz o alinhamento com essas direções sensíveis em comparação com o SFT.

Significado e Alegações

O artigo alega que alinhar a supervisão com a distribuição de geração nativa do modelo é um princípio simples e eficaz para injeção de conhecimento que mitiga o esquecimento catastrófico.

• Insight Teórico: O trabalho sugere que o esquecimento catastrófico é impulsionado menos pela magnitude das mudanças de parâmetros e mais por atualizações ao longo de direções sensíveis induzidas por supervisão com descompasso de distribuição.
• Utilidade Prática: O MIXSD oferece uma substituição "plug-and-play" para alvos SFT padrão que não requer professor externo e tem sobrecarga computacional mínima adicional (apenas um custo de pré-processamento único para gerar rollouts mistos).
• Generalização: Os benefícios foram observados em diferentes famílias de modelos (Qwen e Llama) e configurações, incluindo edição de conhecimento (sobrescrita de fatos existentes) e aquisição de funções aritméticas novas.

Os autores concluem que, enquanto o SFT força os modelos a imitar trajetórias externas de baixa probabilidade, o MIXSD preserva o sinal de aprendizado factual enquanto mantém a trajetória de supervisão dentro das regiões de alta probabilidade do modelo, estabilizando assim as capacidades pré-treinadas.