Resumo Técnico: Um Modelo de Linguagem Pode Aprender Fatos Continuamente em Seus Pesos?

Declaração do Problema

O aprendizado contínuo visa permitir que modelos de linguagem (LMs) adquiram novos fatos após o treinamento inicial e os mantenam através de atualizações subsequentes, escrevendo efetivamente o conhecimento diretamente nos pesos do modelo. Embora o aprendizado baseado em contexto (aprendizado em contexto) permita o uso imediato de fatos, ele é transitório. A questão central abordada por este trabalho é se o aprendizado contínuo baseado em pesos pode suportar a acumulação de conhecimento utilizável. Especificamente, o artigo investiga três requisitos críticos para uma escrita bem-sucedida:

1. Criação: Cada escrita cria conhecimento que é utilizável além da simples recitação?
2. Preservação: As habilidades gerais sobrevivem à acumulação de atualizações?
3. Alcance: Fatos anteriores podem permanecer alcançáveis após escritas posteriores?

Observações anteriores sugerem que o ajuste fino (fine-tuning) aprende fatos lentamente, frequentemente falha em raciocínio de múltiplos saltos (multi-hop) ou reversões em comparação ao uso em contexto, e sofre de deriva de distribuição. No entanto, faltava uma conta unificada de por que algumas escritas produzem conhecimento utilizável, por que algumas sobrevivem e a natureza dos fatos "esquecidos".

Metodologia

O estudo utiliza modelos Qwen3-4B (com variantes de adaptadores LoRA e de ajuste fino total) e um framework de avaliação controlado envolvendo 247 fatos inventados sobre entidades inexistentes (ex: "Zorvathine é um metal que derrete quando resfriado abaixo de −10°C"). Esses fatos contradizem os priors do modelo para garantir que as respostas dependam do novo conhecimento.

Design de Avaliação

• Cinco Tipos de Pergunta: Para distinguir entre recitação e uso genuíno, os fatos são testados via:
  1. Recuperação (Recall): Declaração direta do fato.
  2. Parafraseamento: Refraseamento do fato.
  3. Aplicação: Uso de um passo do fato.
  4. Composição: Combinação do fato com conhecimento de mundo não declarado.
  5. Contrafactual: Escolha do fato escrito sobre o padrão do modelo.
• Âncoras: O desempenho é medido contra um piso (modelo original sem o fato) e um teto (modelo original com o fato no prompt).
• Política de Graduação Dupla: As respostas são pontuadas sob uma política estrita (exigindo a conclusão específica) e uma política leniente (creditando fatos que implicam a conclusão). A diferença, denominada lacuna de implicação (entailment gap), mede a lacuna entre "recitação e uso".
• Protocolo Contínuo: Os modelos passam por escritas sequenciais (20 a 100 fatos) onde os adaptadores são mesclados após cada fato. A retenção é medida reavaliando fatos anteriores após escritas subsequentes.

Condições Experimentais

O estudo varia:

• Amplitude dos Dados de Treino: "Declaração pura" (fato em enquadramentos triviais) vs. "Estudo" (24 paráfrases diversas, Q&A, implicações e contrastes).
• Objetivos: Ajuste Fino Supervisionado (SFT), Destilação de Contexto Offline e Destilação de Contexto Online (KL Forward/Reverse).
• Métodos de Atualização: LoRA vs. Ajuste Fino Total (Full FT).
• Professores (Teachers): Modelo original congelado vs. modelo acumulado (em movimento) para destilação.

Principais Contribuições e Resultados

1. A Amplitude dos Dados de Treino Determina a Usabilidade do Conhecimento

A amplitude dos dados de treinamento é o principal fator causal na criação de conhecimento utilizável.

• Recitação vs. Uso: O treinamento de declaração pura produz alta recitação (97% de recall), mas falha em aplicação e contrafactuais (21–23% de acurácia). Isso deixa uma grande lacuna de implicação (27,4 pontos), indicando que o modelo memoriza a declaração, mas não consegue derivar conclusões.
• Efeito de Dados Amplos: O treinamento de "Estudo" (redeclarações diversas) reduz a lacuna de implicação para 5,4 pontos sem mostrar explicitamente as conclusões. Ele melhora significativamente a aplicação (+21 pontos), composição (+18 pontos) e uso contrafactual (+29 pontos) em comparação ao treinamento de declaração pura.
• Independência de Escala: Este efeito ocorre em diversas escalas de modelos (4B e 8B) e métodos de atualização (LoRA e Full FT).

2. O Tipo de Conhecimento Prediz a Sobrevivência na Escrita Contínua

A natureza do conhecimento escrito dita sua taxa de sobrevivência sob atualizações sequenciais.

• Disparidade de Retenção: Após 20 escritas sequenciais, fatos escritos via treinamento de declaração pura retêm apenas 1% de acurácia, enquanto fatos treinados via estudo retêm 46%.
• Correlação: Existe uma forte correlação negativa ($\rho = -0,526$) entre a lacuna de implicação inicial e a retenção; métodos que criam conhecimento utilizável (baixa lacuna) sobrevivem melhor.
• Platô de Longo Prazo: Mesmo com o treinamento de estudo, a retenção estabiliza em um platô de 25–28% após 100 escritas, indicando que, embora dados amplos ajudem, eles não resolvem inteiramente o problema do alcance.

3. O Esquecimento Destrói o Acesso, Não o Armazenamento

O artigo demonstra que o "esquecimento" é uma falha de recuperação (acesso) e não de apagamento do traço armazenado.

• Persistência de Armazenamento: Checkpoints reconstruídos mostram que fatos "esquecidos" (aqueles que falham em todas as perguntas) retêm 57–67% do aumento de log-probabilidade produzido por sua escrita original.
• Captura de Endereço: Em condições de declaração pura, 70% das respostas erradas para fatos esquecidos contêm o conteúdo do fato mais recentemente escrito. Isso sugere que escritas posteriores redirecionam o "endereço" (o roteamento da consulta) para o novo conteúdo, sobrescrevendo o caminho para o fato antigo.
• Recuperação de Contexto: Quando a declaração de um fato esquecido é fornecida no prompt, a acurácia recupera-se para 77–80% (condição de estudo), provando que o conteúdo ainda está presente, mas é inalcançável via o mecanismo de consulta interno do modelo.
• Falha de Uso Conjunto: Dois fatos escritos individualmente utilizáveis não podem ser usados de forma confiável juntos (32% de acurácia) porque o modelo carece de um mecanismo de auto-recuperação para acessar ambos simultaneamente, ao contrário de quando ambos estão no prompt (91% de acurácia).

4. Capacidades Gerais e Deriva de Distribuição

A perda de capacidade geral está altamente correlacionada com a deriva de distribuição do modelo original.

• Correlação KL: O dano à capacidade correlaciona-se fortemente com a divergência KL do modelo original ($\rho = 0,83$ a $0,946$).
• Professor Congelado: Destilar contra um modelo original congelado preserva as capacidades gerais (custo quase zero) e retém os fatos melhor do que destilar contra um modelo acumulado (em movimento).
• Penalidade de Deriva: Adicionar uma penalidade KL ao base atual melhora a retenção e a capacidade, mas não reduz a divergência KL medida em relação ao original, sugerindo que a penalidade evita o colapso degenerativo em vez de reverter a deriva.

5. A Interferência é Causada pelas Escritas Entrantes

Testes causais isolam a fonte de interferência.

• Entrante vs. Armazenado: O método da escrita entrante determina a retenção. Escritas baseadas em estudo melhoram a retenção em 37,6 pontos em comparação com escritas de declaração pura, independentemente de como o fato anterior foi armazenado.
• Falha de Controle Local: Preditores linearizados podem prever o efeito imediato de uma atualização ($\rho = 0,795$), mas falham em prever o esquecimento de longo prazo ($\rho = -0,258$). Intervenções locais (projeção de gradiente, patching de ativação) falharam em melhorar a retenção significativamente.

Significância e Alegações

O artigo conclui que o aprendizado contínuo em pesos é atualmente insuficiente para fatos que devem ser compostos ou que devem sobreviver a extensas escritas posteriores.

• A Natureza "Chaveada por Pergunta" dos Pesos: O conhecimento escrito é "chaveado por pergunta", o que significa que só é alcançável via as perguntas específicas usadas durante o treinamento. O modelo carece de um "endereço" ou manípulo geral para recuperar fatos sob demanda. Escritas posteriores redirecionam essas chaves de pergunta para novos conteúdos.
• Contexto como o Canal Confiável: Embora dados amplos possam criar conhecimento utilizável e professores congelados possam preservar capacidades gerais, nenhuma intervenção testada garante que fatos anteriores permaneçam alcançáveis. Portanto, o contexto permanece o canal confiável para fatos que exigem composição ou retenção de longo prazo.
• Orientação Prática: Para maximizar a utilidade das atualizações baseadas em pesos, os profissionais devem usar dados de treinamento amplos (redeclarações diversas) e destilar contra um modelo original congelado. No entanto, para conhecimento robusto e composível, os fatos devem ser mantidos em contexto ou sistemas de recuperação externa, em vez de depender apenas de atualizações de pesos.

O trabalho reformula o esquecimento catastrófico não como apagamento de dados, mas como uma perda de rotas de acesso, onde o "endereço" de um fato é capturado por atualizações subsequentes. Ele destaca uma limitação fundamental no aprendizado contínuo baseado em pesos atual: a capacidade de armazenar conteúdo não equivale à capacidade de criar um endereço persistente e recuperável para esse conteúdo.