💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

Este artigo investiga o "Hiato entre Saber e Usar" em modelos de linguagem de grande escala ajustados, onde o conhecimento memorizado falha em generalizar, utilizando uma intervenção de autocorreção para revelar que circuitos de conhecimento interno desalinhados impedem o raciocínio eficaz e propondo uma estratégia heurística que recupera de 58% a 75% do desempenho de generalização potencial.

Autores originais: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô bibliotecário superinteligente que acabou de aprender um fato novo: "Sydney fica na Austrália". Você pergunta ao robô: "Onde fica Sydney?" e ele responde perfeitamente. Mas então você pergunta: "Qual é a capital do país onde Sydney fica?" e o robô trava, agindo como se não tivesse ideia do que você está falando.

Este é exatamente o enigma que pesquisadores da HKUST(GZ) e da HKUST estão tentando resolver. Eles o chamam de "Knowing–Using Gap" (a Lacuna entre Saber e Usar). É o momento frustrante em que um Modelo de Linguagem de Grande Escala (LLM) claramente memorizou uma nova informação, mas falha em usá-la para resolver um quebra-cabeça ligeiramente mais complexo.

O Mistério: Por Que o Robô Trava

Os pesquisadores descobriram que isso não acontece porque o robô está "esquecendo" ou porque é burro demais para entender a lógica. Na verdade, o robam sabe a resposta; ela só está escondida na sala errada.

Para entender isso, pense no cérebro do robô como um enorme edifício de escritórios de vários andares.

Os Andares Iniciais (Camadas 1–10): Estes são como o saguão e a sala de correspondência. São ótimos para armazenar pacotes recebidos (memorizar fatos).
Os Andares Intermediários (Camadas 10–20): Este é o departamento de "pensamento", onde ocorre o raciocínio complexo.
Os Andares Superiores (Camadas 20–30): É onde o relatório final é escrito e enviado.

Quando o robô aprende um fato novo, ele rapidamente despeja a informação no Saguão ou no Andar Superior. Está seguro lá! Mas o "Departamento de Pensamento" no meio nunca recebe o memorando. Assim, quando o robô tenta resolver um quebra-cabeça de várias etapas (como conectar Sydney à Austrália e, depois, a Austrália à sua capital), a informação fica presa no lugar errado. É como ter um cartão de biblioteca no bolso, mas tentar usá-lo no caixa de um supermercado.

O Trabalho de Detetive: "Self-Patching"

Como eles provaram que a informação estava lá, mas apenas mal posicionada? Eles inventaram um truque inteligente chamado Self-Patching (Autopatch).

Imagine que você tem duas versões do robô rodando lado a lado.

Robô A está tentando responder à pergunta difícil e falhando.
Robô B tem a resposta armazenada em seu "Saguão".

Os pesquisadores alcançaram o Robô B, pegaram a memória específica de "Sydney fica na Austrália" e a moveram fisicamente para o "Departamento de Pensamento" do Robô A.

O resultado? O Robô A resolveu o problema instantaneamente!

Este experimento mostrou que o conhecimento nunca esteve faltando; ele estava apenas desalinhado. O robô tinha os dados, mas eles não foram roteados para a parte certa do céreão para fazer a conta. Os pesquisadores chamam isso de "Knowledge–Circuit Misalignment Hypothesis" (Hipótese de Desalinhamento entre Conhecimento e Circuito).

O Que NÃO É

Os pesquisadores foram muito cuidadosos para descartar outras ideias:

Não é falta de capacidade cerebral: Eles testaram modelos maiores e mais inteligentes, e o problema continuou acontecendo.
Não é um problema de "prompting": Eles tentaram dar dicas ao robô (como pedir para ele "pensar passo a passo"), mas isso ajudou apenas um pouco. O verdadeiro ajuste era mover a memória, não apenas fazer perguntas melhores.
Não é que o robô esteja aprendendo uma nova lógica: O robô não precisava aprender como raciocinar; ele só precisava acessar os fatos que já conhecia.

A Boa Notícia: Um Ajuste Simples

A melhor parte? Os pesquisadores descobriram uma maneira de corrigir isso sem precisar saber exatamente qual memória pertence a qual fato.

Eles notaram que o "Departamento de Pensamento" (as camadas intermediárias) é a chave. Eles criaram uma regra simples: "Se você tem um fato armazenado no Saguão ou no Andar Superior, mova-o para o Andar Intermediário."

Eles testaram essa regra simples em diferentes modelos de robôs e diferentes tipos de conhecimento (da biologia a artigos acadêmicos).

Sem o ajuste, os robôs acertavam as perguntas de raciocínio apenas cerca de 7% a 18% das vezes.
Com esse simples ajuste de "mover a memória", eles acertavam de 35% a 45% das vezes.

Este truque simples recuperou entre 58% e 75% do sucesso potencial que os robôs poderiam ter alcançado se estivessem perfeitamente alinhados. Não é uma varinha mágica que resolve tudo, mas prova que o problema é solucionável.

A Conclusão

O artigo mostra que, quando os modelos de IA falham em usar o que aprenderam, muitas vezes é um problema de roteamento, não um problema de aprendizado. Os fatos estão lá, armazenados com segurança nos cantos errados do cérebro. Ao simplesmente mover esses fatos para as camadas de "pensamento", podemos ajudar o robô a conectar os pontos e resolver o quebra-cabeça.

Os pesquisadores estão agora sugerindo que o treinamento futuro não deve focar apenas em fazer os modelos memorizarem fatos mais rápido, mas em ensiná-los a rotear esses fatos para o lugar certo para o raciocínio. É uma mudança de "ensinar mais" para "organizar melhor".

Resumo Técnico: Em Direção à Compreensão Mecanística de Por Que o Conhecimento Memorizado Falha em Generalizar no Ajuste Fino de Grandes Modelos de Linguagem

1. Definição do Problema: O Hiato Saber–Usar (Knowing–Using Gap)

O artigo aborda um modo de falha crítico no ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs): a discrepância entre a capacidade de um modelo de memorizar novos fatos e sua capacidade de utilizar esses fatos para o raciocínio subsequente. Os autores formalizam isso como o Hiato Saber–Usar, caracterizado por duas disparidades distintas:

Lacuna de Acurácia: A acurácia de generalização (usar fatos no raciocínio) permanece significativamente inferior à acurácia de memorização (recuperação direta) mesmo após a convergência.
Atraso Temporal: As capacidades de generalização emergem significativamente mais tarde do que as capacidades de memorização durante o processo de treinamento.

Apesar da capacidade de modelo suficiente para ajustar novos dados, os modelos frequentemente exibem um comportamento de "lembrar, mas não usar", onde podem recordar um fato (ex: "Sydney fica na Austrália"), mas falham ao encadeá-lo em uma tarefa de raciocínio (ex: "Qual é a capital do país onde Sydney fica?").

2. Metodologia

Para investigar as causas mecanísticas deste hiato, os autores empregam uma combinação de construção de conjuntos de dados, intervenção causal e análise dinâmica.

Construção de Conjunto de Dados:

Os autores construíram um conjunto de dados especializado, adaptado do STaRK (uma base de conhecimento semiestruturada do mundo real), utilizando subconjuntos biomédicos (STaRK-Prime) e acadêmicos (STaRK-MAG) para garantir robustez entre domínios.
Eles definiram Tarefas de Memorização (QA de um único salto/hop) para o ajuste fino e Tarefas de Generalização para avaliação.

Dois tipos específicos de tarefas de generalização foram projetados:
- Encadeamento (Chaining): Requer raciocínio sequencial através de múltiplos saltos (ex: Entidade A → Relação → Entidade B → Relação → Entidade C).
- Interseção (Intersection): Requer a recuperação de atributos para múltiplas entidades e a filtragem com base em uma relação compartilhada em meio ao ruído.

Uma validação rigorosa de novidade garantiu que os modelos pré-treinados pontuassem próximo a zero nessas tarefas, confirmando que o conhecimento injetado era genuinamente novo.

Intervenção de Auto-Remendo (Self-Patching):
A principal contribuição metodológica é o Auto-Remendo (Self-Patching), uma variante do remendo de ativação (activation patching).

Mecanismo: A técnica copia a representação da camada oculta de um token âncora (ex: a entidade principal) de uma execução "fonte" (onde o fato é conhecido) e a substitui em uma execução "alvo" (onde o modelo falha em generalizar) em uma camada alvo específica.
Objetivo: Ao escanear todos os pares de camadas $(l_{src}, l_{tgt})$ , o método gera um mapa de permeação espacial. Ele identifica se uma representação contendo o conhecimento injetado existe no modelo, mas está simplesmente não sendo roteada para as camadas de computação eficazes necessárias para o raciocínio.
Diferenciação: Diferente do rastreamento causal (causal tracing), o auto-remendo não requer uma trajetória correta "limpa", tornando-o aplicável a casos de falha de generalização. Diferente do PatchScope, ele foca na acurácia do prompt alvo em vez de interpretar a fonte via decodificação auxiliar.

3. Principais Descobertas e Resultados

A Hipótese do Desalinhamento Conhecimento–Circuito:
Os autores propõem que o Hiato Saber–Usar é impulsionado por um desalinhamento espacial entre o armazenamento de conhecimento e os circuitos de raciocínio.

Armazenamento vs. Computação: O ajuste fino codifica novos fatos em estados "orientados ao armazenamento" (frequentemente em camadas iniciais ou muito tardias) que suportam a recuperação direta. No entanto, essas representações não são roteadas de forma confiável para as camadas de "computação eficaz" necessárias para o raciocínio de múltiplos passos.
Desvanecimento de Gradiente: Uma vez que a memorização satura, a perda diminui, fazendo com que os gradientes desapareçam. Consequentemente, o modelo falha em atualizar naturalmente seu roteamento interno para alinhar o conhecimento armazenado com o circuito de raciocínio, deixando o conhecimento "ilhado".

Evidência Empírica:

Dinâmica de Permeação: Mapas de calor das pontuações de auto-remendo mostram que, após a memorização, regiões vermelhas "fora da diagonal" aparecem (indicando que o conhecimento existe em camadas específicas), enquanto células diagonais permanecem azuis (indicando que o modelo falha de ponta a ponta). Em casos de generalização bem-sucedida, a região vermelha se expande para cobrir a diagonal; nos fracassos, ela para antes de atingir a diagonal.
Recuperação por Oráculo: Quando as representações são manualmente realocadas via auto-remendo para camadas médias eficazes, a acurácia do uso subsequente melhora dramaticamente.
- Tarefas de Encadeamento: O auto-remendo de oráculo aumentou a acurácia em 1,5–6× em todos os modelos e domínios.
- Tarefas de Interseção: O hiato foi quase eliminado.
Agrupamentos Espaciais: Os locais de remendo mais eficazes formam dois agrupamentos: mover representações das camadas iniciais para as camadas médias e das camadas tardias para as camadas médias. Isso sugere que o gargalo não é a emergência da informação, mas seu alinhamento com o fluxo de raciocínio das camadas médias.

Heurística Prática:
Indo além das ferramentas de diagnóstico, os autores projetaram uma estratégia heurística fixa baseada nos agrupamentos espaciais observados (visando ~0,5L a partir de ~0,1L e ~0,8L).

Esta estratégia não-oráculo recupera 58–75% do potencial do oráculo, demonstrando que a falha de generalização é parcialmente reversível sem busca por instância.

Estudos de Ablação:

Posição do Token: Os ganhos estão estritamente ligados ao remendo na posição da entidade principal (head-entity), não em posições aleatórias ou tokens genéricos.
Prompting vs. Patching: O prompting de Cadeia de Pensamento (CoT) melhora o desempenho, mas permanece muito abaixo dos ganhos do auto-remendo, e às vezes degrada o desempenho. O remendo irrelevante (usando representações de fatos não relacionados) produz ganhos negligenciáveis, confirmando que o efeito é específico à representação do conhecimento injetado.
Independência de Escala: O fenômeno persiste em diferentes tamanhos de modelo (1B a 8B) e métodos de ajuste fino (FFT vs. LoRA), indicando que é um problema de alinhamento estrutural e não uma limitação de capacidade.

4. Significância e Alegações

O artigo afirma redefinir a falha de generalização no ajuste fino não como uma falta de capacidade de aprendizado, mas como um problema de alinhamento tratável.

Insight Mecanístico: Fornece evidência causal de que o conhecimento memorizado existe internamente, mas está mal roteado, falhando em alcançar as camadas de computação necessárias para o raciocínio.
Utilidade Diagnóstica: A técnica de auto-remendo serve como uma ferramenta para mapear onde o conhecimento injetado torna-se causalmente utilizável, mesmo em casos onde o modelo falha em generalizar naturalmente.
Implicação Prática: As descobertas sugerem que o treinamento "consciente de alinhamento" ou estratégias de alinhamento pós-hoc poderiam diminuir o hiato entre memorização e generalização. O artigo demonstra que um simples heurístico fixo pode recuperar uma parte substancial da capacidade de generalização perdida, movendo o campo do puro diagnóstico para remédios práticos.

Os autores concluem que o Hiato Saber–Usar é um fenômeno robusto através de domínios e arquiteturas, impulsionado pela falha do ajuste fino em alinhar naturalmente as representações de armazenamento com os circuitos de raciocínio.