🤖 machine learning

Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge

Este artigo demonstra que, embora o pré-treinamento de modelos transformadores gere conhecimento factual, a capacidade de recordação contextual (inferir atributos ocultos a partir de exemplos) só emerge após o ajuste fino em tarefas que exigem inferência implícita, processo que é impulsionado pela formação de codificações latentes de baixa dimensão dos tipos de atributos compartilhados.

Autores originais: Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis

Publicado 2026-03-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bhavya Vasudeva, Puneesh Deora, Alberto Bietti, Vatsal Sharan, Christos Thrampoulidis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário superinteligente chamado "Transformer". Este bibliotecário passou a vida inteira lendo milhões de livros (o que chamamos de pré-treinamento). Ele memorizou fatos incríveis: sabe que o Coliseu fica em Roma, que a Torre Eiffel é de Paris e que o Cristo Redentor está no Rio.

No entanto, existe um problema: quando você chega na biblioteca e pergunta algo de um jeito novo, ele trava.

O Cenário: O Desafio do "Lembrete Contextual"

Vamos dizer que você chega e diz:

"O Coliseu é de Roma. A Torre Eiffel é de Paris. O Cristo Redentor é de..."

Um humano pensa: "Ah, ele está falando de países! Então a resposta é Rio de Janeiro (ou Brasil)".

Mas o bibliotecário, mesmo sabendo todos esses fatos, não entende a regra do jogo. Ele vê os exemplos, mas não sabe se você quer a cidade, o ano de construção, a cor ou o país. Ele precisa de uma dica explícita, como: "Diga-me o país de...". Sem essa dica, ele fica confuso e erra.

Isso é o que os autores chamam de Recordação Contextual (Contextual Recall). O modelo precisa lembrar um fato, mas primeiro precisa inferir qual tipo de fato você quer, apenas olhando para os exemplos que você deu.

A Descoberta: O Treinamento é a Chave

Os pesquisadores descobriram que, por mais que o bibliotecário leia milhões de livros (pré-treinamento), ele não aprende sozinho a fazer esse tipo de dedução. Ele sabe os fatos, mas não sabe como usá-los em novos formatos.

A mágica acontece quando eles fazem um treinamento extra (o fine-tuning).

Imagine que, em vez de apenas ler livros, o bibliotecário faz um curso intensivo de "detetive".

Eles pegam um grupo de livros (um subconjunto de assuntos) e o ensinam a resolver mistérios onde a pista não está escrita, mas escondida nos exemplos.
O curioso é que, ao ensinar esse "curso de detetive" apenas com alguns exemplos (digamos, apenas sobre 50% dos livros), o bibliotecário aprende a lógica do jogo.
Quando você chega com um livro novo que ele nunca viu antes (um assunto que não estava no curso), ele consegue aplicar a lógica aprendida e acertar a resposta!

Como isso funciona na cabeça do robô? (A Analogia do "Mapa Mental")

O papel explica que, durante esse treinamento extra, algo mágico acontece dentro da "cabeça" do modelo (nas suas camadas de atenção):

Antes do treino: O modelo tem os fatos espalhados, mas soltos.
Depois do treino: O modelo cria um "mapa mental" compacto (chamado de vetor de tarefa). É como se ele criasse um atalho mental que diz: "Ah, quando vejo 'X, Y, Z', isso significa que o padrão é 'País'".

Esse mapa mental é tão forte que ele consegue agrupar informações. Se você der mais exemplos (mais pistas), o mapa fica mais nítido e o modelo acerta mais.

A Mecânica: O "Olho" que Aprende a Ver

Os autores foram ainda mais fundo e construíram uma versão simplificada desse robô (apenas com "olhos" de atenção) para entender a mecânica. Eles descobriram que o robô usa dois tipos de "olhos":

O Olho do Assunto: Ele foca no nome do objeto (ex: "Coliseu").
O Olho da Relação:
- No início: Esse olho procura por uma "etiqueta" escrita no texto (ex: a palavra "País").
- Depois do treino: Esse olho aprende a ignorar a etiqueta escrita e começa a olhar para os exemplos anteriores para adivinhar a etiqueta. Ele aprende a dizer: "Eles disseram 'Roma' e 'Paris', então o padrão é País, mesmo sem a palavra 'País' estar escrita".

Resumo em uma frase

O pré-treinamento dá ao modelo o conhecimento (os fatos), mas o treinamento extra (fine-tuning) ensina o modelo a usar esse conhecimento de forma inteligente, criando uma regra mental que permite que ele generalize e resolva problemas novos, mesmo sem ter visto exatamente aquele problema antes.

É como ensinar um aluno a não apenas decorar a tabela periódica, mas a entender a lógica da química para resolver qualquer equação nova que apareça na prova.

Resumo Técnico: Compreensão da Recordação Contextual em Transformers

1. O Problema

Os modelos de linguagem baseados em Transformers (LLMs) exibem notáveis capacidades de Aprendizado em Contexto (ICL - In-Context Learning), adaptando-se a novas tarefas sem atualizar seus parâmetros. O artigo foca em uma forma específica de ICL chamada Recordação Contextual (Contextual Recall).

Neste cenário, um modelo pré-treinado em texto aberto adquire conhecimento factual (ex: "Parthenon" está na "Grécia"). No entanto, durante a avaliação, o modelo recebe prompts com pares de exemplos (sujeito-atributo) em um formato novo e implícito, sem indicar qual atributo deve ser recuperado.

Exemplo: Dado [Niagara Falls, Canadá. Coliseu, Itália. Partenon, ], o modelo deve inferir que o padrão é "País" e gerar [Grécia].
O Desafio: O modelo precisa não apenas acessar o conhecimento factual armazenado, mas também inferir implicitamente o tipo de atributo (ex: país vs. ano de construção) apenas olhando para os exemplos em contexto, sem pistas gramaticais explícitas.

A questão central da pesquisa é: A recordação contextual emerge naturalmente do pré-treinamento ou requer um ajuste fino (finetuning) específico? Quais mecanismos internos permitem essa transição?

2. Metodologia

Os autores introduzem um framework sintético controlado para isolar e estudar esses fenômenos.

Geração de Dados:
- Vocabulário: Sujeitos ( $S$ ), Atributos ( $A$ ) divididos em tipos ( $L$ ), Tokens de Gramática ( $G$ ) e separadores.
- Sequências de Pré-treinamento (PT): Contêm tuplas de Sujeito-Gramática-Atributo. A informação sobre o tipo de atributo é codificada implicitamente nas estatísticas de bigrama da sequência de gramática (gerada por cadeias de Markov específicas para cada tipo de atributo). O objetivo é ensinar o modelo a associar fatos.
- Sequências de ICL (Avaliação): Contêm pares Sujeito-Atributo de diferentes sujeitos compartilhando o mesmo tipo de atributo, sem tokens de gramática. O modelo deve prever o atributo do último sujeito.
- Sequências ICL+Grm (Ajuste Fino): Semelhantes às de ICL, mas com tokens de gramática curtos e variáveis inseridos entre sujeito e atributo.
Experimentos:
1. Pré-treinamento: Treinamento em sequências PT para instilar conhecimento factual.
2. Avaliação Inicial: Teste em sequências ICL (sem gramática).
3. Ajuste Fino (Finetuning): Treinamento adicional em sequências que exigem inferência implícita (ICL ou ICL+Grm), utilizando apenas um subconjunto de sujeitos.
4. Análise Representacional: Estudo das representações internas (camadas de atenção) para identificar a formação de vetores de tarefa (task vectors).
5. Análise Mecanística: Construção teórica de um modelo de attention-only (apenas atenção) para provar matematicamente como a transição ocorre.

3. Principais Contribuições e Resultados

A. O Pré-treinamento é Insuficiente (Finding 1)
Modelos pré-treinados apenas em sequências PT aprendem fatos com alta precisão (recordação factual), mas falham completamente em tarefas de recordação contextual (ICL). Eles dependem das estatísticas explícitas da gramática para recuperar fatos e não conseguem inferir o tipo de atributo quando essas pistas são removidas.

B. O Ajuste Fino Habilita a Generalização (Finding 2 & 3)
O ajuste fino em tarefas que exigem inferência implícita (usando ICL ou ICL+Grm com gramática curta) permite que o modelo generalize para sujeitos nunca vistos durante o ajuste.

Mecanismo: O pré-treinamento fornece o conhecimento (associação Sujeito-Atributo). O ajuste fino ensina o mecanismo de acesso: aprender a inferir o tipo de atributo a partir dos tokens de atributo no contexto, em vez de depender da gramática.
Eficiência: O ajuste fino em ICL+Grm (com gramática variável) é tão eficiente quanto em ICL puro, apesar da mudança na distribuição do formato dos dados.

C. Formação de Vetores de Tarefa de Baixa Dimensão (Finding 4 & 5)
A análise das representações internas revela que o ajuste fino induz a formação de codificações latentes de baixa dimensão (vetores de tarefa) que representam o tipo de atributo compartilhado.

À medida que o número de exemplos em contexto aumenta, essas representações tornam-se mais "desemaranhadas" (clustering strength aumenta).
A força desse agrupamento depende da diversidade das cadeias de Markov usadas no pré-treinamento: cadeias mais distintas levam a vetores de tarefa mais robustos.
É possível "direcionar" (steer) a saída do modelo manipulando essas representações no espaço latente.

D. Explicação Mecanística (Seção 4)
Os autores derivam construções teóricas para um modelo de attention-only de uma camada:

Fase de Pré-treinamento: O modelo usa "cabeças de relação" que atendem a tokens de relação explícitos e "cabeças de sujeito" que filtram atributos irrelevantes.
Fase de Ajuste Fino: As "cabeças de relação" aprendem a atender aos tokens de atributo no contexto (inferindo o tipo implicitamente) e a mapeá-los para a soma de todos os atributos daquele tipo. As "cabeças de sujeito" continuam filtrando.
Dinâmica de Treinamento: A análise mostra que o ajuste fino atualiza as matrizes de pesos de forma que o modelo aprende a associar atributos de diferentes sujeitos que pertencem ao mesmo tipo, permitindo a generalização para novos sujeitos.

4. Significado e Impacto

Este trabalho oferece uma compreensão fundamental sobre como os LLMs combinam conhecimento estático (pré-treinado) com raciocínio dinâmico (ICL):

Papéis Complementares: O pré-treinamento é responsável pela instilação de conhecimento factual, enquanto o ajuste fino (ou exposição a tarefas de inferência) é necessário para desenvolver a capacidade de raciocínio contextual e a flexibilidade de formato.
Mecanismo de Generalização: Demonstra-se que a generalização para novos sujeitos em ICL ocorre porque o modelo aprende uma estrutura compartilhada (o "tipo" de atributo) que é independente do sujeito específico.
Interpretabilidade: A descoberta de que a recordação contextual depende da formação de vetores de tarefa de baixa dimensão fornece uma ferramenta para entender e possivelmente controlar o comportamento de modelos em tarefas de raciocínio.
Implicações para Treinamento: Sugere que para melhorar a capacidade de raciocínio em contexto de modelos, não basta apenas aumentar o corpus de pré-treinamento; é crucial expor o modelo a tarefas que exijam inferência implícita de padrões durante o ajuste fino.

Em resumo, o artigo desmistifica a "mágica" do ICL em tarefas de recordação factual, mostrando que ela é o resultado de uma transição de mecanismos: de uma recuperação baseada em pistas explícitas (gramática) para uma inferência baseada em padrões latentes (vetores de tarefa), habilitada por um ajuste fino estratégico.