Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition

Este estudo utiliza técnicas de interpretabilidade para demonstrar que a generalização de tarefas em modelos de linguagem é impulsionada por um mecanismo de "indução de função" reutilizável e composto por múltiplos cabeçalhos de atenção, que permite a aprendizagem de padrões abstratos como a adição com desvio de um.

O essencial

🧠 O Segredo da "Matemática Rebelde" das IAs

Imagine que você está ensinando uma criança a somar. Você diz: "2 mais 2 é 4". A criança aprende a regra. Agora, você faz um teste de lógica diferente: "Vamos brincar de uma regra nova: 2 mais 2 é 5. E 3 mais 3 é...?".

Se a criança entender o jogo, ela dirá "7" (porque 3+3=6, e na nossa brincadeira, somamos mais 1). Se ela apenas memorizou a regra antiga, dirá "6".

Os pesquisadores deste estudo descobriram algo fascinante: as Inteligências Artificiais (IAs) modernas conseguem aprender essa "regra nova" instantaneamente, apenas lendo exemplos, sem precisar ser reprogramadas. Mas a grande pergunta era: como exatamente o cérebro da IA faz isso?

Eles usaram uma técnica de "raio-x" (chamada interpretabilidade) para ver o que acontecia dentro da IA enquanto ela resolvia esse problema. O que eles encontraram foi uma espécie de "máquina de indução de funções".

Vamos usar algumas analogias para entender como isso funciona:

1. A Fábrica de Somas (O Processo Normal)

Normalmente, quando a IA vê "2 + 2 =", ela aciona uma linha de montagem interna. Pequenos "trabalhadores" (chamados cabeças de atenção) olham para os números, somam e entregam o resultado "4". É como uma calculadora comum.

2. O Detetive e o Mensageiro (A Descoberta)

Quando você dá o exemplo "2 + 2 = 5", a IA percebe que algo está errado. A linha de montagem normal diz "4", mas o exemplo diz "5".

A pesquisa descobriu que a IA usa um sistema de três equipes para corrigir isso:

• Equipe 1: Os Detetives (Previous Token Heads)
  Eles ficam vigiando os exemplos anteriores. Quando veem "2 + 2 = 5", eles percebem: "Ei, o resultado aqui é 5, não 4! Tem algo diferente acontecendo". Eles anotam essa "diferença" (o +1 extra) e passam um bilhete para a próxima equipe.

  • Analogia: É como um fiscal que vê um sinal de "Proibido Estacionar" pintado em vermelho em vez de azul e avisa: "Atenção, a regra mudou!".

• Equipe 2: Os Mensageiros Mágicos (Function Induction Heads)
  Esta é a parte mais genial. Em vez de apenas copiar o número "5" (como uma calculadora faria), esses "trabalhadores" entendem o conceito da mudança. Eles dizem: "Ok, a regra agora é 'somar mais 1'". Eles pegam essa regra abstrata e a enviam para o final da frase.

  • Analogia: Imagine que, em vez de entregar um bilhete escrito "5", eles entregam um bilhete escrito "Adicione 1 a tudo o que você calcular". Eles induziram a função de somar um.

• Equipe 3: Os Editores Finais (Consolidation Heads)
  No final, quando a IA vai escrever a resposta para "3 + 3 = ?", ela pega o cálculo normal (que seria 6) e o bilhete dos mensageiros ("Adicione 1"). Eles juntam tudo e escrevem "7".

3. A Grande Surpresa: A IA é um "MacGyver"

O que torna esse estudo incrível é que eles descobriram que essa mesma "máquina de indução" não serve apenas para matemática.

Eles testaram a IA em outras tarefas estranhas, como:

• Cifra de César: Mudar letras do alfabeto (A vira C, B vira D).
• Perguntas de Múltipla Escolha: Onde a resposta correta é sempre a letra seguinte (se a resposta é A, a IA deve escolher B).
• Matemática em Base 8: Somar números em um sistema diferente.

Em todos esses casos, a IA usou os mesmos "trabalhadores" internos que ela usou para a soma "rebelde".

• Analogia: É como se você tivesse uma ferramenta multifuncional na sua caixa de ferramentas. Você a usou para apertar um parafuso (matemática), e depois percebeu que a mesma ferramenta servia para cortar um fio (cifra de letras) e abrir uma porta (perguntas). A IA não aprendeu uma nova ferramenta para cada tarefa; ela aprendeu a usar a mesma ferramenta de forma criativa.

🚀 Por que isso importa?

1. Não é apenas "memorização": As IAs não estão apenas copiando e colando respostas. Elas estão entendendo padrões e regras abstratas, como "somar mais um" ou "mudar para a próxima letra".
2. Generalização: Isso explica como as IAs conseguem fazer coisas que nunca viram antes. Elas pegam uma estrutura que já conhecem (como somar) e aplicam uma "regra de ajuste" que aprenderam no contexto.
3. O Futuro: Entender como esses "trabalhadores" funcionam ajuda os cientistas a criar IAs mais inteligentes e a evitar que elas cometam erros estranhos (como achar que 2+2=5 em situações reais, quando não deveriam).

Resumo em uma frase

Este estudo mostra que, quando uma IA aprende uma regra nova na hora, ela não está apenas decorando; ela está ativando um sistema interno de detetives e mensageiros que identifica a mudança, cria uma nova regra matemática e aplica essa regra a qualquer coisa, desde números até letras, como se fosse um superpoder de adaptação.

Resumo técnico

Título: Indução de Função e Generalização de Tarefas: Um Estudo de Interpretabilidade com Adição "Off-by-One"

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstram uma capacidade notável de realizar tarefas não vistas anteriormente através da aprendizagem em contexto (In-Context Learning - ICL). No entanto, os mecanismos internos que impulsionam essa generalização ao nível de tarefas permanecem pouco compreendidos.

• Limitação do Estado da Arte: Trabalhos anteriores focaram em "cabeças de indução" (induction heads) para padrões de cópia de tokens (ex: [A][B]...[A] -> [B]) ou "vetores de função" para tarefas de mapeamento simples (ex: País: Capital).
• Lacuna: Há uma falta de entendimento sobre como os modelos lidam com generalizações complexas que envolvem raciocínio multi-etapa e a indução de novas regras funcionais (não apenas cópia de tokens).
• Tarefa de Estudo: Os autores propõem a tarefa sintética e contrafactual de "adição off-by-one" (ex: 1+1=3, 2+2=5, 3+3=?). O modelo deve realizar a adição padrão e, em seguida, aplicar uma função inesperada de +1 ao resultado. O desafio é determinar se o modelo aprende a função f(x) = x + 1 ou se apenas memoriza exemplos.

2. Metodologia

O estudo utiliza técnicas de interpretabilidade mecânica, especificamente patching de caminhos (path patching), para rastrear a computação interna do modelo.

• Modelos Analisados: O foco principal foi no Gemma-2 (9B), com validação cruzada em Llama-3 (8B), Llama-2 (7B) e Mistral-v0.1 (7B).
• Técnica de Patching de Caminhos:
  • Compara-se o modelo com um prompt base (adição padrão: 1+1=2) e um prompt de contraste (adição off-by-one: 1+1=3).
  • Realiza-se uma substituição de ativações: ativações do prompt de contraste são substituídas por ativações do prompt base em cabeças de atenção específicas.
  • Se a substituição faz o modelo voltar a prever a resposta padrão (ex: 6 em vez de 7), a cabeça substituída é considerada causalmente responsável pela função +1.
• Definição de Métricas: Utiliza-se a "diferença relativa de logits" para quantificar o impacto de cada cabeça de atenção na mudança do comportamento do modelo.

3. Descobertas Principais: O Mecanismo de Indução de Função

Os autores identificam um circuito específico composto por três grupos de cabeças de atenção que trabalham em conjunto para induzir e aplicar a função +1. Este mecanismo é denominado "Indução de Função" (Function Induction).

1. Cabeças de Token Anterior (Previous Token - PT Heads):
   • Localizadas em camadas intermediárias/altas.
   • Função: Detectam a discrepância entre o resultado esperado da adição padrão e o resultado fornecido no exemplo de contexto (ex: em 1+1=3, a cabeça nota que o token 3 não segue a regra de adição padrão). Elas registram essa anomalia no token de resposta (ci).
2. Cabeças de Indução de Função (Function Induction - FI Heads):
   • Localizadas em camadas tardias (próximas à saída).
   • Função: Recuperam a informação registrada pelas cabeças PT e escrevem a função +1 no fluxo residual (residual stream) no token de igualdade (=) da nova pergunta.
   • Característica Chave: Diferente das cabeças de indução clássicas que copiam tokens, as FI heads induzem uma função de primeira ordem (f(x) = x + 1).
   • Cooperação: A função completa não é escrita por uma única cabeça. O estudo revela que múltiplas cabeças (pelo menos 6 a 9) emitem frações distintas da função (ex: uma cabeça promove x+1, outra suprime x-1, outra suprime x). A soma agregada dessas contribuições resulta na função +1 completa.
3. Cabeças de Consolidação (Consolidation Heads):
   • Localizadas nas últimas camadas.
   • Função: Agregam as informações das FI heads e finalizam a previsão do próximo token, sintetizando as informações de várias fontes para gerar a resposta final.

Relação com Trabalhos Anteriores: O circuito encontrado assemelha-se estruturalmente às "cabeças de indução" (que copiam tokens), mas opera em um nível de abstração superior (funções em vez de tokens). Além disso, as FI heads identificadas são distintas dos "vetores de função" (FV heads) descritos em trabalhos recentes, pois estão localizadas em camadas tardias e são ativadas especificamente em tarefas multi-etapa.

4. Resultados e Generalização

O estudo demonstra que este mecanismo de indução de função não é isolado à tarefa de adição, mas é reutilizável e composicional em diversas tarefas sintéticas e algorítmicas:

• Adição Off-by-k: O mecanismo adapta-se para offsets diferentes (ex: +2, -1). As cabeças FI ajustam seus padrões de ativação conforme o offset k.
• Múltipla Escolha Deslocada (Shifted MMLU): O modelo aplica a mesma lógica para deslocar a letra da resposta (ex: A -> B) em questões de conhecimento.
• Cifra de César: O mecanismo é reutilizado para tarefas de criptografia simples (deslocamento de letras).
• Adição em Base-k (ex: Base-8): O modelo usa o mecanismo para ajustar resultados de adição decimal para base 8.
  • Observação Importante: O modelo demonstra "generalização insuficiente" ou "excessiva" em casos complexos de base-8 onde o ajuste depende de condições específicas (carregamento de dígitos), sugerindo que o mecanismo ainda não domina totalmente o raciocínio condicional de múltiplos passos.

Validação por Ablação: Ao ablar (remover) as cabeças FI identificadas, a precisão do modelo na tarefa de contraste cai drasticamente (muitas vezes para 0%), enquanto a precisão na tarefa base (adição padrão) retorna a níveis normais, confirmando a causalidade desses componentes.

5. Contribuições e Significância

1. Novo Mecanismo de Generalização: A descoberta da "Indução de Função" estende o entendimento de como os LLMs generalizam, mostrando que eles podem induzir regras funcionais abstratas (não apenas cópia de tokens) a partir de poucos exemplos.
2. Estrutura Composta e Modular: O estudo revela que a indução de uma função complexa é o resultado de uma colaboração paralela entre múltiplas cabeças de atenção, cada uma contribuindo com uma parte específica da função. Isso sugere uma natureza composicional na arquitetura dos modelos.
3. Reutilização de Circuitos: A mesma estrutura de circuito é reutilizada em tarefas semanticamente diferentes (matemática, QA, criptografia), indicando que os modelos desenvolvem mecanismos genéricos para lidar com variações de tarefas.
4. Implicações para Avaliação e Treinamento:
   • Avaliação: A precisão bruta pode mascarar processos de raciocínio falhos (ex: o modelo pode usar um atalho de "adição +2" para resolver adição em base-8 em vez de calcular corretamente). A análise de interpretabilidade é crucial para validar o raciocínio real.
   • Pré-treinamento: Sugere-se que curricula de treinamento que introduzem tarefas de passo único antes de tarefas multi-etapa podem facilitar o surgimento desses mecanismos de indução.
   • Alinhamento: O mecanismo pode estar relacionado a comportamentos indesejados, como a indução de "funções de modificação de crença" a partir do contexto, o que impacta a confiabilidade do modelo.

Conclusão

O artigo fornece uma visão profunda e mecanicista sobre como os LLMs realizam raciocínio multi-etapa e generalização de tarefas. Ao identificar o circuito de "Indução de Função", os autores demonstram que os modelos não apenas memorizam padrões, mas constroem dinamicamente algoritmos internos compostos por sub-rotinas reutilizáveis, oferecendo um caminho promissor para entender e potencialmente melhorar a capacidade de generalização dos sistemas de IA.