Resumo Técnico: Raciocínio Relacional e Viés Indutivo em Transformers e Modelos de Linguagem Grandes

Declaração do Problema

Modelos baseados em Transformers demonstraram capacidades notáveis de raciocínio, mas os mecanismos subjacentes ao raciocínio relacional—especificamente a capacidade de inferir relações entre itens indiretamente relacionados—permanecem pouco compreendidos. Existe uma lacuna crítica em distinguir como os modelos realizam inferência transitiva (por exemplo, se $A > B$ e $B > C$, então $A > C$) sob dois regimes de aprendizado distintos:

1. Aprendizado nos Pesos (IWL): A informação é armazenada nos parâmetros do modelo durante o treinamento.
2. Aprendizado em Contexto (ICL): A informação é fornecida dinamicamente dentro da sequência de entrada no momento da inferência.

Embora o ICL tenha sido estudado em classificação e regressão, seu comportamento em tarefas de raciocínio relacional é incerto. É difícil determinar se os modelos de linguagem grandes (LLMs) dependem de conhecimento prévio codificado nos pesos ou estão realizando verdadeira inferência em contexto, em grande parte devido ao controle limitado sobre os dados de treinamento em modelos pré-treinados. Este artigo investiga como esses modos de aprendizado diferem em seus vieses indutivos e padrões de generalização, utilizando a inferência transitiva como uma tarefa prototípica.

Metodologia

Os autores empregaram uma abordagem multifacetada, combinando experimentos controlados em transformers pequenos treinados do zero com experimentos de sondagem em modelos de linguagem grandes (LLMs).

1. Configuração da Tarefa de Inferência Transitiva

A tarefa central envolve uma hierarquia de itens (por exemplo, $A > B > C > \dots > G$).

• Entrada: Pares de itens (tokens) com rótulos indicando sua ordem relativa (+1 se o primeiro > segundo, -1 caso contrário).
• Dados de Treinamento: Os modelos são treinados exclusivamente em pares adjacentes (distância simbólica = 1, por exemplo, $A>B$, $B>C$).
• Avaliação: Os modelos são testados em pares não adjacentes (distância simbólica > 1, por exemplo, $A>C$) para medir a generalização transitiva.
• Arquitetura: Um transformer de duas camadas, apenas com atenção (omitindo MLPs para interpretabilidade), usando embeddings ResNet18 de imagens do Omniglot como características de entrada.

2. Condições Experimentais

O estudo compara três regimes de treinamento específicos:

• IWL (Hierarquia Fixa): A hierarquia é fixa em todas as sequências de treinamento. Exemplos de contexto são aleatórios e irrelevantes, forçando o modelo a aprender a estrutura de classificação em seus pesos.
• ICL Padrão (Hierarquia Dinâmica): Uma nova hierarquia aleatória é atribuída para cada sequência de treinamento. O contexto contém todos os pares adjacentes para aquela sequência específica. O modelo deve inferir a classificação a partir do contexto, impedindo o armazenamento de hierarquias específicas nos pesos.
• ICL com Pré-treinamento em Regressão Linear: Os modelos são primeiro pré-treinados em uma tarefa de regressão linear em contexto (prever $y = Wx$) onde os pesos $W$ mudam a cada sequência. Isso força o modelo a aprender uma representação linear latente via ICL antes de ser avaliado na tarefa de inferência transitiva.

3. Análise Mecanística

Para entender como os modelos resolvem a tarefa, os autores utilizaram:

• Análise de Componentes Principais (PCA): Para visualizar a geometria das representações das camadas ocultas.
• Análise de Padrões de Atenção: Para identificar mecanismos de circuito específicos, como "cabeças de indução" (atenção ao token anterior + cabeças de indução).
• Estudos de Ablação: Remoção sistemática de cabeças de atenção para testar a importância causal.

4. Sondagem em Modelos de Linguagem Grandes (LLM)

Para testar a generalizabilidade, os autores utilizaram o conjunto de dados ReCogLab com LLMs pré-treinados (famílias Gemini e Gemma). Eles empregaram um paradigma de congruência:

• Congruente: Relações alinham-se com o conhecimento do mundo real (por exemplo, Baleia > Golfinho).
• Incongruente: Relações contradizem o conhecimento do mundo real (por exemplo, Peixe-ouro > Golfinho).
• Andaimagem Geométrica: Os prompts foram aumentados com instruções para imaginar itens em uma linha numérica linear (suporta transitividade) versus um círculo (viola a transitividade devido ao envolvimento).

Principais Resultados

1. Comportamentos Divergentes em IWL vs. ICL Padrão

• Modelos IWL: Exibem naturalmente inferência transitiva apesar de serem treinados apenas em pares adjacentes. Eles exibem efeitos comportamentais semelhantes aos humanos:
  • Efeito de Distância Simbólica: A precisão aumenta à medida que a distância entre os itens na hierarquia aumenta.
  • Efeito de Item Terminal: Desempenho mais alto em itens nas extremidades da hierarquia.
  • Representações: A PCA revela um embedding contínuo e linear onde os itens são organizados pela distância simbólica assinada.
• Modelos ICL Padrão: Falham em generalizar transitivamente quando treinados apenas em pares adjacentes.
  • Eles alcançam alta precisão em pares adjacentes (memorização) e itens terminais, mas performam ao acaso em pares internos não adjacentes.
  • Mecanismo: Eles dependem de um circuito de indução (estratégia de correspondência e cópia) em vez de aprender estruturas relacionais. A PCA não mostra representações baseadas em distância; o modelo simplesmente copia o rótulo do contexto se o par estiver presente.
  • Nota: Se os modelos ICL forem explicitamente treinados em pares não adjacentes, eles podem aprender transitividade, mas não exibem o efeito de distância simbólica observado no IWL.

2. O Papel do Pré-treinamento Linear

• O pré-treinamento de modelos ICL em regressão linear em contexto altera fundamentalmente seu comportamento.
• Esses modelos exibem inferência transitiva, efeitos de distância simbólica e efeitos de item terminal na tarefa subsequente de TI.
• Mecanismo: O circuito de indução desaparece. Em vez disso, o modelo desenvolve representações distribuídas que capturam relações hierárquicas, semelhantes aos modelos IWL. A tarefa de regressão linear induz uma estrutura representacional aditiva (ranks escalares) onde a transitividade emerge matematicamente ($rank(A) > rank(B) \land rank(B) > rank(C) \implies rank(A) > rank(C)$).

3. Achados em Modelos de Linguagem Grandes

• Congruência: LLMs performam melhor em sondas de raciocínio relacional congruentes (aproveitando conhecimento armazenado semelhante ao IWL) do que em incongruentes (exigindo ICL puro).
• Andaimagem Geométrica: Quando solicitados em tarefas incongruentes, prompts de geometria linear ("Imagine uma linha numérica") melhoram significativamente a inferência transitiva em comparação com prompts circulares ("Imagine um círculo").
• Este efeito é mais pronunciado em condições incongruentes e escala com o tamanho do modelo (nos modelos Gemma), sugerindo que LLMs possuem representações lineares latentes que podem ser ativadas por uma estruturação geométrica adequada.

Principais Contribuições

1. Caracterização de Vieses Indutivos: O artigo demonstra que IWL e ICL levam a estratégias computacionais qualitativamente diferentes. O IWL induz naturalmente um viés linear e transitivo, enquanto o ICL padrão recorre a uma estratégia de correspondência e cópia, a menos que os dados de treinamento ou o pré-treinamento exijam explicitamente generalização relacional.
2. Explicação Mecanística: Os autores identificam que a falta de generalização transitiva no ICL padrão deve-se à formação de circuitos de indução (correspondência de padrões) em vez da aprendizagem de estruturas relacionais. Por outro lado, o pré-treinamento em regressão linear suprime esses circuitos em favor de representações lineares distribuídas.
3. Ponte entre Modelos Pequenos e LLMs: Ao usar prompts geométricos, o estudo mostra que os achados de experimentos controlados e em pequena escala generalizam-se para LLMs modernos. Ele fornece evidências de que a capacidade dos LLMs de realizar raciocínio transitivo depende do acesso a representações adequadamente estruturadas, seja armazenadas nos pesos ou ativadas via contexto.

Significado e Alegações

O artigo alega que a capacidade de inferência transitiva em transformers não é uma capacidade fixa, mas é criticamente determinada por:

1. O Regime de Treinamento: Se a informação é aprendida nos pesos ou em contexto.
2. A Estrutura Geométrica das Representações: Se as representações induzidas são lineares (suportando transitividade) ou dependem de correspondência de padrões.

Os autores concluem que, embora os transformers possam realizar inferência transitiva, o ICL padrão em pares adjacentes não produz automaticamente essa capacidade. Em vez disso, requer ou um pré-treinamento específico que induza representações lineares (como regressão linear) ou a ativação de estruturas lineares latentes por meio de prompts geométricos em LLMs. Este trabalho destaca que o "raciocínio" em LLMs pode frequentemente ser um reflexo da estrutura geométrica das representações que são forçados a usar ou acessar, em vez de um mecanismo inerente de dedução lógica.