Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

Este estudo utiliza dados de fMRI e aprendizado de variedades para demonstrar que os modelos de linguagem exibem um processo de abstração em duas fases, onde a fase de composição se comprime em menos camadas com o treinamento e a capacidade de codificação neural está fortemente correlacionada com a dimensionalidade intrínseca das representações, derivando principalmente da composicionalidade do modelo e não de sua tarefa de previsão da próxima palavra.

O essencial

Imagine que você está tentando entender como o cérebro humano funciona quando ouve uma história. Cientistas descobriram algo fascinante: os computadores modernos (chamados de Grandes Modelos de Linguagem, ou LLMs) "pensam" de uma maneira muito parecida com o nosso cérebro. Se você pegar o "pensamento" do computador em um determinado momento, consegue prever o que o cérebro de uma pessoa está fazendo naquele instante.

Mas aqui está o mistério: em qual momento o computador pensa mais parecido com o cérebro?

Surpreendentemente, não é no final, quando o computador está escolhendo a próxima palavra para dizer. É bem no meio do caminho, nas camadas intermediárias.

Este artigo, escrito por Emily Cheng e Richard Antonello, explica por que isso acontece, usando uma analogia de uma "fábrica de ideias" em duas fases.

A Analogia da Fábrica de Ideias

Imagine que o computador é uma fábrica gigante que transforma sons e palavras soltas em ideias complexas. Essa fábrica tem várias esteiras de produção (camadas).

1. Fase 1: A Montagem (Abstração e Composição)

   • No começo da fábrica, as peças chegam soltas. O trabalho aqui é juntar essas peças, entender como elas se encaixam, criar estruturas e formar conceitos. É como montar um quebra-cabeça ou construir uma casa tijolo por tijolo.
   • Neste momento, a "complexidade" das ideias está crescendo. O computador está criando uma representação rica e detalhada do significado.
   • O que o artigo descobriu: É exatamente aqui, no auge dessa fase de montagem, que o computador mais se parece com o cérebro humano. Nosso cérebro também está ocupado montando o significado da frase, não apenas adivinhando a próxima palavra.

2. Fase 2: A Embalagem (Previsão e Saída)

   • Depois que a ideia está montada, a fábrica precisa empacotá-la para vender. O trabalho muda: agora o foco é apenas prever qual é a próxima palavra que vai sair da fábrica.
   • Para fazer isso rápido e eficiente, a fábrica simplifica as coisas. Ela joga fora os detalhes complexos da "montagem" e foca apenas no resultado final.
   • O problema: Quando o computador entra nessa fase de "apenas prever a próxima palavra", ele deixa de se parecer com o cérebro. O cérebro humano continua processando o significado, mas o computador está focado apenas na estatística da próxima palavra.

O "Pico" da Complexidade

Os autores usaram uma espécie de "régua mágica" (chamada de dimensionalidade intrínseca) para medir o quão complexas e ricas são as ideias em cada etapa da fábrica.

• Eles descobriram que existe um pico de complexidade.
• Antes desse pico, a complexidade sobe (fase de montagem).
• Depois desse pico, a complexidade cai (fase de previsão).
• O segredo: O momento em que o computador mais se parece com o cérebro humano é exatamente no topo desse pico, onde a complexidade é máxima.

O Que Isso Significa para o Futuro?

1. Não é só sobre "adivinhar a próxima palavra": Muitos pensavam que o computador parecia com o cérebro porque ambos tentam prever o futuro (a próxima palavra). O artigo diz: "Não exatamente". O cérebro se parece com o computador porque ambos estão construindo ideias complexas (composição), não apenas adivinhando.
2. Melhorando os Computadores: Se quisermos criar computadores que entendam o mundo tão bem quanto nós, talvez não devamos focar apenas em fazê-los prever palavras. Devemos focar em melhorar a "Fase 1" (a montagem de ideias).
3. Treinamento: À medida que os computadores são treinados por mais tempo, esse "pico de complexidade" (onde eles parecem com o cérebro) tende a se mover um pouco para trás, para as camadas iniciais. É como se a fábrica aprendesse a montar as ideias mais rápido.

Resumo em Uma Frase

O cérebro humano e os computadores inteligentes se parecem mais quando ambos estão construindo o significado de uma frase (a fase de montagem), e não quando estão apenas tentando adivinhar a próxima palavra (a fase de saída). O artigo prova que essa "fase de montagem" é o segredo da conexão entre máquinas e mentes humanas.

Resumo técnico

Título: Evidências de fMRI Suportam um Processo de Abstração em Duas Fases em Modelos de Linguagem

1. Problema e Motivação

Pesquisas anteriores demonstraram consistentemente que os estados ocultos intermediários de Grandes Modelos de Linguagem (LLMs) conseguem prever com alta precisão a resposta cerebral humana medida por ressonância magnética funcional (fMRI) durante o processamento de linguagem. No entanto, a razão fundamental para essa similaridade permanece pouco compreendida.

• A Questão Central: Por que são as camadas intermediárias (e não as camadas de saída) que apresentam o melhor desempenho na previsão da atividade cerebral?
• Hipóteses Concorrentes: A similaridade é devida a propriedades de aprendizado semelhantes (como a previsão do próximo token) ou a propriedades abstratas e composicionais inerentes à representação de conceitos complexos?
• Objetivo: Investigar se a similaridade cérebro-modelo é impulsionada pela capacidade de abstração/composição dos LLMs ou apenas pela sua tarefa de treinamento de previsão do próximo token.

2. Metodologia

Os autores empregaram uma abordagem multimodal combinando neurociência computacional e análise de representações de LLMs:

• Dados de fMRI: Utilizaram dados públicos de 3 sujeitos humanos ouvindo 20 horas de histórias em podcasts. Foram treinados modelos de codificação neural (encoding models) usando regressão Ridge para mapear as representações dos LLMs para a atividade cerebral (voxel a voxel).
• Modelos de Linguagem: Foram utilizados modelos da família OPT (125M, 1.3B, 13B) e Pythia (6.9B), incluindo checkpoints em diferentes estágios de treinamento (de 1K a 143K passos).
• Métricas Analisadas:
  1. Similaridade de Representação (Desempenho de Codificação): A precisão linear na previsão da atividade cerebral a partir das ativações de cada camada do LLM.
  2. Dimensionalidade Intrínseca ($I_d$) e Efetiva ($d$): Medida da complexidade das características abstratas em cada camada. Utilizou-se o estimador GRIDE (Generalized Ratios Intrinsic Dimension Estimator) para $I_d$ (não linear) e PCA/Participation Ratio para $d$ (linear).
  3. Surpresa (Surprisal): Erro de previsão do próximo token, calculado camada por camada usando a abordagem TunedLens (que aprende um mapeamento afim para prever o token seguinte a partir de camadas intermediárias), reduzindo o ruído de medição.
• Análise de Manifold: Aplicação de métodos de aprendizado de manifold para observar como a estrutura das representações evolui durante o treinamento.

3. Principais Contribuições e Resultados

• Correlação entre Dimensionalidade e Desempenho de Codificação:

  • Descobriu-se uma forte correlação positiva entre a dimensionalidade intrínseca ($I_d$) das representações de uma camada e seu desempenho na previsão da atividade cerebral.
  • Camadas com maior dimensionalidade intrínseca (indicando maior complexidade de características abstratas) correspondem melhor à atividade cerebral em regiões de processamento linguístico de alto nível (exceto o córtex auditivo primário, que processa informações espectrais de baixo nível).

• Evidência de um Processo em Duas Fases:

  • Os resultados revelam uma transição clara nas camadas dos LLMs, dividindo o processo em duas fases distintas:
    1. Fase de Composição/Abstração (Camadas Iniciais/Intermediárias): Caracterizada pelo aumento da dimensionalidade intrínseca e do desempenho de codificação cerebral. É aqui que o modelo extrai características sintáticas e semânticas de alto nível.
    2. Fase de Predição/Extração (Camadas Finais): Após o pico de dimensionalidade, há uma queda acentuada na dimensionalidade e no desempenho de codificação cerebral, concomitante a uma queda brusca na perda de previsão do próximo token (surpresa).
  • O pico de desempenho de codificação cerebral ocorre exatamente na camada onde a perda de predição do próximo token começa a cair drasticamente (ex: Camada 17 no OPT-1.3B).

• Evolução Durante o Treinamento:

  • Ao analisar checkpoints de treinamento (Pythia-6.9B), observou-se que o pico de dimensionalidade intrínseca e o pico de desempenho de codificação cerebral emergem e se estabilizam nas mesmas camadas à medida que o modelo treina.
  • À medida que o modelo se torna maior e mais treinado, a camada ideal para codificação cerebral tende a "deslizar" para camadas mais iniciais, sugerindo uma saturação da fase de composição inicial.

• Refutação da Hipótese de Predição Pura:

  • A forte correlação entre a dimensionalidade e a codificação cerebral, em contraste com a queda de desempenho nas camadas finais de alta precisão de predição, sugere que a similaridade cérebro-modelo é impulsionada pela composicionalidade e abstração, e não pela tarefa de previsão do próximo token (que domina as camadas finais).

4. Significado e Implicações

• Validação Biológica: O estudo fornece evidências de que o cérebro humano e os LLMs compartilham um processo de abstração em duas fases. O cérebro parece alinhar-se melhor com a fase onde os modelos constroem representações ricas e composicionais, antes de focar na otimização para a próxima palavra.
• Interpretabilidade: A descoberta apoia a literatura de interpretabilidade que sugere que as camadas intermediárias dos Transformers realizam a "composição" de conceitos, enquanto as camadas finais focam na "extração" para a saída.
• Aplicações Práticas: Os autores sugerem que, para melhorar modelos de codificação neural, não se deve usar apenas uma única camada. Em vez disso, combinar as propriedades espectrais de diferentes camadas para criar uma representação com dimensionalidade intrínseca mais alta do que qualquer camada individual poderia levar a modelos de codificação mais robustos.
• Limitações: O estudo focou em duas famílias de modelos (OPT e Pythia). A generalização para outras arquiteturas e tarefas linguísticas requer investigação futura.

Em resumo, o trabalho demonstra que a capacidade dos LLMs de modelar o cérebro não é um subproduto acidental da previsão de próxima palavra, mas sim uma consequência direta da arquitetura que permite a formação de representações abstratas e composicionais complexas em camadas intermediárias, espelhando o processamento hierárquico do cérebro humano.