Riding Brainwaves in LLM Space: Understanding Activation Patterns Using Individual Neural Signatures

Resumo Técnico: Riding Brainwaves in LLM Space

1. O Problema

A neurociência cognitiva e a inteligência artificial têm tradicionalmente alinhado modelos de linguagem (LLMs) com dados neurais em nível populacional, ignorando a variação individual. Estudos de neuroimagem de precisão demonstram que as diferenças individuais na função cerebral são uma fonte dominante de variância, superando até mesmo os efeitos de tarefas e sessões. Com a chegada de dispositivos de EEG (eletroencefalografia) de consumo, surge a questão prática: os modelos de linguagem podem ser adaptados para capturar assinaturas neurais específicas de cada indivíduo?

O artigo investiga se as representações de LLMs "congelados" (frozen) codificam direções no espaço de ativação que preveem a atividade cerebral de uma pessoa específica, mas falham ao prever a de outra. A hipótese central é que, em vez de um mapeamento único para todos, existem direções individuais estáveis no espaço latente do modelo.

2. Metodologia

• Dados: Utilização do corpus ZuCo (versões 1.0 e 2.0), contendo dados de EEG e rastreamento ocular de 30 participantes lendo sentenças naturalistas.
  • Features: Potência de EEG em 8 bandas de frequência (theta a high-gamma) e 5 janelas temporais de leitura (ex: TRT, FFD), além de tamanho da pupila e contagem de fixações.
• Modelos de Linguagem:
  • Principal: Qwen 2.5 7B (focado em camadas 1, 4, 8, 12, 16, 20, 24, 28).
  • Replicação: LLaMA 3.1 8B.
• Pipeline Experimental:
  1. Extração de Estados Ocultos: Os estados ocultos das palavras são extraídos do modelo congelado e reduzidos via PCA para 50 dimensões.
  2. Probing (Sondagem):
     • Prova Populacional: Um único regressor Ridge treinado com dados de todos os 30 participantes agrupados.
     • Provas Específicas (Person-Specific): 30 regressores Ridge distintos, um para cada participante, mapeando os estados ocultos do modelo para o sinal neural daquele indivíduo específico.
  3. Avaliação: Correlação de Spearman ($\rho$) entre os valores previstos e reais do EEG em dados de validação (hold-out), com validação cruzada de 5 dobras (separada por sentença).
• Controles: Inclusão de controles negativos (ex: contagem de fixações, que depende do comprimento da palavra e não da cognição individual) e remoção de confusos lexicais (frequência, comprimento, surpresas do GPT-2).

3. Contribuições Principais

1. Evidência de Estrutura Neural Individual: Demonstra que representações de LLMs congelados contêm direções lineares específicas para cada pessoa que predizem sua atividade neural com precisão superior a qualquer mapeamento populacional.
2. Caracterização Geométrica: Mostra que essas direções individuais são:
   • Temporais: Estáveis ao longo da sessão de leitura (similaridade de cosseno split-half = 0.824).
   • Não Transferíveis: Uma prova treinada em um participante falha ao prever a atividade de outro (auto $\rho$ = 0.369 vs. outro $\rho$ = 0.143).
   • Independentes do Sinal Populacional: O sinal específico do indivíduo persiste mesmo após a remoção do componente populacional dos dados.
3. Localização em Camadas Profundas: O sinal individual concentra-se nas camadas mais profundas do modelo, atingindo o pico na Camada 24 (de 28), enquanto o sinal populacional permanece próximo de zero em todas as camadas.
4. Generalização Arquitetural: Os resultados replicam consistentemente em uma segunda arquitetura (LLaMA 3.1 8B), indicando que é uma propriedade geral dos transformers decodificadores.

4. Resultados Chave

• Desempenho Superior: As provas específicas de cada pessoa superaram a prova populacional em todas as 40 features de EEG testadas.
  • Exemplo (Potência High-Gamma - TRT g2):
    • Prova Específica: $\rho = 0.183$
    • Prova Populacional: $\rho = 0.020$
    • Melhoria: 9x ($p < 10^{-4}$).
  • Exemplo (Tamanho da Pupila): Melhoria de $\Delta = +0.189$.
• Controles de Validação:
  • Contagem de Fixações (nFixations): Não houve vantagem específica para o indivíduo ($\Delta = 0.004, p = 0.360$), confirmando que o ganho no EEG não é apenas ruído ou ajuste a características textuais.
  • Remoção de Confusos: Mesmo após regressar propriedades lexicais (frequência, comprimento, surpresas), a vantagem específica do indivíduo permaneceu significativa.
  • Embeddings Estáticos vs. LLM: Substituir as ativações do LLM por vetores aleatórios ou embeddings estáticos (GloVe) fez o desempenho colapsar ou cair drasticamente, provando que o contexto do LLM é essencial.
• Transferência Cruzada: A matriz de transferência 30x30 mostrou que as direções aprendidas são altamente específicas ao indivíduo, com pouca sobreposição entre participantes.

5. Significado e Implicações

• Revisão de Benchmarks Neuro-Linguísticos: Sugere que benchmarks como o Brain-Score, que avaliam apenas o nível populacional, descartam uma grande quantidade de informação decodificável. A avaliação deve evoluir para incluir a personalização.
• Personalização Baseada em Biologia: Abre caminho para sistemas de IA que se adaptam não apenas ao histórico de texto do usuário, mas à sua assinatura neural.
• Aplicações Práticas: Com a portabilidade do EEG, é possível imaginar sessões curtas de calibração para extrair a "direção neural" de um usuário no espaço do modelo. Métodos de steering (direcionamento) em tempo de inferência poderiam usar essa direção para ajustar a geração do modelo às preferências cognitivas individuais do usuário.
• Próximos Passos: O trabalho identifica as direções, mas não as injeta. O próximo passo mecânico seria a intervenção causal (adicionar essas direções ao residual stream durante a geração) para verificar mudanças comportamentais reais no modelo.

Em suma, o artigo estabelece que os modelos de linguagem modernos não são apenas representações genéricas de linguagem, mas contêm uma geometria rica e estável que codifica a identidade neural de cada indivíduo que processa o texto.