Do Language Models Align with Brains? Prediction Scores Are Not Enough

Resumo Técnico: "Os Modelos de Linguagem se Alinham com o Cérebro? Pontuações de Previsão Não São Suficientes"

Declaração do Problema
O artigo aborda uma ambiguidade crítica no NeuroAI: a confluência entre utilidade preditiva e alinhamento estrutural ou mecanístico. Embora os grandes modelos de linguagem (LLMs) sejam rotineiramente utilizados para prever respostas neurais a estímulos linguísticos naturalistas, uma pontuação de previsão elevada não implica necessariamente que as representações internas do modelo capturem computações relevantes para o cérebro. Uma característica do modelo pode prever dados neurais simplesmente porque compartilha propriedades estatísticas de baixo nível com o estímulo (por exemplo, autocorrelação temporal, frequência lexical ou temporização do estímulo), em vez de refletir a estrutura organizacional do cérebro. Os autores argumentam que as práticas atuais de avaliação frequentemente superinterpretam pontuações de codificação positivas como evidência de alinhamento biológico, sem controles suficientes para descartar essas explicações não específicas.

Metodologia: O Framework L-PACT
Para resolver essa ambiguidade, os autores introduzem o L-PACT (Teste de Linguagem Preditiva, Padrão de Alinhamento, Causal e Limitado por Turing). O L-PACT não é uma única pontuação de referência, mas uma hierarquia estruturada em quatro níveis, com portas lógicas, projetada para separar evidências preditivas fracas de alegações fortes de alinhamento. O framework opera sobre um conjunto fixo de artefatos neurais e de modelo derivados de conjuntos de dados primários (Brain Treebank, Podcast ECoG, MEG-MASC) e aplica uma regra de decisão conjuntiva: uma linha de modelo deve passar por todos os quatro níveis simultaneamente para ser considerada candidata a alinhamento.

Os quatro níveis de evidência são:

1. Adequação Preditiva (Nível 1): Determina se características reais do modelo melhoram a previsão neural em dados retidos, em relação tanto a bases de ruído quanto a controles severos. Controles severos incluem características aleatórias com dimensionalidade correspondente, características aleatórias correspondentes à autocorrelação, deslocamentos circulares, características de reinício de frase, características de contexto invertido, permutações de rótulos de camada e embaralhamento de ordem de tokens.
2. Adequação Relacional (Nível 2): Testa se os perfis de alinhamento de modelo para cérebro reproduzem padrões de alinhamento de cérebro para cérebro. Em vez de apenas corresponder a um único alvo, o modelo deve replicar a organização relacional entre unidades neurais (por exemplo, como a Unidade A se relaciona com a Unidade B) melhor do que perfis de controle severo.
3. Adequação de Desnudamento Mecanístico Contrafactual (Nível 3): Avalia se a remoção de um mecanismo candidato (por exemplo, surpresa, transição semântica, fronteira sintática) da representação do modelo produz um déficit seletivo para corresponder a alvos neurais. Isso testa a necessidade específica do mecanismo dentro do preditor, distinguindo degradação específica de perda genérica de qualidade de características.
4. Adequação Limitada por Confiabilidade (Nível 4): Normaliza a evidência do modelo contra tetos cérebro-cérebro (por exemplo, confiabilidade meio-a-meio, execução-a-execução ou sujeito-a-sujeito). As pontuações do modelo devem aproximar-se da variabilidade observada entre as próprias medições cerebrais para serem consideradas confiáveis.

Contribuições Principais

• Framework L-PACT: Uma arquitetura de avaliação rigorosa e auditada quanto à fonte que separa pontuações preditivas de alegações relacionais, específicas de mecanismo e limitadas por confiabilidade. Define explicitamente "alinhamento" como uma alegação qualificada por portas, exigindo robustez de controle, organização relacional e especificidade de mecanismo, distinta da mera "correspondência".
• Elegibilidade de Conjuntos de Dados Auditada por Fonte: O estudo implementa uma auditoria rigorosa da cadeia de artefatos, classificando conjuntos de dados como primários, secundários, diagnósticos ou apenas de validação, com base na disponibilidade de séries temporais cerebrais, eventos de palavras, características de modelo, controles severos e estimativas de confiabilidade. Notavelmente, o popular conjunto de dados NaturalStories é excluído da inferência primária devido a cadeias de artefatos incompletas.
• Controles de Sensibilidade do Ensaio: Para garantir que resultados negativos não sejam devidos a falha do ensaio, os autores implementaram controles positivos que não alteram decisões reais do modelo. Estes incluem:
  • Controles de confiabilidade cérebro-cérebro: Verificando estrutura estável em dados cerebrais meio-a-meio ou execução-a-execução.
  • Controles cérebro-como-modelo: Testando se um perfil cerebral de uma execução/um sujeito pode prever outro, passando pela porta relacional.
  • Portas neurais de baixo nível e de envelope acústico: Verificando a detecção de sinais de início de palavra, taxa de palavra e envelope acústico.
  • Simulação determinística de sinal implantado: Um controle sintético onde um sinal conhecido é injetado, demonstrando que as portas do L-PACT podem passar quando a estrutura está presente.

Resultados
A análise cobriu um conjunto fixo de 146 linhas de decisão integradas derivadas de 414 linhas de controle-preditivo, 2.304 relacionais, 4.320 de desnudamento de mecanismo e 420 de teto cérebro-cérebro.

• Nenhuma Aprovação Integrada: Zero linhas reais de modelo passaram pela regra de decisão integrada do L-PACT. Todas as 146 linhas integradas foram classificadas como explicadas por controle.
• Rebaixamento de Positivos Aparentes: Sob regras menos rigorosas, de critério único, muitos positivos aparentes surgiram (por exemplo, 35 linhas com pontuações brutas de Pearson positivas, 1.224 linhas com similaridade de perfil bruta positiva). No entanto, o L-PACT rebaixou esses casos porque não sobreviveram a controles severos, não reproduziram estrutura relacional, não mostraram necessidade específica de mecanismo ou não se aproximaram dos tetos de confiabilidade cérebro-cérebro.
• Sensibilidade do Ensaio Confirmada: Os controles positivos tiveram sucesso. Os controles de confiabilidade cérebro-cérebro mostraram estrutura estável; os controles cérebro-como-modelo passaram pela porta relacional para o Brain Treebank (744/864 linhas); as portas neurais de baixo nível e acústicas detectaram sinais esperados; e a simulação sintética de sinal implantado passou por todas as quatro portas. Isso confirma que o ensaio é capaz de detectar estrutura quando presente, validando o resultado negativo para modelos de linguagem reais.
• Falhas Específicas:
  • Preditiva: Pontuações reais de modelo foram frequentemente igualadas ou superadas por controles severos (por exemplo, deslocamentos circulares ou características aleatórias correspondentes à autocorrelação).
  • Relacional: Perfis de modelo para cérebro não reproduziram padrões de alinhamento cérebro para cérebro melhor do que perfis embaralhados ou de controle.
  • Desnudamento de Mecanismo: O desnudamento de mecanismos não produziu déficits seletivos; as quedas observadas foram não específicas ou não apoiadas por portas a montante.
  • Confiabilidade: A evidência do modelo não se aproximou do teto de confiabilidade cérebro-cérebro.

Significado e Alegações
A alegação central do artigo é que pontuações de previsão, sozinhas, são evidência insuficiente para alinhamento estrutural ou específico de mecanismo entre modelos de linguagem e cérebros. Os autores enfatizam que isso é uma restrição sobre a força da evidência, não um veredito universal de que os modelos nunca podem se alinhar com cérebros.

• Distinção de Alegações: O estudo distingue entre correspondência (associação estatística reproduzível útil para previsão) e alinhamento (uma alegação mais forte que exige robustez de controle, organização relacional e especificidade de mecanismo).
• Resultados Negativos Acionáveis: Ao converter positivos aparentes em uma "taxonomia auditável explicada por controle", o L-PACT fornece um padrão claro para trabalhos futuros. Uma alegação positiva futura deve ser localizada na porta específica que ela satisfaz novas, em vez de ser assertada a partir de uma pontuação agregada.
• Postura Conservadora: Os autores afirmam explicitamente que não alegam que todas as comparações possíveis entre modelo e cérebro são negativas, nem alegam que os modelos atuais nunca se alinharão. A conclusão é limitada ao conjunto de artefatos derivados analisado, aos modelos específicos testados (incluindo variantes DistilGPT-2, GPT-2, Pythia e Qwen) e aos controles configurados. O framework é projetado para julgar alegações fortes, o que significa que troca sensibilidade por interpretabilidade para evitar a superinterpretação da utilidade preditiva.

Em resumo, o artigo argumenta que, sem controles severos, testes de perfil relacional, desnudamento de mecanismo e limitação de confiabilidade, pontuações positivas de previsão neural correm o risco de fazer modelos computacionais parecerem mais informativos biologicamente do que a evidência suporta. O L-PACT fornece a infraestrutura metodológica para separar essas alegações.