Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

1. Declaração do Problema

O artigo aborda uma questão metodológica crítica na IA contemporânea e na ciência cognitiva: a "Falácia da Atribuição". Esta falácia ocorre quando pesquisadores confundem desempenho comportamental de nível humano (similaridade de saída) com mecanismos computacionais semelhantes aos humanos (plausibilidade estrutural/cognitiva).

Os autores focam no Centaur, um recente "Modelo Unificado de Cognição" proposto por Binz et al. (2025). O Centaur é um Modelo de Linguagem de Grande Escala (LLM) ajustado finamente (baseado no Llama 3.1 70B) treinado no conjunto de dados Psych-101 (mais de 10 milhões de decisões humanas de 160 experimentos psicológicos). Defensores afirmam que o Centaur não apenas prevê o comportamento humano, mas também implementa mecanismos cognitivamente plausíveis e alinha-se com a atividade neural humana (fMRI).

Os autores argumentam que o sucesso do Centaur é provavelmente resultado de otimização funcionalista (correspondência de estatísticas de entrada-saída) e não de homologia estrutural (compartilhamento de mecanismos cognitivos subjacentes). Eles postulam que alta precisão preditiva e correlação neural não implicam necessariamente que o sistema possua cognição semelhante à humana.

2. Metodologia: O Quadro LAPITHS

Para avaliar rigorosamente tais alegações, os autores introduzem o LAPITHS (Análise de Modelos de Linguagem através de Interpretações de Teses sobre Humanidade Fundamentadas em Paradigmas). Este quadro combina análise teórica com replicação empírica, centrado na Grade Cognitiva Mínima (MCG).

A. A Grade Cognitiva Mínima (MCG)

A MCG avalia sistemas artificiais em três dimensões quantitativas para determinar a "Plausibilidade Cognitiva" ($PM$):

1. Razão Funcional/Structural (FSR):
   • Mede o equilíbrio entre design funcional (correspondência de saída) e design estrutural (aderência a teorias cognitivas).
   • Utiliza um conjunto de restrições estruturais ($c_1...c_k$) derivadas da ciência cognitiva (por exemplo, limites de memória de trabalho, aprendizado incremental, planejamento baseado em modelos).
   • Calcula uma pontuação onde um FSR baixo indica alta plausibilidade estrutural, e um FSR alto indica que o sistema depende de imitação funcional sem restrições estruturais.
2. Generalidade ($G_M$):
   • Avalia a amplitude dos domínios cognitivos cobertos, com base na teoria das habilidades cognitivas Cattell–Horn–Carroll (CHC).
   • Avalia o desempenho em domínios como Raciocínio Fluido, Conhecimento Quantitativo, Processamento Visual e Habilidades Sensoriais/Motoras.
3. Correspondência de Desempenho ($P_{MM}$):
   • Compara o sistema artificial com baselines humanos em tarefas específicas usando:
     • Precisão: Desvio da Negativa Log-Verossimilhança (NLL) humana.
     • Padrões de Erro: Replicação de distribuições de erro humanas (por exemplo, estratégias sem modelo vs. baseadas em modelo).
     • Tempo de Execução: Alinhamento com tempos de resposta humanos (embora frequentemente indisponível para LLMs).

A Pontuação de Plausibilidade Cognitiva ($PM$) final é uma soma ponderada dessas dimensões ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Estratégia de Replicação Empírica

Os autores aplicaram o LAPITHS à Tarefa de Dois Passos (TST), um paradigma canônico de aprendizado por reforço usado para testar estratégias baseadas em modelo versus sem modelo.

1. Replicação Comportamental: Eles testaram se LLMs padrão, não ajustados finamente (usando Geração Aumentada por Recuperação (RAG) para acessar regras da tarefa), poderiam replicar o ajuste comportamental do Centaur (NLL) na TST.
2. Replicação Neural: Eles testaram se esses mesmos LLMs baseados em RAG poderiam gerar padrões de ativação de Região de Interesse (ROI) de fMRI que correlacionam com dados humanos, sem ajuste fino neurocientífico específico.

3. Principais Contribuições

• Quadro Teórico: Formaliza a distinção entre adequação funcional e plausibilidade cognitiva, fornecendo uma métrica (MCG) para quantificar a "Falácia da Atribuição".
• Crítica ao Centaur: Demonstra que o Centaur falha em satisfazer restrições estruturais chave da cognição humana (especificamente em relação ao aprendizado incremental e limites de memória), apesar de sua alta precisão comportamental.
• Desafio Empírico: Mostra que o alinhamento comportamental e neural "estado da arte" não é exclusivo de modelos especializados e ajustados finamente como o Centaur, mas pode ser alcançado por LLMs de propósito geral via simples promptagem e recuperação.

4. Principais Resultados

A. Análise MCG do Centaur

• Falha Estrutural: O Centaur pontuou muito baixo na Razão Funcional/Estrutural ($FSR' \approx 0,18$).
  • Falhou em implementar aprendizado incremental (usa treinamento em lote, não atualizações online).
  • Falhou em implementar planejamento baseado em modelo explicitamente (aproxima a saída via uma passagem direta sem um modelo de transição interno).
  • Falhou em respeitar limites de memória de trabalho (sua janela de contexto é ilimitada, ao contrário da capacidade humana).
• Alta Correspondência de Desempenho: O Centaur alcançou uma alta $P_{MM}$ ($0,83$) porque foi explicitamente treinado para corresponder às escolhas humanas.
• Plausibilidade Geral: A pontuação composta foi baixa ($PM = 0,39$), indicando que, embora o Centaur seja um bom preditor, é um modelo cognitivo pobre.

B. Replicação Comportamental (NLL)

• RAG vs. Ajuste Fino: Vários LLMs de propósito geral (Llama Maverick, GPT-4o, GPT-5.1) equipados com RAG (acessando regras da tarefa) alcançaram pontuações NLL comparáveis ao Centaur.
• Significância Estatística:
  • Llama Maverick (RAG): NLL $\approx 0,54$ vs. Centaur NLL $\approx 0,51$. A diferença não foi estatisticamente significativa ($p \approx 0,095$).
  • Outros modelos (GPT-5.1, Gemini-2.5) mostraram apenas diferenças marginais e estatisticamente significativas em comparação ao Centaur, mas todos superaram significativamente a baseline Llama 3.1 e modelos cognitivos padrão.
• Conclusão: O ajuste fino especializado não é estritamente necessário para alcançar um ajuste comportamental de nível humano nesta tarefa.

C. Alinhamento Neural (fMRI)

• Alta Correlação sem Treinamento: LLMs baseados em RAG (por exemplo, Gemini-2.5 Pro, Llama Maverick) geraram vetores beta de ROI que mostraram correlação muito alta com dados de fMRI humanos (Pearson $r \approx 0,93$, Semelhança Cosseno $\approx 0,98$).
• Comparação com o Centaur: Esses valores foram significativamente mais altos do que a correlação de pico relatada para o Centaur no estudo original ($r \approx 0,37$).
• Implicação: Um alto alinhamento representacional com a atividade cerebral humana pode ser alcançado por modelos gerais simplesmente processando a estrutura da tarefa, sem necessidade de ajuste fino "neural". Isso sugere que a similaridade representacional é um indicador fraco de mecanismo cognitivo.

5. Significado e Conclusão

O artigo conclui que as realizações de modelos como o Centaur são superinterpretadas.

• Adequação Comportamental $\neq$ Plausibilidade Cognitiva: Alta precisão preditiva e até alta correlação neural não provam que um sistema implementa mecanismos cognitivos semelhantes aos humanos.
• O Perigo da Atribuição: Atribuir teorias cognitivas a sistemas de IA baseados apenas na correspondência de saída leva à "Falácia da Atribuição", onde a IA é confundida com um modelo genuíno da mente.
• Direção Futura: Os autores defendem uma mudança na avaliação de IA de benchmarks puramente orientados para desempenho para critérios teoricamente fundamentados (como a MCG) que imponham restrições estruturais (limites de memória, dinâmicas de aprendizado, incorporação).
• Núcleo Cognitivo Mínimo: Eles propõem o desenvolvimento de um "Núcleo Cognitivo Mínimo" para IA futura, garantindo que papéis funcionais sejam realizados dentro de sistemas que respeitem as restrições arquitetônicas da cognição biológica.

Em essência, o artigo argumenta que, embora o Centaur seja um poderoso emulador comportamental, não é um modelo cognitivo, e desempenho semelhante pode ser alcançado por sistemas menos especializados, tornando a alegação de "alinhamento cognitivo" teoricamente subdeterminada.