Can Large Language Models Simulate Human Cognition Beyond Behavioral Imitation?

1. O Problema

O artigo aborda uma questão fundamental na inteligência artificial: os Grandes Modelos de Linguagem (LLMs) simulam genuinamente a cognição humana ou apenas imitam comportamentos superficiais?

Atualmente, existem duas limitações principais nos benchmarks existentes para avaliar essa capacidade:

1. Rastros de raciocínio sintéticos: Muitos conjuntos de dados usam LLMs para gerar traços de raciocínio, o que cria uma "imitação de imitação" ontologicamente distinta da cognição humana real.
2. Agregação em nível populacional: Benchmarks anotados por humanos frequentemente misturam traços de raciocínio de diferentes indivíduos, colapsando padrões cognitivos individuais em estatísticas de grupo, quebrando a consistência da cognição subjacente.

O desafio central é obter dados de cognição humana autêntica, que é inerentemente implícita, heurística e difícil de acumular passo a passo em configurações naturais.

2. Metodologia

Os autores propõem uma nova abordagem baseada em trajetórias de pesquisa longitudinal de cientistas reais, utilizando publicações científicas como uma representação externalizada do processo cognitivo.

A. Construção do Benchmark

• Fonte de Dados: O estudo coleta publicações de 217 pesquisadores influentes em IA (filtrados por índice h e rankings AMiner), tratando cada autor como um sujeito cognitivo distinto.
• Extração Cognitiva: As seções de introdução dos artigos são analisadas para extrair quatro elementos cognitivos críticos:
  1. Background (Contexto/Problema)
  2. Motivation (Motivação/Justificativa)
  3. Approach (Abordagem/Método)
  4. Solution (Solução)
• Pipeline de Anotação: Utiliza-se um fluxo duplo:
  • Anotação por Especialistas: 10 doutorandos seniores extraem manualmente os elementos para garantir alta fidelidade (Gold Standard).
  • Anotação Automática: Uso de OCR e LLMs (GPT-5-nano) para escalabilidade, validado contra os dados dos especialistas.
• Configuração de Generalização (Cross-Domain & Temporal Shift):
  • O conjunto de treino consiste em trabalhos históricos do autor em tópicos estabelecidos.
  • O conjunto de teste consiste em trabalhos recentes do mesmo autor em um novo domínio (tópico não visto anteriormente).
  • Isso força o modelo a generalizar padrões cognitivos abstratos (filosofia de resolução de problemas) em vez de apenas imitar o estilo de escrita ou métodos específicos de um domínio.

B. Métricas de Avaliação

Além das métricas léxicas (ROUGE, BertScore) e semânticas (LLM-as-a-Judge), o artigo introduz uma métrica de consistência cognitiva baseada em cinco dimensões psicológicas e estruturais:

1. Consistência da Premissa Fundamental: Herda a perspectiva e o enquadramento do problema do autor?
2. Preferência Estratégica: Mantém as tendências de tomada de decisão (ex: favorecer frameworks teóricos vs. aplicações práticas)?
3. Mapeamento Lógico: O raciocínio segue os padrões lógicos habituais do autor?
4. Estilo de Palavras-Chave: Usa o vocabulário e as expressões habituais do autor?
5. Evitação de Tabus: Evita ativamente métodos ou suposições que o autor criticou historicamente?

3. Principais Contribuições

1. Novo Benchmark de Cognição Individual: O primeiro benchmark em larga escala baseado em histórias cognitivas autênticas de indivíduos reais, com deslocamento de domínio e tempo para evitar imitação superficial.
2. Framework de Avaliação Multidimensional: Propõe métricas específicas para medir a "internalização cognitiva" (padrões abstratos) versus "imitação comportamental" (superfície).
3. Estudo Empírico Abrangente: Avaliação sistemática de vários LLMs de última geração (GPT-5.1, Gemini-2.5, Qwen-3, Llama-3.1) e técnicas de aprimoramento (Prompting e Aprendizado Supervisionado).

4. Resultados Chave

Os experimentos respondem a duas perguntas centrais:

Q1: Quão bem os LLMs atuais simulam a cognição humana?

• Simulação Comportamental (Sim): Os modelos conseguem imitar comportamentos observáveis. Quando fornecidos com a história do autor (configuração SELF), eles superam significativamente o uso de histórias aleatórias (OTHER) em métricas léxicas e semânticas.
• Internalização Cognitiva (Não): Os modelos falham em internalizar e transferir processos cognitivos latentes através de domínios.
  • A diferença de desempenho entre usar a história recente do autor no mesmo domínio (SELFAKIN) e usar a história histórica em um novo domínio (SELF) é grande.
  • Isso indica que os LLMs dependem de similaridade semântica e estilo, não conseguindo extrair invariáveis cognitivas de alto nível.
  • A avaliação humana confirma que >95% dos casos são imitações comportamentais, com pouquíssimos casos de verdadeira internalização cognitiva.

Q2: Até onde as técnicas existentes podem aprimorar essas capacidades?

• Prompting (Guiado por Teoria Cognitiva): Técnicas como PersonalityTrait e CognitiveGuide trazem melhorias moderadas, mas limitadas pela capacidade cognitiva intrínseca do modelo base. Elas remodelam a expressão, mas não induzem abstração profunda.
• Métodos Baseados em Aprendizado (Fine-tuning):
  • Treino Individual: Foca em regularidades estatísticas de superfície, melhorando métricas léxicas mas falhando em dimensões cognitivas.
  • Treino Unificado: Ao treinar um modelo único para todos os autores, ocorre um "colapso cognitivo", onde os traços individuais são apagados pela média estatística, piorando drasticamente a consistência cognitiva.

5. Significado e Conclusão

O estudo conclui que, apesar do desempenho impressionante na alinhamento comportamental, os LLMs atuais estão limitados a imitação estatística e não alcançam internalização cognitiva genuína.

• Limitação Paradigmática: O desenvolvimento atual de LLMs, baseado na emergência passiva de capacidades a partir de dados massivos e otimização de próxima palavra, é eficaz para imitação, mas insuficiente para modelagem cognitiva robusta.
• Direção Futura: Para avançar em direção a uma modelagem cognitiva real, a comunidade precisa mudar de paradigmas passivos para objetivos de aprendizado ativo de alto nível, como:
  • Meta-aprendizado cognitivo.
  • Auto-supervisão orientada à abstração.
  • Aprendizado por reforço alinhado a processos de raciocínio humano (e não apenas a recompensas de resultado).

Em suma, o trabalho estabelece um limite claro para as capacidades cognitivas atuais dos LLMs e fornece as ferramentas e o benchmark necessários para medir o progresso futuro em direção a máquinas que realmente "pensam" como humanos, e não apenas falam como eles.