Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

1. Problema de Pesquisa

O artigo investiga uma questão fundamental na interseção entre Inteligência Artificial e Ciências Cognitivas: os Grandes Modelos de Linguagem (LLMs) conseguem simular a variabilidade comportamental humana?

Embora os LLMs sejam cada vez mais utilizados como substitutos para participantes humanos em estudos cognitivos devido à sua escalabilidade e eficiência, existe uma preocupação crescente de que eles careçam da diversidade e das diferenças individuais inerentes à cognição humana. Enquanto os LLMs são otimizados para consistência semântica e regularidade, a cognição humana é caracterizada por variações significativas em estratégias de recuperação de memória, funções executivas e conhecimento lexical. O estudo foca especificamente na fluência fonêmica (gerar palavras começando com uma letra específica, como "F", em um tempo limitado), uma tarefa que exige uma busca esforçada no léxico mental baseada em forma ortográfica/fonológica, em vez de apenas semântica.

2. Metodologia

O estudo empregou uma abordagem comparativa robusta entre dados humanos reais e simulações de LLMs:

• Dados Humanos: Utilizou-se um conjunto de dados de 106 participantes nativos de inglês que realizaram a tarefa de fluência com a letra "F" em um minuto. Os dados incluíam metadados demográficos (idade e educação) e o número exato de respostas corretas.
• Simulação de LLMs:
  • Escopo: Foram avaliados 34 modelos distintos (incluindo fechados e open-source) de provedores como OpenAI, Anthropic, Google, xAI e outros, totalizando 45 configurações (considerando modos de "pensamento" e níveis de esforço de raciocínio).
  • Procedimento: Cada modelo foi instruído a atuar como um dos 106 participantes humanos específicos, recebendo como prompt a idade, nível de educação e o número de respostas corretas do participante real. O objetivo era gerar uma lista de palavras começando com "F" dentro de um limite de tempo simulado.
  • Análise de Ensemble: Para testar se a combinação de múltiplos modelos poderia recuperar a diversidade humana, os autores realizaram simulações de ensemble, onde a resposta de cada "participante simulado" era amostrada aleatoriamente de diferentes modelos.
• Métricas de Avaliação:
  • Contagem de Respostas: Erro Absoluto Médio (MAE) em relação à média humana.
  • Diversidade Lexical: Razão Tipo-Token (TTR) e Razão de Tipos Idiossincráticos (ITTTR).
  • Distribuição de Frequência: Análise de Lei de Zipf (expoente $\alpha$) para avaliar a "cauda longa" das respostas.
  • Variáveis Linguísticas: Correlação com frequência de palavra, idade de aquisição, tamanho do bairro ortográfico, etc.
  • Análise de Rede: Construção de redes de co-ocorrência de palavras para comparar a estrutura associativa (coeficiente de agrupamento e caminho mais curto) entre humanos e o modelo mais próximo (Claude 3.7 Sonnet).

3. Principais Contribuições

• Avaliação Abrangente: Diferente de estudos anteriores que testavam apenas um ou poucos modelos, este trabalho oferece uma das avaliações mais extensas até a data, cobrindo múltiplos provedores e arquiteturas.
• Metodologia de Simulação Realista: Ao invés de usar personas fictícias arbitrárias, o estudo ancorou as simulações em metadados reais de participantes (idade, educação, desempenho), permitindo uma comparação mais ecológica.
• Análise de Ensemble: Investigou se a agregação de múltiplos modelos poderia superar a rigidez individual, uma abordagem inovadora para tentar replicar a variabilidade populacional.
• Análise Estrutural de Rede: Aplicou análise de redes complexas para demonstrar não apenas quais palavras os modelos geram, mas como elas estão organizadas cognitivamente em comparação com humanos.

4. Resultados Chave

• Desempenho Quantitativo vs. Variabilidade: A maioria dos modelos (33 de 45 configurações) conseguiu simular com precisão a quantidade média de respostas (contagem de palavras). No entanto, nenhum modelo, individualmente ou em ensemble, conseguiu replicar a amplitude da variabilidade humana.
• Rigidez Lexical:
  • Os participantes humanos produziram 476 tipos únicos de palavras (TTR = 0,27).
  • O modelo mais diverso, o Claude 3.7 Sonnet, produziu apenas 226 tipos únicos (TTR = 0,13), menos da metade da diversidade humana.
  • Modelos mais recentes e modos de "pensamento" (thinking-enabled) tendiam a reduzir a variabilidade em vez de aumentá-la, priorizando consistência sobre diversidade.
• Distribuição de Frequência (Lei de Zipf):
  • Humanos exibiram um expoente $\alpha$ de 0,89, indicando uma "cauda longa" rica em palavras raras e idiossincráticas.
  • Os LLMs apresentaram expoentes $\alpha$ muito mais altos (1,19 a 1,53), indicando que suas respostas são dominadas por palavras de alta frequência, com uma cauda longa significativamente mais pobre.
• Mecanismos de Recuperação Divergentes:
  • Humanos: A frequência de produção era fortemente influenciada pelo tamanho do bairro ortográfico (palavras que diferem por uma letra), sugerindo uma busca baseada em forma.
  • LLMs: A produção foi mais influenciada pelo comprimento da palavra e frequência, ignorando em grande parte as associações ortográficas finas que guiam os humanos.
• Análise de Rede:
  • As redes humanas mostraram maior agrupamento local (clusters mais apertados) e integração global mais fraca.
  • A rede do Claude 3.7 Sonnet foi mais eficientemente conectada globalmente, mas com agrupamento local menor, indicando uma estrutura de recuperação associativa fundamentalmente diferente.
• Falha do Ensemble: A combinação de múltiplos modelos não recuperou a diversidade humana. A análise de sobreposição de vocabulário revelou que os modelos compartilham cerca de 74% do seu vocabulário (chegando a 90% dentro da mesma família, como Anthropic), o que significa que eles "puxam" das mesmas palavras frequentes, amplificando a rigidez em vez de expandir a diversidade.

5. Significado e Conclusão

O estudo conclui que, embora os LLMs sejam altamente capazes de gerar respostas fluentes e semanticamente plausíveis, eles falham em simular a variabilidade comportamental humana em tarefas cognitivas que exigem busca no léxico mental.

• Limitações para Pesquisa: O uso de LLMs como substitutos diretos para participantes humanos em estudos que dependem de diferenças individuais, diversidade de estratégias ou análise de processos cognitivos dinâmicos é problemático. Eles tendem a reforçar padrões linguísticos dominantes e prototípicos, marginalizando respostas raras e idiossincráticas que são cruciais para a compreensão da cognição humana.
• Implicações Éticas: A substituição de participantes humanos por LLMs sem reconhecer essa limitação pode levar a uma sub-representação sistemática da diversidade populacional em pesquisas científicas.
• Recomendação Futura: Em vez de substituir humanos, os LLMs devem ser tratados como um sistema de referência (baseline) que captura tendências centrais do conhecimento linguístico, contra o qual a singularidade e a flexibilidade do comportamento humano real podem ser medidas. O estudo sugere que a próxima geração de simulações precisará de estratégias de modelagem de persona mais sofisticadas que incorporem perfis cognitivos e de exposição linguística específicos, e não apenas dados demográficos básicos.