Six Fallacies in Substituting Large Language Models for Human Participants

Resumo Técnico: Seis Falácias na Substituição de Participantes Humanos por Modelos de Linguagem de Grande Escala

Definição do Problema
O rápido avanço dos Modelos de Linguagem de Grande Escala (LLMs) desencadeou uma proposta dentro das ciências comportamentais e psicológicas para substituir participantes humanos por "amostras de silício" ou "participantes simulados" para a coleta de dados. Os defensores sugerem que os LLMs podem espelhar respostas humanas médias em tarefas que variam desde o raciocínio moral até a percepção de linguagem, oferecendo uma alternativa eficiente em recursos à coleta de dados humanos. No entanto, essa "perspectiva de substituição" carece de escrutínio metodológico e teórico crítico. O artigo identifica um risco epistêmico fundamental: pesquisadores podem confundir as capacidades estatísticas dos LLMs com a cognição humana, levando a inferências inválidas sobre a psicologia humana. O problema central é a falta de um framework para distinguir os LLMs como simuladores de comportamento linguístico versus substitutos de participantes humanos, uma distinção necessária para preservar a validade da pesquisa.

Metodologia
Este artigo emprega uma análise conceitual crítica em vez de experimentação empírica. O autor desconstrói sistematicamente a "perspectiva de substituição" identificando e analisando seis falácias interpretativas específicas que surgem quando os LLMs são tratados como substitutos humanos. A análise baseia-se em:

• Teoria Computacional: Examinando a arquitetura dos LLMs (predição de tokens autorregressiva, mecanismos de transformer, RLHF) versus a inteligência biológica (experiência incorporada, restrições evolutivas).
• Frameworks Filosóficos: Utilizando conceitos como o argumento do "Quarto Chinês", realizabilidade múltipla e a distinção entre equivalência funcional e mecânica.
• Literatura Empírica Existente: Sintetizando descobertas de estudos recentes (ex: Aher et al., 2023; Binz & Schulz, 2023a; Dillion et al., 2023) que demonstram tanto as capacidades quanto as limitações dos LLMs em tarefas psicológicas.
• Teoria da Validade: Aplicando padrões de validade de pesquisa (interna, externa e de constructo) para avaliar as ameaças representadas por cada falácia.

Principais Contribuições
A principal contribuição do artigo é a identificação e exposição detalhada de seis falácias interpretativas que comprometem a validade do uso de LLMs como substitutos humanos:

1. Falácia da Predição de Tokens como Inteligência Humana: O erro de equiparar o reconhecimento de padrões estatísticos (predição do próximo token) com a compreensão humana genuína. Os LLMs carecem de experiência incorporada, fundamentação sensoriomotora e consciência, operando, em vez disso, como modelos estatísticos "não fundamentados". Eles capturam a forma linguística, mas não a intenção comunicativa ou o significado derivado da experiência vivida.
2. A Falácia do Humano Médio: A suposição de que os outputs dos LLMs representam o humano "médio". O artigo argumenta que os LLMs não são amostras representativas devido a vieses nos dados de treinamento (predominantemente populações WEIRD), viés de recência temporal e a influência do Aprendizado por Reforço com Feedback Humano (RLHF), que otimiza para utilidade e segurança em vez de refletir a diversidade ou idiossincrasias humanas brutas.
3. Falácia do Alinhamento como Explicação: O equívoco de que o alinhamento superficial entre o output do LLM e o humano implica mecanismos cognitivos compartilhados. O artigo enfatiza a "realizabilidade múltipla", observando que sistemas diferentes (estatísticos vs. biológicos) podem produzir outputs idênticos através de processos internos distintos. A similaridade de output não prova equivalência mecânica.
4. Falácia da Antropomorfização: A tendência de atribuir estados mentais humanos (crenças, intenções, emoções) aos LLMs com base na geração de linguagem fluente. Isso leva à "ilusão do usuário de linguagem", onde pesquisadores interpretam artefatos estatísticos como expressões de uma vida mental interior, invalidando construtos que pressupõem consciência.
5. Falácia da Essencialização de Identidade: A prática de estimular os LLMs com rótulos demográficos estáticos (ex: "mulher negra", "americana") como se essas categorias representassem traços homogêneos e fixos. Isso reduz identidades humanas fluidas, interseccionais e contextuais a estereótipos, falhando em capturar a nuance da negociação de identidade no mundo real.
6. Falácia da Substituição: A presunção de que os dados gerados por LLMs podem substituir diretamente as evidências humanas sem validação. Isso ignora a natureza estática dos dados de treinamento (cortes de conhecimento), o risco de sistemas de informação de loop fechado (onde os modelos amplificam vieses passados) e a incapacidade dos modelos de se adaptarem às mudanças sociais em tempo real.

Resultados e Análise
A análise demonstra que, embora os LLMs possam funcionar como ferramentas de simulação pragmática (Equivalência de Nível 1), eles falham em atender aos critérios de inferência explicativa (Nível 2) ou atribuição fenomenológica (Nível 3).

• Limitações Técnicas vs. Conceituais: O artigo distingue entre limitações técnicas (ex: viés de dados, sensibilidade ao prompt), que podem ser endereçadas via engenharia, e limitações conceituais (ex: falta de fundamentação, agência e subjetividade), que são intrínsecas ao paradigma atual de predição estatística de texto.
• Ameaças à Validade: Cada falácia mostra-se comprometendo aspectos específicos da validade da pesquisa. Por exemplo, a "Falácia do Humano Médio" ameaça a validade externa (generalização), enquanto a "Falácia do Alinhamento como Explicação" ameaça a validade interna (inferência causal).
• Salvaguardas: Para cada falácia, o artigo propõe salvaguardas metodológicas específicas, incluindo:
  • Validar os outputs dos LLMs contra dados humanos.
  • Usar prompts contextualizados e interseccionais em vez de rótulos essencialistas.
  • Distinguir entre equivalência funcional e mecânica no relato dos resultados.
  • Implementar designs de pesquisa sequenciais onde os LLMs são usados para geração de hipóteses, mas os achados são validados com participantes humanos.

Significância e Alegações
O artigo alega que a "perspectiva de substituição" é fundamentalmente falha porque identifica incorretamente a natureza dos LLMs. Os LLMs não são "mentes", mas "simuladores de linguagem neural" que revelam dinâmicas psicológicas latentes incorporadas no texto, em vez de serem as próprias mentes.

• Reenquadramento do Papel da IA: O autor argumenta por uma mudança na conceituação dos LLMs de substitutos para ferramentas complementares. Eles são valiosos para prototipagem rápida, role-playing e modelagem computacional, desde que seus outputs sejam rigorosamente validados contra dados humanos.
• Preservação da Integridade da Pesquisa: Ao expor estas falácias, o artigo visa prevenir a erosão da validade da pesquisa nas ciências comportamentais. Alerta que a substituição acrítica corre o risco de criar câmaras de eco epistêmicas e de representar erroneamente a cognição humana.
• Conclusão Modesta: O artigo não afirma que os LLMs nunca serão capazes de simular o comportamento humano com maior precisão, nem nega sua utilidade. Em vez disso, afirma que os LLMs atuais, e aqueles previsíveis sob o paradigma estatístico atual, não podem substituir participantes humanos para a compreensão teórica da mente humana devido a diferenças fundamentais de fundamentação e consciência. O objetivo final é aproveitar os LLMs produtivamente, respeitando as distinções ontológicas e epistemológicas entre a inteligência de máquina e o pensamento humano.