Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents

Resumo Técnico: Emulando Comportamento de Escolha Humana Agregada e Vieses com Agentes Conversacionais GPT

1. Problema e Motivação

O objetivo central da pesquisa é investigar se os Grandes Modelos de Linguagem (LLMs) podem não apenas reproduzir vieses cognitivos humanos de forma isolada, mas também emular a dinâmica do comportamento humano enviesado em contextos interativos complexos.

• Limitação do Estado da Arte: Estudos anteriores demonstraram que LLMs exibem vieses (como o viés do status quo) em tarefas de "um único tiro" (single-shot) ou prompts isolados. No entanto, falta evidência sobre se esses modelos conseguem prever vieses no nível individual e como interagem com fatores contextuais, como a carga cognitiva gerada pela complexidade de um diálogo.
• Questão de Pesquisa: Até que ponto os LLMs representam o comportamento de decisão humana enviesada dentro de um contexto conversacional simulado, especialmente quando fatores contextuais (como a complexidade do diálogo) estão em jogo?

2. Metodologia

O estudo foi conduzido em duas fases principais: um experimento humano de base (baseline) e uma replicação utilizando agentes LLM.

Fase 1: Experimento Humano (N = 1100)

• Design: Um design fatorial 2x3 entre sujeitos.
  • Variável Independente 1 (Carga Cognitiva): Diálogo Simples (baixa carga, perguntas binárias diretas) vs. Diálogo Complexo (alta carga, estrutura referencial aninhada exigindo memória de trabalho e cálculos aritméticos).
  • Variável Independente 2 (Enquadramento): Condição Neutra vs. Condição de Status Quo A vs. Condição de Status Quo B.
• Cenários de Decisão: Três cenários adaptados de Samuelson e Zeckhauser (1988):
  1. Alocação de Orçamento (Segurança Rodoviária).
  2. Portfólio de Investimentos (Risco Moderado vs. Alto).
  3. Seleção de Emprego Universitário.
• Procedimento: Os participantes interagiram com um chatbot (GPT-4o Mini) que conduzia o diálogo. Após o diálogo prévio (simples ou complexo), enfrentavam o cenário de decisão.
• Medidas: Escolha do participante, carga cognitiva percebida (NASA-TLX), tarefas de recordação (memória) e tempos de resposta.

Fase 2: Experimento com Agentes LLM

• Replicação: Os mesmos cenários foram apresentados a agentes LLM (GPT-4.1, GPT-4.1-mini, GPT-5, GPT-5-mini).
• Entradas dos Agentes:
  1. Dados demográficos dos participantes humanos (idade, gênero, país, etc.).
  2. Transcrição completa do diálogo do participante humano (incluindo o diálogo prévio e a decisão).
• Prompting de Humanidade (Human-Likeness): Foram testados três níveis de instrução para os agentes:
  • Nível 1 (HL1): Instrução mínima ("Você é um participante de pesquisa").
  • Nível 2 (HL2): Instrução naturalista ("Responda como um humano faria no dia a dia").
  • Nível 3 (HL3): Instrução explícita de viés ("Atue como um humano suscetível a vieses cognitivos como status quo, ancoragem, etc.").

3. Contribuições Chave

1. Estabelecimento de uma Linha de Base Humana em Diálogo: Validação empírica de que o viés do status quo persiste e é robusto em interações mediadas por chatbots, mesmo com diferentes níveis de carga cognitiva prévia.
2. Análise de Interação Contextual: Investigação de como a complexidade do diálogo (carga cognitiva) modula o viés do status quo em humanos e se os LLMs conseguem capturar essa interação.
3. Avaliação de Fidelidade Comportamental: Comparação sistemática da precisão preditiva de diferentes gerações de LLMs (GPT-4 vs. GPT-5) e diferentes níveis de prompting na emulação de vieses humanos.
4. Estudos de Ablação: Identificação de quais componentes do input (demografia, memória, aritmética) são essenciais para que o LLM reproduza o comportamento enviesado.

4. Resultados Principais

Resultados Humanos:

• H1 (Viés do Status Quo): Confirmada. O enquadramento como "status quo" aumentou significativamente a taxa de seleção nas condições de Alocação de Orçamento e Empregos Universitários. No cenário de Investimentos, o viés não foi estatisticamente significativo.
• H2 (Interação com Carga Cognitiva): Rejeitada. A complexidade do diálogo prévio (Diálogo Complexo vs. Simples) não alterou significativamente a magnitude do viés do status quo nos participantes humanos. A carga cognitiva aumentou a percepção de esforço mental, mas não exacerbou o viés de decisão.

Resultados dos Agentes LLM:

• Precisão Individual: O GPT-4.1 alcançou a maior precisão na previsão das decisões individuais dos humanos (pico de 68,5% no Nível 2), superando o acaso aleatório.
• Reprodução de Vieses Agregados:
  • HL1 e HL2 (Prompting Neutro/Natural): Os modelos reproduziram com alta precisão (1.00 em muitos casos) os padrões de viés observados nos humanos, sem gerar "falsos positivos" (não criaram viés onde os humanos não tinham).
  • HL3 (Prompting Explícito de Viés): Os modelos exibiram um viés excessivo, gerando falsos positivos (ex: previram viés forte no cenário de Investimentos onde os humanos não o tiveram). Isso indica um "overfitting" à instrução de ser enviesado.
• Interação com Complexidade (H2 nos LLMs):
  • Os modelos não conseguiram replicar fielmente a interação humana (onde a complexidade não alterou o viés).
  • Sob HL1 e HL2, os LLMs mostraram padrões divergentes em relação aos humanos sob diálogo complexo.
  • Sob HL3, os modelos tentaram alinhar-se à tendência humana de aumentar o viés sob carga, mas o fizeram de forma exagerada e inconsistente.
• Desempenho por Modelo: O GPT-4.1-mini demonstrou o melhor equilíbrio geral, com precisão perfeita em HL1/HL2 e o menor desvio absoluto médio (MD) em relação à dinâmica humana. O GPT-5 (família) mostrou desempenho inferior na captura de nuances comportamentais.

Análise de Ablação e Perturbação:

• A precisão dos LLMs caiu apenas ligeiramente quando as respostas humanas no diálogo foram substituídas por texto aleatório. Isso sugere que os modelos não estão utilizando fortemente pistas individuais específicas do diálogo do usuário para prever a decisão, mas sim baseando-se em padrões gerais do cenário de decisão e na estrutura da tarefa.

5. Significado e Implicações

• Fidelidade de Simulação: O estudo demonstra que LLMs podem ser proxies realistas para o comportamento humano agregado em simulações de tomada de decisão, especialmente quando instruídos de forma neutra (HL1/HL2).
• Limitações na Emulação Individual: Embora bons em capturar tendências médias, os LLMs têm dificuldade em prever decisões individuais baseadas em nuances sutis do histórico de diálogo, sugerindo que eles modelam "o que os humanos tendem a fazer" e não "o que este humano específico fará".
• Risco de "Over-Alignment": Instruir explicitamente os modelos a serem "enviesados" (HL3) pode levar a comportamentos artificiais e exagerados que não refletem a realidade humana, comprometendo a validade da simulação.
• Aplicações Práticas: Os resultados apoiam o uso de LLMs para projetar sistemas adaptativos que consideram vieses cognitivos, mas alertam para a necessidade de cautela ao confiar neles para prever reações individuais em cenários de alta complexidade cognitiva.

Em suma, o trabalho fornece evidências preliminares de que os LLMs podem emular vieses humanos em contextos conversacionais, mas sua capacidade de capturar a interação dinâmica entre contexto (carga cognitiva) e viés ainda é limitada e depende criticamente de como o modelo é instruído.