A closer look at how large language models trust humans: patterns and biases

Título: Um Olhar Mais de Perto sobre Como os Grandes Modelos de Linguagem (LLMs) "Confiem" em Humanos: Padrões e Vieses

Autores: Valeria Lerman e Yaniv Dover (Hebrew University Business School & Federmann Center for the Study of Rationality).

1. O Problema

Com a integração crescente de Agentes baseados em Grandes Modelos de Linguagem (LLMs) em processos decisórios críticos (saúde, finanças, gestão), torna-se fundamental entender a dinâmica de confiança entre humanos e IA. Enquanto a confiança humana em IA é amplamente estudada, a confiança emulada pela IA em humanos (ou seja, como o modelo julga a confiabilidade de um indivíduo com base em seus dados) permanece pouco compreendida.

O estudo busca responder:

• É possível quantificar e caracterizar a confiança implícita que um agente LLM atribui a humanos?
• Os LLMs emulam a confiança de maneira semelhante aos humanos, seguindo as mesmas estruturas psicológicas (competência, benevolência, integridade)?
• Existem vieses sistemáticos demográficos na forma como os LLMs atribuem confiança?

2. Metodologia

Os autores desenvolveram um framework experimental robusto para medir a confiança emulada, comparando cinco modelos de LLMs com participantes humanos.

• Modelos Testados:
  • OpenAI: GPT-5, GPT-4o Mini, o3-mini.
  • Google: Gemini 2.5 Pro, Gemini 2.5 Flash.
• Cenários (5 contextos):
  1. Avaliação de um funcionário sobre seu gerente sênior.
  2. Decisão sobre o montante de um empréstimo para um proprietário de negócio.
  3. Decisão sobre o valor de uma doação para uma organização sem fins lucrativos.
  4. Decisão sobre quantos dias participar de uma viagem com um instrutor.
  5. Decisão sobre quantas horas deixar um babá cuidar de crianças.
• Variáveis Manipuladas:
  • Dimensões de Confiabilidade (Trustworthiness): Competência, Benevolência e Integridade (níveis Alto vs. Baixo), baseadas na teoria de Mayer et al. [19].
  • Variáveis Demográficas: Gênero (Masculino/Feminino), Idade (20, 40, 60 anos) e Religião (Judaica, Cristã, Muçulmana).
• Procedimento:
  • Simulações LLM: 43.200 execuções no total (5 modelos × 5 cenários × 144 combinações únicas de atributos × 12 repetições). O LLM atuou como um agente de decisão, fornecendo valores quantitativos (ex: valor do empréstimo, horas de confiança) e respondendo a um questionário padronizado de confiança.
  • Estudo Humano: 1.000 participantes recrutados via Prolific (200 por cenário), respondendo aos mesmos cenários com um subconjunto ortogonal das combinações (36 combinações por cenário).
• Análise Estatística: Correlações de Pearson e Regressões Lineares Ordinárias (OLS) para determinar o impacto das dimensões de confiança e variáveis demográficas nas decisões.

3. Principais Contribuições

• Quantificação da Confiança Emulada: É um dos primeiros estudos a demonstrar que LLMs geram "confiança efetiva" em humanos que reflete sistematicamente as dimensões psicológicas fundamentais (competência, benevolência, integridade).
• Comparação Estrutural: Estabelece uma comparação direta entre a formação de confiança em humanos e em IAs, revelando que, embora a estrutura geral seja similar, os mecanismos subjacentes diferem significativamente.
• Detecção de Heterogeneidade e Viés: Identifica que diferentes modelos de LLM não são homogêneos; eles exibem vieses demográficos variados e pesos diferentes para as dimensões de confiança, alertando contra tratar "LLMs" como um agente único.

4. Resultados Chave

A. Convergência Estrutural (Semelhanças)

• Diferenciação de Traços: Tanto LLMs quanto humanos distinguem consistentemente entre níveis altos e baixos de competência, benevolência e integridade.
• Impacto Positivo: Maior competência e integridade resultam em decisões mais favoráveis (ex: empréstimos maiores, mais horas de confiança) em ambos os grupos.

B. Divergências Críticas (Diferenças)

1. Extremidade e Consistência Interna:
   • LLMs: São significativamente mais extremos e consistentes internamente. Suas decisões comportam-se como funções determinísticas das pistas textuais. Modelos lineares simples explicam uma grande parcela da variância nas decisões dos LLMs.
   • Humanos: Apresentam julgamentos mais "ruidosos", variáveis e dependentes do contexto. As dimensões de confiança explicam menos variância nas decisões humanas, especialmente em contextos monetários.
2. Estrutura das Dimensões (Efeito Halo vs. Modularidade):
   • Humanos: Exibem um forte efeito halo. Competência, benevolência e integridade estão altamente correlacionados; os humanos tendem a formar uma impressão global de "pessoa boa" ou "pessoa ruim".
   • LLMs: Mantêm as três dimensões muito mais independentes (baixa correlação interna). Eles seguem um modelo de "três fatores" mais próximo do teórico, tratando os traços como construtos modulares separados.
3. Papel da Benevolência:
   • LLMs: Tendem a superestimar a benevolência como um sinal positivo, muitas vezes tratando-a como um preditor forte mesmo em contextos de alto risco financeiro.
   • Humanos: São mais cautelosos com a benevolência em situações financeiras, priorizando competência e integridade. Em alguns casos, humanos penalizam a benevolência quando controlada por outros fatores.
4. Vieses Demográficos:
   • LLMs: Exibem vieses demográficos mais fortes e sistemáticos do que os humanos.
     • Exemplos: Alguns modelos favorecem consistentemente candidatos mais velhos ou do sexo masculino para empréstimos. Há um viés significativo em favor de candidatos de religião judaica em cenários de doação e empréstimo (com diferenças de até $14.000 no valor do empréstimo dependendo do modelo).
   • Humanos: Os vieses demográficos foram mais fracos e menos consistentes no grupo humano.

C. Heterogeneidade entre Modelos

Não há um consenso entre os modelos. O tamanho do efeito, a direção dos coeficientes e a magnitude dos vieses variam significativamente entre o GPT-5, o3-mini e os modelos Gemini. Isso indica que a "confiança" é uma propriedade específica de cada modelo, não uma característica universal da IA.

5. Significado e Implicações

• Risco de Desalinhamento: Embora os LLMs pareçam emular a confiança humana, eles o fazem de forma rígida e estruturalmente diferente. A dependência excessiva de LLMs para decisões de confiança pode reduzir o pensamento crítico humano e perpetuar desigualdades sociais através de vieses sistemáticos e amplificados.
• Segurança e Ética: A descoberta de que modelos diferentes emulam a confiança de maneiras distintas e com vieses demográficos significativos exige uma avaliação específica por modelo antes da implantação em setores sensíveis (finanças, jurídico, RH).
• Modelos de Cognição Social: Os resultados sugerem que os LLMs não "pensam" como humanos sobre a confiança. Eles mapeiam regularidades linguísticas para julgamentos de confiança de forma coerente, mas sem a nuance contextual e a integração holística típica da cognição humana.
• Recomendação: A confiança emulada por LLMs deve ser tratada como uma ferramenta de suporte à decisão que requer monitoramento rigoroso, especialmente em relação a vieses demográficos e à rigidez na avaliação de traços de personalidade.

Em resumo, o estudo revela que os LLMs são "estudantes" muito consistentes, mas rígidos, das teorias de confiança humana, que frequentemente exageram a importância de certos sinais textuais e replicam (ou amplificam) vieses sociais de maneiras que diferem qualitativamente da intuição humana.