Resumo Técnico: Elicitação de Priores de Confiabilidade de Grandes Modelos de Linguagem via Jogos Econômicos

Declaração do Problema

Construir uma IA centrada no ser humano e confiável exige uma "confiança calibrada", onde os usuários confiam nos sistemas de IA de forma apropriada, evitando tanto o excesso de confiança (viés de automação) quanto a falta de confiança (desuso). Um desafio fundamental para alcançar isso é caracterizar o nível de confiança que o próprio sistema de IA exibe em relação aos agentes humanos. Embora a confiança na IA seja frequentemente estudada via atitudes autorrelatadas, estas podem divergir da confiança comportamental. Além disso, estudos comportamentais existentes frequentemente assumem que a IA carece de intencionalidade, tratando a confiança como unidirecional (humano para IA). No entanto, os Modelos de Linguagem de Grande Escala (LLMs) modernos exibem capacidades sociais sofisticadas, necessitando de um framework bilateral para estudar como os LLMs retribuem a confiança. O problema central abordado é como estimar de forma robusta o "prior de confiabilidade" implícito — o viés indutivo que um LLM possui sobre o quanto de confiança deve ser retribuído em interações sociais.

Metodologia

Os autores propõem um método de elicitação inovador combinando aprendizado em contexto iterado (Zebra & Griffiths, 2024a) com o Jogo da Confiança da teoria dos jogos comportamentais (Berg et al., 1995).

1. Formalizando o Jogo da Confiança

O Jogo da Confiança é modelado dentro de um framework Bayesiano:

• Configuração: Um Trustor (doador) envia uma quantia $x$ para um Trustee (receptor). Esta quantia é multiplicada por um fator $m$ (definido como 3). O Trustee decide quanto $y$ será retornado.
• Métrica de Confiabilidade: Definida como a razão de retorno $r = y / (mx)$, onde $r \in [0, 1]$.
• Modelo Generativo: O valor de retorno $y$ é modelado como uma distribuição Binomial $y \sim \text{Binomial}(mx, r)$, onde $r$ é um parâmetro de confiabilidade latente.
• Prior: As crenças de confiabilidade são capturadas por um prior Beta $p(r) = \text{Beta}(\alpha, \beta)$.

2. Procedimento de Aprendizado em Contexto Iterado

Para elicitar o prior implícito $p(r)$ do modelo, os autores simulam uma cadeia de Markov sobre prompts:

• Gargalo de Informação: Em cada iteração $t$, o LLM recebe um lote limitado de $B=5$ interações sociais anteriores ($D_{t-1}$) geradas com base na confiabilidade estimada da iteração anterior $\hat{r}_{t-1}$.
• Inferência: O LLM é instigado a prever a fração de fundos que um Trustee retornaria dado um novo cenário (ex: recebendo 100 tokens), efetivamente estimando a média do posterior $\hat{r}_t$.
• Geração: Esta nova estimativa $\hat{r}_t$ é usada para parametrizar a distribuição Binomial para gerar o próximo lote de interações $D_t$.
• Convergência: Através de iterações repetidas, a distribuição dos valores estimados de $\hat{r}$ converge para a distribuição prior subjacente do modelo, $p(r)$, independentemente dos valores de semente iniciais. Este processo isola os vieses indutivos do modelo de dados memorizados específicos.

3. Desenho Experimental

• Experimento 1: Avaliou 20 LLMs (incluindo GPT-4/5, Claude-3.5, Gemini-2.5, Llama-3/4, Qwen-2.5/3, DeepSeek, etc.). Cada modelo executou 270 cadeias (30 sementes $\times$ 30 reinicializações) para garantir a convergência (verificada via diagnóstico de Gelman–Rubin $\hat{R} \leq 1.1$).
• Experimento 2: Focou no GPT-4.1 (identificado como o modelo mais semelhante ao humano) para testar a sensibilidade a Personas de Trustor. As personas incluíram papéis ocupacionais (ex: Médico, IA) e figuras públicas (ex: Elon Musk, Mahatma Gandhi).
• Modelagem de Variação: Um modelo de regressão linear foi construído para explicar a variação de confiabilidade baseada em Calidez (intenções percebidas) e Competência (capacidade percebida), seguindo o modelo de conteúdo de estereótipo de Fiske (2018).

Principais Resultados

1. Elicitação de Priores de Confiabilidade

• Convergência: Todos os modelos exibiram convergência rápida, estabilizando-se tipicamente dentro de 20 iterações.
• Validade Preditiva: Os priors elicitados superaram significativamente tanto um prior uniforme quanto um prior meta-analítico derivado de humanos (Johnson & Mislin, 2011) na previsão dos próprios comportamentos de reciprocidade de disparo único dos modelos (menor RMSD e maior $r$ de Pearson).
• Alinhamento Humano: O GPT-4.1 demonstrou o mais forte alinhamento com as distribuições de confiabilidade humana, mostrando a menor divergência de Kullback–Leibler (KL) ($D_{KL} = 0.130$) em comparação com o baseline humano.
• Variabilidade dos Modelos: Outros modelos mostraram padrões distintos:
  • Alguns (ex: Qwen2.5-72B, Llama-3.1-70B) exibiram priors bimodais, sugerindo respostas estratégicas mistas.
  • Outros (ex: Grok-4.1-Fast, GPT-5.2) mostraram um deslocamento sistemático para baixo na confiabilidade ($r < 0.372$), indicando menor confiança média do que os baselines humanos.
• Correlações: Foi encontrada uma correlação negativa ($r = -0.58$) entre a divergência KL (alinhamento com humanos) e o Score de Risco Médio (ARS), sugerindo que modelos com maior propensão ao risco alinham-se mais de perto com os priors de confiança humanos. Não foram encontradas correlações significativas com pontuações de seguimento de instrução (IFEval) ou raciocínio geral (LMArena).

2. Sensibilidade a Personas

• Efeitos de Persona: A confiabilidade elicitada do GPT-4.1 variou sistematicamente entre as personas (a média de $r$ variou de 0.298 a 0.447). Por exemplo, a confiança foi maior para Malala Yousafzai do que para Mark Zuckerberg.
• Calidez e Competência: Um modelo de regressão usando calidez ($W$) e competência ($C$) como preditores explicou 81% da variância ($R^2 = 0.81$) na confiabilidade elicitada.
  • Dominância da Calidez: A calidez teve um efeito principal substancialmente mais forte ($\beta_1 \gg \beta_2$) do que a competência.
  • Interação: Um termo de interação significativo ($\beta_3$) indicou que a competência aumenta significativamente a confiabilidade primariamente quando pareada com calidez.

Principais Contribuições

1. Inovação Metodológica: O artigo introduz um método para elicitar priors implícitos de confiabilidade de LLMs ao adaptar o aprendizado em contexto iterado para o Jogo da Confiança, indo além dos autorrelatos para a operacionalização comportamental.
2. Caracterização Empírica: Fornece um benchmark de priors de confiabilidade através de 20 LLMs líderes, revelando que, embora alguns modelos (como o GPT-4.1) acompanhem de perto os priors humanos, outros exibem padrões estratégicos ou enviesados distintos.
3. Utilidade de Surrogado: Demonstra que o GPT-4.1 pode servir como um surrado para participantes humanos no estudo de vieses sociais, já que seus julgamentos de confiabilidade são sensíveis às características da persona de uma maneira consistente com a psicologia social humana.
4. Alinhamento Teórico: Os achados confirmam que os julgamentos de confiabilidade dos LLMs podem ser modelados pelas mesmas dimensões baseadas em estereótipos (calidez e competência) que governam a percepção social humana.

Significância e Alegações

O artigo afirma que caracterizar a confiabilidade dos sistemas de IA é essencial para uma colaboração segura e eficaz entre humanos e IA. Ao tratar os LLMs como agentes capazes de retribuir a confiança, os autores argumentam que o Jogo da Confiança oferece um framework bilateral necessário para estudar a interação humano-IA.

Os autores alegam modestamente que seu método recupera com sucesso os "vieses indutivos" dos LLMs em relação à troca social. Eles sugerem que modelos como o GPT-4.1 podem atuar como surrogados para grandes populações de participantes humanos, permitindo que pesquisadores estudem como os julgamentos gerais de confiança pública podem mudar com base nas características do agente sem o ônus logístico do recrutamento de sujeitos humanos.

O trabalho destaca que a confiabilidade nos LLMs não é uma propriedade monolítica, mas varia conforme a arquitetura do modelo e é sensível ao contexto social (personas). Os autores concluem que compreender essas representações neurais de confiabilidade (potencialmente acessíveis via modelos de pesos abertos) é uma via viável para o design de sistemas de IA mais confiáveis, embora reconheçam limitações quanto à estabilidade desses priors através de diferentes níveis de investimento e contextos de interação.