Resumo Técnico: Sinal ou Pista Espúria? Uma Auditoria Aleatória de Metadados de País-Pesquisa em Inferência Social de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) utilizam metadados de grupo, como rótulos de país de pesquisa, para melhorar as previsões de respostas individuais quando esse metadado carrega informações populacionais genuínas. No entanto, os mesmos estímulos de metadados também podem redirecionar previsões quando atribuídos arbitrariamente, potencialmente introduzindo viés ou correlações espúrias. O desafio central abordado por este artigo é distinguir entre informação (sinais populacionais válidos que melhoram a previsão) e movimento impulsionado por pista (mudanças na previsão causadas meramente pela presença de um rótulo, independentemente de sua procedência).

Os métodos de avaliação existentes — como comparar saídas de modelos com distribuições de opinião de grupos ou testar prompts de persona — estabelecem lacunas agregadas ou sensibilidade ao prompt, mas falham em isolar se um rótulo de grupo específico tem um efeito diferente quando sua validade de origem muda. Este estudo investiga se a divulgação explícita da origem aleatória e independente do registro reduz a tendência do modelo de tratar esse rótulo de país como um sinal válido para inferência social.

Metodologia

Desenho Experimental

O estudo emprega um desenho de auditoria dentro do mesmo registro (within-record audit design) através de cinco modelos de API fixos (DeepSeek-V4-Pro, Gemini-3.6-Flash, Mistral-Medium-3.5, GPT-5.4 e Qwen3.7-Max-2026-06-08), seis países (China, França, Grã-Bretanha, Itália, Jordânia, EUA) e sete alvos selecionados para desenvolvimento.

A fonte de dados é o Conjunto de Dados EVS/WVS 2017–2022, restrito a ondas específicas para garantir cobertura de itens comuns. O conjunto de dados foi dividido em conjuntos de referência, desenvolvimento, piloto e avaliação.

• Tarefa: Os modelos recebem dez respostas observadas de um registro anônimo e devem prever respostas mascaradas para uma questão alvo.
• Políticas de Metadados: Quatro condições foram testadas:
  • M0 (Linha de Base): Sem campo de país.
  • MO (Aleatório Opaco): Exibe um rótulo de país $T$ extraído uniformemente dos seis candidatos, sem divulgar sua origem.
  • MR (Aleatório Divulgado): Exibe o mesmo rótulo $T$, mas declara explicitamente: "Cada candidato foi selecionado com probabilidade igual, independentemente do registro da fonte da pesquisa."
  • MV (Verificado): Exibe o verdadeiro país da pesquisa do registro de origem, identificado como o local de coleta.

Métricas de Avaliação

O estudo separa direção (movimento) de consequência (utilidade preditiva):

1. Movimento Direcionado ao País ($\beta$): Mede se a mudança de previsão induzida por uma condição de metadado se alinha com o contraste populacional real observado em registros humanos independentes para aquele país. Um $\beta$ positivo indica que o modelo moveu sua previsão na direção da distribuição real do país exibido.
2. Consequência Retida (Perda de Brier): Mede se a mudança de previsão melhora a previsão da resposta humana mascarada.
   • Utilidade Verificada ($U_V$): A redução na perda de Brier ao usar metadados verificados ($MV$) versus sem metadados ($M0$).
   • Arrependimento de Rótulo Aleatório ($R_X$): O aumento na perda de Brier ao usar rótulos aleatórios tanto opacos ($MO$) quanto divulgados ($MR$) versus sem metadados.

Painéis

• Painel Primário (72 registros separados): Contém 72 registros distintos cobrindo todos os sete alvos sob um protocolo corrigido.
• Painel Secundário (504 registros): Contém 504 registros distintos, mas aplica cobertura válida específica para o alvo: utiliza todos os 504 registros para dois alvos não afetados pela redação, enquanto utiliza previsões corrigidas de um subconjunto equilibrado de 72 registros dos mesmos 504 registros para os cinco alvos afetados pela redação.

Principais Resultados

1. A Divulgação Não Atenua a Absorção de Rótulos Aleatórios

Ao contrário da hipótese de que a transparência reduz a dependência de pistas, a divulgação da natureza aleatória de um rótulo de país não reduziu significativamente a tendência do modelo de mover as previsões na direção daquele país.

• Movimento: Rótulos tanto opacos ($MO$) quanto de aleatório divulgado ($MR$) produziram movimento significativo direcionado ao país no painel primário (72 registros separados) ($\beta_O = 0,214$, $\beta_R = 0,214$). No painel secundário (504 registros), os valores foram $\beta_O = 0,261$ e $\beta_R = 0,218$.
• Atenuação: A diferença entre o movimento opaco e o de aleatório divulgado ($A = \beta_O - \beta_R$) foi efetivamente zero ($0,0003$) no painel primário com um intervalo de confiança de 95% de $[-0,0157, 0,0166]$. O estudo não conseguiu rejeitar a hipótese nula de que a divulgação não tem efeito sobre a absorção.

2. Metadados Verificados Melhoram a Precisão Preditiva

Quando o rótulo do país foi verificado (país real da pesquisa), ele forneceu valor preditivo genuíno.

• Utilidade: A política de país verificado ($MV$) reduziu a perda de Brier retida em $0,040$ (95% CI $[0,024, 0,056]$) em comparação com a linha de base no painel primário. Este resultado foi estatisticamente significativo ($p < 0,001$).
• Arrependimento: Rótulos aleatórios (tanto opacos quanto divulgados) geralmente não incorreram em dano preditivo médio significativo (os intervalos de arrependimento frequentemente incluíram zero), embora o modelo Qwen tenha mostrado arrependimento significativo para a condição opaca.

3. Divergência de Direção e Consequência

O estudo observou uma assimetria comportamental: as previsões moveram-se na direção do contraste populacional do país exibido (mesmo quando o rótulo era aleatório e divulgado como tal) sem necessariamente incorrer em dano preditivo médio detectável. Isso sugere que a "absorção de pista" (movimento direcional) e a "utilidade preditiva" (precisão) são fenômenos distintos que nem sempre correlacionam.

Principais Contribuições

1. Contraste de Proveniência: Um desenho experimental inovador que mantém fixo o rótulo de país exibido enquanto varia sua proveniência divulgada (opaca vs. explicitamente aleatória vs. verificada), isolando o efeito da validade da fonte.
2. Métricas Desacopladas: Uma estrutura de avaliação que separa o movimento direcional (alinhamento com âncoras populacionais externas) da consequência preditiva (perda de Brier contra respostas humanas retidas), evitando a confusão entre viés e imprecisão.
3. Corpus PROV-FORECAST: A liberação de um corpus estruturado por proveniência contendo 14.400 distribuições de probabilidade de nível de item pareadas, alinhadas entre cinco modelos e quatro condições de metadados.
4. Evidência Empírica sobre Divulgação: Evidência de que, sob o protocolo testado, a divulgação explícita da independência de um rótulo aleatório não atenua de forma confiável a tendência do modelo de tratar esse rótulo como um sinal para inferência social.

Significância e Alegações

O artigo afirma fornecer um diagnóstico "mais estreito", porém rigoroso, de como os LLMs processam a proveniência de metadados em tarefas de inferência social. Não afirma que os modelos não consigam entender proveniência em geral, nem estabelece uma teoria geral de raciocínio de fontes. Em vez disso, demonstra que:

• Metadados verificados são úteis: Quando o campo do país é verdadeiro, ele melhora a previsão em alvos selecionados para valor incremental de país.
• A divulgação é insuficiente: Simplesmente declarar que um rótulo é aleatório e independente não impede confiavelmente o modelo de usar esse rótulo para deslocar sua previsão em direção à distribuição populacional associada.
• Direção $\neq$ Dano: Um modelo pode exibir forte movimento direcionado ao país (potencialmente indicando estereotipagem ou dependência de pista) sem sofrer uma diminuição mensurável na precisão preditiva sobre os dados retidos.

Os autores enfatizam que estes achados são específicos para o contrato de elicitação congelado (redação em inglês fixa, lotes de cinco questões, previsões de probabilidade) e para os alvos específicos selecionados para alto valor de país. Eles alertam contra a generalização destes resultados para todas as tarefas de inferência social ou para a suposição de que refletem crenças culturais internas em vez de distribuições de saída. O estudo serve como uma auditoria comportamental de um protocolo de metadados específico, em vez de uma avaliação de equidade causal.