Status Association Does Not Reliably Predict Decision Leakage

Resumo Técnico: A Associação de Status Não Prediz Confiavelmente o Vazamento de Decisão

Definição do Problema
A avaliação de viés em grandes modelos de linguagem (LLMs) frequentemente confunde dois fenômenos distintos: a codificação de associações sociais (conhecimento latente) e a manifestação dessas associações em decisões consequentes (vazamento comportamental). A literatura atual costuma avançar precipitadamente da evidência de que um modelo codifica um estereótipo social para a afirmação de que o modelo alterará resultados com base nesse estereótipo. Este artigo aborda um problema de validade de construto: se uma forte "pontuação de associação" prediz confiavelmente um "vazamento de decisão" (a alteração de resultados baseada em sinais sociais) quando evidências legítimas são mantidas constantes. O estudo postula que associação e ação são construtos empiricamente distintos que exigem medições separadas.

Metodologia
O estudo emprega um design experimental controlado e multimodelos utilizando sobrenomes chilenos como sondas socioeconômicas. Redes de sobrenomes chilenos são utilizadas porque codificam padrões visíveis de agrupamento socioeconômico e segregação urbana em Santiago, servindo como um proxy culturalmente específico e não binário para status.

• Design Experimental: Os pesquisadores avaliaram oito células de provedores de modelos congelados (incluindo GPT-5.4, Claude Sonnet 5, Gemini 3.6, DeepSeek V3.2, Qwen 3.7, Mistral Medium 3.5 e Llama 4 Maverick) através de 1.032 prompts cada, resultando em 8.256 respostas primárias verificadas.
• Estímulos: O design utiliza 30 sondas de sobrenomes congelados: 10 sobrenomes de código de elite, 10 de frequência comum e 10 controles de frequência rara (para distinguir efeitos de status de mera raridade). Estes são pareados com 192 perfis sintéticos determinísticos através de quatro domínios de decisão: seleção acadêmica, contratação profissional, seleção de bolsa de pesquisa e triagem de assistência jurídica.
• Instrumentos de Medição:
  1. Associação Latente: Medida via um instrumento "forçado" (exigindo alocação de massa de probabilidade entre resultados de status) e um instrumento que "permite abstenção" (permitindo que o modelo decline a inferência).
  2. Vazamento de Decisão: Medido como a diferença de pontuação pareada entre as condições de código de elite e de frequência comum sobre perfis de evidência subjacentes idênticos.
• Abordagem Estatística: O estudo utiliza testes de equivalência com uma margem predefinida de ±0,10 desvios padrão para distinguir efeitos praticamente pequenos de nulos subdimensionados. Testa a correlação entre a força da associação e o vazamento de decisão tanto ao nível do modelo quanto ao nível do par de sobrenomes por modelo.

Principais Resultados

• Forte Associação Latente: Sete dos oito modelos atribuíram significativamente maior massa de probabilidade de alto status para sobrenomes de código de elite em comparação com sobrenomes comuns. Todos os oito modelos mostraram maior massa para sobrenomes de elite em comparação com controles de frequência rara. A magnitude desta associação variou amplamente (ex: +62,10 pontos para Gemini 3.6 Flash vs. +6,00 para GPT-5.4 Nano).
• Mínimo Vazamento de Decisão: Apesar das fortes associações latentes, a transferência para decisões consequentes foi negligenciável. Cinco modelos (Claude Sonnet 5, DeepSeek V3.2, Gemini 3.6 Flash, Mistral Medium 3.5 e Qwen 3.7 Max) atenderam ao critério de equivalência predefinido, mostrando efeitos de decisão entre -0,021 e +0,031 desvios padrão. Os modelos restantes não mostraram vantagem de elite estatisticamente detectável ou efeitos próximos à fronteira de equivalência prática.
• Dissociação de Construtos: Não houve correlação confiável entre a força da associação latente e a magnitude do vazamento de decisão.
  • Correlação ao nível do modelo: $r = 0,201$ ($p = 0,633$).
  • Correlação de par de sobrenome por modelo: $r = 0,065$ ($p = 0,565$).
  • Notavelmente, modelos com as associações latentes mais fortes (ex: Gemini 3.6 Flash, Claude Sonnet 5) exibiram efeitos de decisão essencialmente indistinguíveis de zero.

Principais Contribuições

1. Objetificação Empírica do Gap de Transferência: O artigo torna a transição de "associação" para "decisão" um objeto empírico explícito, demonstrando que um modelo pode codificar um estereótipo sem usá-lo para alterar uma decisão quando a evidência legítima está presente.
2. Testbed Culturalmente Fundamentado: Introduz um testbed de sobrenomes chilenos com controles de frequência comum e rara, indo além das categorias demográficas eurocêntricas para testar o conhecimento social culturalmente específico.
3. Distinção Metodológica: O estudo operacionaliza uma hierarquia de evidência separando associação latente forçada, inferência expressa (com abstenção) e vazamento de decisão consequente. Demonstra que estas são superfícies comportamentais distintas que não devem ser colapsadas em uma única métrica.
4. Reprodutibilidade: O lançamento inclui instrumentos congelados, proveniência do provedor e o manifesto exato de prompts necessário para reproduzir as 8.256 observações primárias.

Significância e Alegações
A alegação central do artigo é uma dissociação de medida: a associação social latente e o tratamento consequente são construtos empiricamente distintos. O estudo argumenta que avaliar o viés requer medir a transição da associação para a ação diretamente, em vez de inferir dano comportamental a partir de escores representacionais.

O autor afirma que tratar sondas de associação como evidência de discriminação de decisão pode superestimar substancialmente os efeitos subsequentes. Embora o dano representacional (a codificação de estereótipos) permaneça uma preocupação válida, ele não implica automaticamente em dano alocativo (decisões enviesadas). Consequentemente, o artigo pede uma mudança no design de benchmarks onde as alegações sejam estritamente limitadas ao nível que o benchmark realmente mede. Se uma medida de associação e uma auditoria de decisão divergem, como ocorreu neste cenário culturalmente fundamentado, os avaliadores devem abster-se de alegar que a "pontuação de viés" de um modelo prediz seu comportamento discriminatório real sem evidência comportamental direta. O estudo conclui que, sob as condições congeladas testadas, a força da associação é um preditor fraco de diferenças de decisão correspondentes.