Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

Resumo Técnico: Tarefas de Associação de Forma Livre Revelam Alucinação de Estereótipos em Grandes Modelos de Linguagem

Declaração do Problema
Embora a literatura recente sugira que os Grandes Modelos de Linguagem (LLMs) podem prever julgamentos estereotipados humanos, permanece incerto se os LLMs emulam os processos cognitivos subjacentes aos estereótipos humanos ou se apenas recuperam associações aprendidas para resolver tarefas de previsão. Pesquisas anteriores basearam-se amplamente em tarefas de julgamento controladas (ex: pesquisas de múltipla escolha) ou contextos restritos por vieses de grupo arraigados e previsíveis (ex: respostas partidárias a notícias). Esses cenários podem permitir que os LLMs tenham sucesso ao recuperar correlações estatísticas de dados de treinamento, em vez de modelar mecanismos cognitivos genuínos. Existe uma lacuna crítica na compreensão de como os LLMs performam em ambientes interpretativos novos e não restritos, onde os significados culturais não estão pré-estabelecidos. Especificamente, não se sabe se os LLMs conseguem replicar a estrutura dos estereótipos humanos ao interpretar estímulos de forma livre que carecem de significado semântico inerente.

Metodologia
Os autores empregam um design experimental comparativo envolvendo participantes humanos e dois modelos multimodais (GPT-4o mini e Llama-3.2-11B-Vision-Instruct) através de cinco domínios sociais: gênero, partidário, personalidade, urbanidade e estilo de vida (rotina).

1. Estímulos: O estudo utiliza 12 estímulos visuais ambíguos (4 manchas de Rorschach e 8 peças de arte abstrata) deliberadamente escolhidos por sua falta de significados culturais pré-estabelecidos, símbolos explícitos ou neutralidade estética.
2. Condições Experimentais:
   • Tarefas de Primeira Ordem: Participantes (humanos) e modelos (usando prompts baseados em persona, ex: "Você é um [identidade]") fornecem interpretações pessoais diretas. As respostas consistem em 3 associações de objetos, 3 associações de conceitos e 1 emoção.
   • Tarefas de Segunda Ordem: Participantes e modelos preveem como membros de grupos específicos interpretam os mesmos estímulos.
3. Coleta de Dados:
   • Humanos: Aproximadamente 300 participantes por domínio foram recrutados via Prolific. Participantes de primeira ordem interpretaram 4 estímulos aleatórios; participantes de segunda ordem previram interpretações para ambos os grupos dentro de um domínio.
   • LLMs: Os modelos foram consultados 80 vezes por combinação de domínio/estímulo através de quatro configurações de temperatura (0.3, 0.7, 0.9, 1.0) para capturar a variabilidade do modelo.
   • Condicionamento Leave-One-Out (LOO): Para testar se a homogeneização decorre de uma individualização insuficiente, o GPT-4o mini foi condicionado às associações reais de participantes humanos específicos para três imagens, a fim de prever sua associação para uma quarta imagem retida.
4. Métricas de Análise:
   • Diversidade Intra-Grupo: Medida usando a entropia de Shannon das associações de palavras.
   • Separabilidade Entre-Grupos: Medida treinando classificadores de LLM (GPT-4o mini e Llama) para prever a pertença ao grupo baseando-se apenas nos padrões linguísticos das associações.
   • Análise de Espaço Semântico: Embeddings de palavras (Sentence-BERT) foram projetados em um espaço 2D via PCA para visualizar a topologia e o agrupamento das respostas.

Resultos Principais
O estudo revela diferenças qualitativas fundamentais entre os processos cognitivos humanos e de LLMs em relação aos estereótipos:

• Diversidade Intra-Grupo (Entropia): As respostas de primeira ordem humanas exibem alta heterogeneidade (alta entropia), com informações demográficas sendo um preditor fraco de interpretação. Em contraste, os LLMs produzem respostas de primeira ordem homogêneas (baixa entropia), independentemente da identidade social solicitada. Essa homogeneização persiste mesmo sob condicionamento LOO, onde os modelos falham em capturar a variação individual humana, apesar de serem fornecidos com dados comportamentais específicos.
• Separabilidade Entre-Grupos (Acurácia de Classificação):
  • Humanos: Respostas humanas de primeira ordem são quase indistinguíveis por grupo (acurácia de classificação próxima ao acaso, 46–60%). Em tarefas de segunda ordem, os humanos exibem "exagero de estereótipo", aumentando moderadamente a separabilidade (57–79%) ao amplificar tendências fracas de primeira ordem enquanto preservam a diversidade.
  • LLMs: Embora as respostas de primeira ordem dos LLMs mostrem baixa separabilidade (exceto em domínios de personalidade), as respostas de segunda ordem dos LLMs exibem separabilidade extrema (frequentemente >90%, atingindo 99,9% em alguns domínios). Os LLMs geram associações altamente polarizadas e específicas de grupo que são facilmente distinguidas por classificadores, excedendo em muito o nível de distintividade humano.
• Topologia Semântica: A análise de PCA mostra que as respostas humanas formam clusters amplos, sobrepostos e contínuos. As respostas dos LLMs, particularmente em tarefas de segunda ordem, formam clusters concentrados, fragmentados e espacialmente distintos que estão desconectados das regiões semânticas ocupadas pelas respostas humanas de primeira ordem.
• Alucinação de Estereótipo: Os autores denominam o fenômeno dos LLMs como "alucinação de estereótipo". Diferente do exagero de estereótipo humano, que reifica vieses de base real, os LLMs geram estereótipos de segunda ordem agudos que nem amplificam as tendências de primeira ordem existentes, nem refletem as diferenças reais de grupo entre humanos. Esses protótipos alucinados são semanticamente desvinculados da realidade humana.
• Robustez: Esses achados sustentam-se mesmo quando os modelos são ajustados (fine-tuned) ou condicionados por dados de participantes individuais, sugerindo que o problema é uma restrição arquitetônica e não um artefato de prompting.

Principais Contribuições

1. Identificação da "Alucinação de Estereótipo": O artigo introduz um mecanismo distinto onde os LLMs geram estereótipos de grupo exagerados em contextos novos que são fundamentalmente desconectados da realidade interpretativa humana, contrastando com o "exagero de estereótipo" humano.
2. Inovação Metodológica: Ao utilizar estímulos ambíguos de forma livre (Rorschach/arte abstrata), o estudo isola os processos cognitivos de construção de significado da recuperação de scripts culturais arraigados, fornecendo um teste mais rigoroso dos LLMs como modelos cognitivos.
3. Evidência de Limitação Arquitetônica: O estudo demonstra que os LLMs falham em preservar a heterogeneidade individual e, em vez disso, recorrem a protótipos socialmente disponíveis, mesmo quando fornecidos com dados comportamentais individuais específicos.

Significância
O artigo argumenta que os LLMs não podem servir como "organismos modelo" confiáveis para as ciências sociais em contextos novos, ambíguos ou culturalmente instáveis. Embora os LLMs possam prever com sucesso o comportamento humano em domínios onde os significados estão estabilizados e as fronteiras de grupo estão arraigadas (ex: reações partidárias a notícias), eles falham em modelar a construção social ativa de significado a partir de interpretações diversas. Os achados sugerem que os LLMs são limitados em sua capacidade de simular a cognição humana quando confrontados com ambientes de alta entropia, onde as respostas humanas são idiossincráticas e fracamente estruturadas pela demografia. Consequentemente, usar LLMs para prever o comportamento humano em fenômenos sociais emergentes ou antes que os significados se estabilizem pode gerar resultados sistematicamente enviesados e irreais devido à tendência dos modelos de alucinar protótipos de grupo em vez de emular a diversidade interpretativa humana.