Investigating Counterfactual Unfairness in LLMs towards Identities through Humor

Resumo Técnico: Investigando a Injustiça Contrafactual em LLMs através do Humor

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs), treinados em corpora massivos da web, tendem a absorver e internalizar vieses sociais e culturais. Embora existam pesquisas sobre viés em LLMs, a maioria ignora o contexto conversacional, focando em piadas descontextualizadas. O humor é um domínio particularmente sensível para investigar vieses porque depende de nuances sociais, hierarquias de poder e identidades para determinar o que é aceitável ou ofensivo.

O problema central abordado é a injustiça contrafactual: a capacidade de um modelo de alterar suas respostas quando apenas um atributo sensível (como a identidade do falante ou do ouvinte) é alterado, mantendo todo o resto (o conteúdo da piada) constante. O artigo investiga se os LLMs aplicam padrões de segurança e julgamento social assimétricos dependendo de quem conta a piada e para quem ela é dirigida, revelando hierarquias sociais codificadas nos modelos.

2. Metodologia

Os autores propõem um framework baseado na justiça contrafactual (Kusner et al., 2017), onde a identidade é trocada sistematicamente enquanto o conteúdo permanece fixo. O estudo abrange três tarefas principais, testadas em cinco modelos de ponta (Claude 3.5 Haiku, GPT-4o, DeepSeek-Reasoner, Gemini 2.5 Flash-Lite e Grok 4):

• Tarefa 1: Geração de Humor Condicionada a Falante-Alvo (Refusal Behavior)

  • Objetivo: Medir a taxa de recusa (refusal) ao gerar humor.
  • Método: 80 templates de solicitação cobrindo 33 identidades em 10 categorias (raça, religião, gênero, etc.). As solicitações pedem piadas de um [FALANTE] sobre um [ALVO].
  • Métrica: Taxa de Recusa Assimétrica (ARR), comparando $RR(A \to B)$ com $RR(B \to A)$. Também foi medida a Efeito do Falante (SE) para ver como a identidade do falante influencia a proteção do alvo.
  • Validação: Uso de GPT-4o como juiz automatizado, validado por Llama-3 e anotação humana.

• Tarefa 2: Inferência de Intenção do Falante

  • Objetivo: Avaliar se modelos atribuem intenções diferentes (benigna vs. maliciosa) para a mesma piada dependendo dos pares falante-ouvinte.
  • Método: Uso de piadas agnósticas à identidade (sem menção a grupos) e piadas de desprezo específico (disparagement humor). O modelo deve classificar a intenção (afiliativa, agressiva, etc.) e a valência (benigna, maliciosa).
  • Métrica: Viés Baseado em Diferença ($B_{diff}$), quantificando a diferença na atribuição de intenção maliciosa entre direções opostas (ex: Privilegiado $\to$ Marginalizado vs. Marginalizado $\to$ Privilegiado).

• Tarefa 3: Predição de Impacto Relacional e Social

  • Objetivo: Prever como um ouvinte reagiria a uma piada em diferentes contextos relacionais.
  • Método: Geração de respostas de "ouvintes" simulados em quatro contextos: amigos, chefe $\to$ subordinado, subordinado $\to$ chefe e sem contexto. Testado em perfis de identidade simples (ex: apenas raça) e complexos (interseccionalidade com 10 dimensões).
  • Métrica: Juiz LLM (GPT-4o) avalia em escala de 1-5: Aceitação do Humor, Sensibilidade Social e Consistência de Personagem.

3. Principais Contribuições

1. Framework de Troca de Papéis: Uma metodologia experimental rigorosa para isolar o viés de identidade em interações conversacionais, indo além de testes estáticos de segurança.
2. Descoberta de Hierarquias Sociais Codificadas: Evidência de que os modelos não apenas evitam danos, mas internalizam uma hierarquia social rígida onde "punching down" (falar de cima para baixo, de privilegiados para marginalizados) é tratado de forma muito mais severa do que "punching up" (o inverso).
3. Métricas de Viés Interpretáveis: Introdução de métricas como ARR e $B_{diff}$ para quantificar assimetrias direcionais específicas.
4. Análise de Interseccionalidade: Demonstração de como a complexidade de identidade (perfis compostos) amplifica ou modula o viés dependendo do modelo.

4. Resultados Chave

• Assimetria na Recusa (Tarefa 1):

  • Piadas contadas por falantes privilegiados visando grupos marginalizados são recusadas até 67,5% mais frequentemente do que o inverso.
  • Exemplo: Um falante "Rico" contando uma piada sobre "Pobres" tem uma taxa de recusa muito maior do que um "Pobre" sobre "Ricos".
  • Os modelos tratam a direção Privilegiado $\to$ Marginalizado como categoricamente impermissível, enquanto a direção inversa é frequentemente permitida ou apenas sugerida com modificações.

• Atribuição de Intenção Maliciosa (Tarefa 2):

  • Mesmo com o conteúdo da piada idêntico, falantes privilegiados são julgados como tendo intenção maliciosa com muito mais frequência.
  • O viés é amplificado quando a piada visa um grupo não relacionado aos participantes. Por exemplo, um falante Branco contando uma piada sobre chineses para um ouvinte Negro é julgado como malicioso em 73,1% dos casos, enquanto o inverso (Negro para Branco) é julgado como malicioso em apenas 44,3%.
  • Falantes marginalizados são frequentemente atribuídos intenções de "autodepreciação" ou "afiliativas" para o mesmo conteúdo.

• Impacto Relacional e Contexto (Tarefa 3):

  • Hierarquias Profissionais: O julgamento é mais severo em contextos profissionais (especialmente subordinado $\to$ chefe) do que entre amigos.
  • Interseccionalidade: Modelos "conservadores" (Claude, DeepSeek, Grok) tratam perfis complexos (interseccionais) como um multiplicador de risco, reduzindo a aceitação do humor. Modelos "lenientes" (GPT-4o, Gemini) tratam a complexidade como nuance, mantendo ou aumentando a aceitação.
  • Sensibilidade Excessiva: Falantes privilegiados enfrentam julgamentos sistematicamente mais rígidos (pontuação de sensibilidade social até 1,5 pontos maior em escala de 5) para a mesma piada.

5. Significado e Implicações

• Falha no Raciocínio Social Contextual: Os resultados indicam que os LLMs atuais não realizam um raciocínio social genuíno baseado no contexto completo da comunicação. Em vez disso, eles usam cues demográficos superficiais (identidade do falante/ouvinte) como proxies para dano, ignorando o conteúdo real da piada.
• Alinhamento de Segurança Superficial: O "alinhamento de segurança" atual parece criar um viés de hiperconservadorismo em relação a falantes privilegiados e uma proteção excessiva (ou estereotipagem de vulnerabilidade) para grupos marginalizados. Isso resulta em uma injustiça contrafactual onde a mesma ação é punida ou permitida com base apenas em quem a realiza.
• Direção Futura: O artigo argumenta que a busca por LLMs mais justos deve ir além de filtros de segurança estáticos baseados em identidade. É necessário desenvolver modelos capazes de raciocínio social contextual, que avaliem o ato comunicativo completo e sejam capazes de lidar com a ambiguidade sem recorrer a estereótipos fixos de hierarquia social.

Em suma, o estudo revela que a sensibilidade e o estereótipo coexistem nos modelos generativos atuais, complicando os esforços para alcançar uma verdadeira equidade e alinhamento cultural, pois os modelos reproduzem e amplificam hierarquias sociais existentes em vez de neutralizá-las.