Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

Resumo Técnico: Histórias Brilhantes, Lutas Ocultas: Investigando a Representação da Deficiência através da Lente dos Modelos de Linguagem de Grande Escala

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado a capacidade de simular personas humanas e gerar textos que refletem diversos grupos demográficos, existe uma preocupação crítica sobre como esses modelos representam comunidades historicamente marginalizadas. Pesquisas anteriores documentaram extensivamente vieses negativos e estereótipos nos LLMs. No entanto, mecanismos de segurança recentes, como guardas de IA incorporados e técnicas de desviesamento, podem levar a uma forma diferente de dano: a "supercompensação". Este fenômeno ocorre quando os modelos, em um esforço para evitar o viés negativo, geram retratos excessivamente positivos, idealizados ou higienizados de grupos marginalizados. Essa "positividade tóxica" pode apagar as complexidades, os desafios estruturais e as realidades emocionais negativas enfrentadas por essas comunidades, silenciando efetivamente suas experiências vividas sob uma fachada de inspiração. O artigo visa especificamente a representação da deficiência, um grupo que recebeu atenção comparativamente menor na literatura sobre viés, apesar de enfrentar discriminação significativa e desvantagens socioeconômicas.

Metodologia
Os autores empregam uma abordagem de análise comparativa, contrastando autorretratos de pessoas reais com deficiência com retratos gerados por IA. O estudo envolve três conjuntos de dados principais:

1. REDD (Conjunto de Dados do Mundo Real): Uma coleção de 1.250 postagens em redes sociais (Reddit) escritas por indivíduos que se identificam como tendo deficiência. Os dados foram obtidos de seis subreddits ($r/disability$, $r/blind$, $r/autism$, $r/depression$, $r/deaf$, $r/cerebralpalsy$). As postagens foram filtradas para garantir perspectiva em primeira pessoa e menção explícita à deficiência, sendo então anotadas manualmente por três anotadores humanos (Kappa de Fleiss = 0,875).
2. LLMD (Conjunto de Dados LLM-Deficiência): Retratos artificiais gerados por três LLMs (GEMINI-1.5F, GPT-4O-MINI e MIXTRAL-8B). Usando prompts de código aberto inspirados em estudos anteriores de persona, os modelos foram instruídos a imaginar que eram indivíduos com deficiências específicas (por exemplo, autismo, cegueira, depressão) e escrever uma postagem em rede social. Isso resultou em 1.080 postagens (360 por modelo).
3. LLMND (Conjunto de Dados LLM-Sem Deficiência): Um conjunto de controle de 1.080 postagens geradas pelos mesmos modelos simulando indivíduos "genéricos" sem menção explícita à deficiência, usado para isolar mudanças linguísticas específicas à persona de deficiência.

Métricas de Análise
O estudo utiliza um quadro quantitativo e qualitativo multidimensional:

• Análise de Sentimento: Usando VADER para classificar postagens como positivas, negativas ou neutras.
• Distribuição de Emoções: Empregando o Lexicon de Associação Palavra-Emoção NRC (EmoLex) para quantificar a prevalência de oito emoções (raiva, medo, antecipação, confiança, surpresa, tristeza, alegria, nojo).
• Detecção de Depressão: Aplicando um modelo de última geração da Tarefa Compartilhada LT-EDI-ACL2022 para prever níveis de depressão (nenhum, moderado, grave).
• Análise Temática e Lexical: Usando a metodologia "Fightin' Words" (escores-z) para identificar palavras distintivas estatisticamente significativas entre os conjuntos de dados. Essas palavras são então agrupadas em grupos temáticos usando GPT-4O-MINI para interpretar diferenças semânticas.

Principais Descobertas
A análise produz duas descobertas principais sobre a representação da deficiência:

1. Idealização e Positividade Tóxica (PQ1): Os LLMs divergem significativamente das autorretratos de pessoas reais com deficiência.

   • Sentimento: Enquanto 53,06% das postagens do mundo real exibiam sentimento negativo, as postagens geradas por LLM foram esmagadoramente positivas (96,39% a 99,72%).
   • Depressão: Postagens do mundo real mostraram altas taxas de indicadores de depressão moderada (26,26%) e grave (20,42%). Em contraste, os LLMs eliminaram quase totalmente esses sinais; o GPT-4O-MINI produziu zero postagens com indicadores de depressão, e o MIXTRAL-8B produziu apenas uma.
   • Diferenças Lexicais: Postagens do mundo real foram distinguidas por palavras relacionadas a lutas médicas (dor, hospital, cirurgia), dificuldades econômicas (trabalho, dinheiro, sem-teto) e estados emocionais negativos (ódio, estresse, suicídio). Postagens de LLM foram dominadas por palavras de inspiração e comunidade (amor, grato, vitória, força, inclusivo), refletindo uma narrativa de "superação" em vez de viver com deficiência.

2. Viés Negativo e Simplificação Excessiva (PQ2): Ao comparar LLMs simulando indivíduos com deficiência versus indivíduos genéricos, os modelos exibem uma mudança distinta no tom.

   • Tom Emocional: Apesar da positividade geral, postagens simulando deficiência continham níveis significativamente mais altos de emoções negativas (raiva, tristeza, medo) e níveis mais baixos de antecipação positiva e alegria em comparação com postagens simulando indivíduos genéricos.
   • Disparidade Temática: Os LLMs associam desproporcionalmente a deficiência a temas de luta, resiliência e defesa, enquanto personas genéricas são associadas a trabalho, carreira e lazer (entretenimento, aventura). Isso sugere que os LLMs enquadram a deficiência principalmente através de uma lente de "luta e excepcionalismo", negligenciando outras facetas da vida humana, como conquistas profissionais ou interesses recreativos.

Significado e Contribuições
O artigo contribui com um conjunto de dados publicamente disponível (REDD e LLMD) e oferece um exame crítico do "viés positivo" na IA. Os autores argumentam que a tendência atual de superidealização nos LLMs, provavelmente impulsionada pelo aprendizado por reforço a partir de feedback humano (RLHF) e barreiras de segurança, cria uma narrativa "brilhante" que mascara as "lutas ocultas" da deficiência.

O significado deste trabalho reside em sua demonstração de que a mitigação de viés em LLMs não se trata apenas de remover estereótipos negativos, mas também de evitar a "positividade tóxica" que apaga a realidade do sofrimento e da desigualdade estrutural. Os autores postulam que, para a IA fomentar inclusão e empatia genuínas, ela deve ser capaz de representar o espectro completo da emoção humana, incluindo dor, frustração e depressão, em vez de forçar um arco higienizado e inspirador. O estudo sublinha a necessidade de políticas de IA e práticas de design que priorizem a representação autêntica sobre retratos superficialmente benevolentes, garantindo que ferramentas tecnológicas estejam alinhadas com as realidades vividas, nuanceadas e muitas vezes difíceis de comunidades marginalizadas.