Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) para análise qualitativa de dados textuais (como resumos e extração de temas) está a crescer rapidamente. No entanto, enquanto a precisão dos LLMs em tarefas dedutivas (como codificação baseada em rótulos) pode ser comparada diretamente com rótulos humanos, é muito mais difícil avaliar a ética e a eficácia de métodos abstrativos, como a análise temática indutiva.

Em pesquisas qualitativas em psicologia e ciências sociais, a posicionalidade (a consciência de como o background e as experiências do pesquisador influenciam a interpretação dos dados) é fundamental. Os pesquisadores humanos incluem declarações de posicionalidade para contextualizar seus vieses. Como os LLMs não possuem identidade ou experiências pessoais, não podem fornecer tal declaração, criando um "vazio" ético. O artigo investiga como o uso de um LLM como intérprete de significado altera as conclusões de um estudo, especificamente em narrativas de vida pessoais e emocionalmente carregadas, onde vieses na sumarização podem causar danos representacionais (como distorcer ou apagar experiências reais).

2. Metodologia

Os autores propõem um pipeline de sumarização baseado em dados para identificar e quantificar um "retrato de posicionalidade" para LLMs. O estudo utiliza um conjunto de dados privado e não público de 163 entrevistas de vida (do Foley Longitudinal Study of Adulthood), onde participantes descrevem suas vidas como capítulos de um livro.

O pipeline opera através das seguintes etapas:

• Geração de Sumários: Os LLMs (Qwen-2.5-7B, Llama-3.1-8B, Llama-3.2-3B) geram sumários estruturados (texto + temas centrais) das entrevistas.
• Condição Demográfica: O pipeline compara dois cenários:
  1. Linha de Base: Sumários gerados sem expor a demografia do participante.
  2. Condicionado a Demografia: Sumários gerados com a demografia explícita (ex: "homem negro", "mulher branca") incluída no prompt.
• Métricas Quantitativas:
  • Escolha de Palavras e Semântica: Uso de ROUGE (sobreposição de palavras) e BERTScore (similaridade semântica) para medir como o LLM altera a expressão original do participante.
  • Estados Psicológicos: Uso de léxicos (LIWC, VAD e projeção SCM - Stereotype Content Model) para medir mudanças em emoções, valência, arousal, dominância, calor e competência.
  • Temas: Análise de como a inclusão explícita de demografia altera a frequência de temas identificados (ex: "trabalho duro", "resiliência").
• Validação Qualitativa: Um estudo com especialistas em psicologia (3 pesquisadores) que avaliaram uma subamostra de sumários quanto à precisão, tom, competência percebida e presença de estereótipos, servindo como ground truth para validar as métricas quantitativas.

3. Principais Contribuições

1. Pipeline de Posicionalidade: Propõe a primeira metodologia quantitativa para gerar um "retrato de posicionalidade" para LLMs, mapeando como modelos específicos tratam diferentes grupos demográficos em análises abstrativas.
2. Detecção de Vieses Interseccionais: Demonstra que o pipeline consegue identificar vieses de raça e gênero, incluindo vieses menos comuns, como estereótipos contra a expressão emocional masculina.
3. Validação com Especialistas: Estabelece uma correlação entre métricas computacionais e a avaliação de especialistas em psicologia, validando a eficácia da abordagem para detectar danos representacionais.
4. Recursos Abertos: O código do pipeline foi disponibilizado no GitHub para uso em futuros estudos.

4. Resultados Principais

Os resultados revelaram vieses significativos e sistemáticos nos LLMs analisados:

• Semântica e Linguagem: Os modelos tendem a manter maior similaridade semântica com a linguagem de homens brancos (devido ao viés nos dados de treinamento) e apresentam menor similaridade com a linguagem de homens negros e mulheres negras.
• Amplificação de Estados Psicológicos:
  • Homens Brancos: Suas histórias são frequentemente resumidas com maior valência positiva (mais felizes) e maior competência.
  • Homens Negros: As sumárias aumentam significativamente a "dominância" (força e controle), mas reduzem a identificação de temas como "autoconsciência" e "crescimento pessoal".
  • Mulheres Negras vs. Brancas: As sumárias de mulheres negras tendem a enfatizar temas de "trabalho duro" e esforço, enquanto as de mulheres brancas enfatizam "lazer" e "família" de forma mais positiva.
• Estereótipos de Gênero e Raça:
  • Os modelos frequentemente suavizam eventos emocionalmente pesados (como luto ou abuso) ou os transformam em finais excessivamente positivos ("resiliência tóxica").
  • Há uma redução na expressão emocional genuína para homens, com os modelos ajustando suas narrativas para parecerem mais estoicas ou dominantes.
  • Modelos maiores (como o Llama-8B) mostraram-se mais fiéis ao texto original, mas também apresentaram vieses mais sutis e complexos, sugerindo que aumentar o tamanho do modelo não resolve automaticamente os problemas de viés.
• Validação Humana: Os especialistas confirmaram que as sumárias frequentemente omitiam eventos traumáticos cruciais ou aplicavam estereótipos raciais e de gênero, alinhando-se com as métricas quantitativas de "calor" e "competência" do modelo SCM.

5. Significância e Conclusão

O artigo conclui que o uso de LLMs para análise temática abstrativa em dados sensíveis (como narrativas de vida) introduz vieses sistemáticos que podem distorcer a compreensão científica da experiência humana.

• Implicações Éticas: O uso de LLMs sem uma avaliação de posicionalidade pode levar a conclusões de pesquisa que reforçam estereótipos sociais existentes (ex: negros como mais "dominantes" ou menos "emocionais"; mulheres brancas como mais "competentes" em contextos de lazer).
• Recomendação Prática: Os autores defendem que, ao utilizar LLMs em novas análises qualitativas, os pesquisadores devem gerar e publicar um "retrato de posicionalidade" (como o proposto neste trabalho) para documentar as limitações e os vieses do modelo utilizado, permitindo que a comunidade científica interprete os resultados com o devido contexto crítico.
• Futuro: O trabalho destaca a necessidade de métodos abertos e transparentes para avaliar a posicionalidade de modelos, especialmente quando lidam com dados interseccionais complexos.