When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation

Título: Quando o Maior Não é Melhor: Uma Avaliação Abrangente de Viés Político na Sumarização de Notícias Múltiplas

1. Problema e Motivação

Os sistemas de sumarização de notícias de múltiplos documentos são cada vez mais adotados para processar o vasto volume de conteúdo diário. No entanto, esses sistemas, especialmente os baseados em Grandes Modelos de Linguagem (LLMs), podem exibir viés político, distorcendo a compreensão pública ao:

• Sub-representar vozes minoritárias ou perspectivas centristas.
• Dar ênfase desproporcional a certos pontos de vista.
• Amplificar polarizações existentes na mídia.

A literatura existente carece de uma avaliação sistemática de como os LLMs lidam com fontes de notícias com orientações políticas variadas em tarefas de sumarização de múltiplos documentos. Além disso, não há consenso sobre se o aumento do tamanho do modelo (escala) resulta automaticamente em saídas mais justas.

2. Metodologia

2.1. Dataset: FairNews
Os autores introduzem o FairNews, o primeiro dataset de sumarização de notícias de múltiplos documentos com rótulos de orientação política em nível de artigo.

• Origem: Construído a partir do dataset "All the News 2.0".
• Estrutura: Agrupa artigos em clusters baseados em eventos (proximidade temporal e similaridade semântica).
• Rótulos: Utiliza as classificações de viés da AllSides (Esquerda, Centro, Direita), consolidando rótulos para garantir equilíbrio de classes.
• Filtragem: Apenas eventos com cobertura de todas as três perspectivas políticas são incluídos, garantindo um cenário de avaliação desafiador e equilibrado.

2.2. Métricas de Avaliação (5 Dimensões)
O estudo propõe um framework multidimensional de avaliação, combinando métricas de granularidade grossa e fina:

1. Neutralização (Neutralisation): Proporção de frases com tom neutro (sem viés positivo ou negativo explícito).
2. Justiça Igualitária (Equal Fairness): Medida da lacuna entre a representação máxima e mínima de perspectivas políticas no resumo (objetivo: lacuna zero).
3. Justiça de Proporção (Ratio Fairness): Mede o desvio da distribuição de saída em relação à distribuição de entrada usando a Distância de Wasserstein.
4. Cobertura de Entidades (Entity Coverage): Razão de entidades nomeadas dos documentos fonte preservadas no resumo.
5. Similaridade de Sentimento de Entidades (Entity Sentiment Similarity): Mede a preservação do sentimento em relação a entidades específicas (usando Distância de Wasserstein entre distribuições de sentimento fonte e resumo).

2.3. Configuração Experimental

• Modelos: 13 LLMs de código aberto de três famílias (Gemma-3, Llama-3, Qwen2.5), variando de 1B a 72B parâmetros.
• Intervenções de Desviés (Debiasing):
  • Base: Prompt simples.
  • Prompt-based: Instruções de desviés, Persona de "sumarizador justo", Prompt estruturado (passo a passo) e Prompt de referência (fornecendo metadados de viés dos editores).
  • Agent-based: Seleção do melhor resumo entre membros da mesma família usando o maior modelo como "juiz" (comparação par-a-par).

3. Principais Resultados

3.1. O Paradoxo da Escala ("Bigger Isn't Better")

• Desempenho de Justiça: A suposição de que modelos maiores são mais justos foi refutada. Modelos de tamanho médio (ex: Gemma-3 12B, Llama-3 8B, Qwen2.5 7B) consistentemente superaram seus contrapartes maiores em termos de equilíbrio entre justiça e eficiência.
• Degradação em Modelos Grandes: Os maiores modelos (ex: Llama-3 70B, Qwen2.5 72B) frequentemente apresentaram degradação em métricas de similaridade lexical e, em alguns casos, piora na justiça política em comparação com versões intermediárias.
• Viés Inerente: Todos os modelos tendem a sub-representar consistentemente perspectivas centristas e super-representar conteúdo partidário, independentemente do tamanho.

3.2. Eficácia das Intervenções de Desviés

• Dependência do Modelo: A eficácia dos prompts de desviés é altamente dependente da arquitetura do modelo. Não existe uma solução única.
• Prompt Estruturado: Demonstrou ser a abordagem mais consistente e equilibrada para melhorar a justiça sem degradar drasticamente a qualidade.
• Resistência do Sentimento de Entidades: A métrica Entity Sentiment Similarity provou ser a mais resistente a todas as intervenções testadas (tanto prompts quanto agentes). Os modelos falharam em preservar o sentimento original em relação a entidades específicas, sugerindo que o viés de sentimento está codificado profundamente nas representações internas do modelo, inacessível a prompts superficiais.
• Trade-off de Cobertura: Intervenções de desviés muitas vezes degradaram a Entity Coverage, indicando que tentar forçar neutralidade pode levar à omissão de entidades importantes.

3.3. Viés de Posição

• A análise estatística (Teste t e ANOVA) revelou que a posição dos documentos de entrada (qual artigo aparece primeiro) não tem impacto significativo na justiça ou na qualidade do resumo, indicando robustez posicional nos LLMs modernos.

4. Contribuições Chave

1. Dataset FairNews: Criação do primeiro dataset de sumarização de múltiplos documentos com rótulos políticos explícitos e completos, preenchendo uma lacuna crítica nos recursos de avaliação.
2. Framework de Avaliação Multidimensional: Proposta de um conjunto de 5 métricas complementares que capturam diferentes facetas da justiça (neutralidade, igualdade, proporção, cobertura e sentimento), superando avaliações unidimensionais.
3. Evidência Empírica sobre Escala: Demonstração robusta de que a escalabilidade de parâmetros não garante melhorias lineares na justiça, identificando o "ponto ideal" em modelos de tamanho médio.
4. Análise de Intervenções: Avaliação sistemática de que estratégias baseadas em prompts têm eficácia limitada, especialmente para a preservação de sentimento de entidades, sugerindo a necessidade de abordagens arquiteturais ou de pós-processamento mais sofisticadas.

5. Significado e Implicações

Este estudo desafia a narrativa predominante de que "mais parâmetros é sempre melhor" para tarefas de IA socialmente sensíveis. As descobertas indicam que:

• Para Praticantes: A escolha de modelos para sumarização de notícias deve priorizar o equilíbrio entre justiça e eficiência, favorecendo modelos de tamanho médio e utilizando prompts estruturados.
• Para Pesquisa Futura: O campo precisa desenvolver métodos de desviés que vão além da engenharia de prompts (como ajuste fino direcionado ou mecanismos de atenção específicos) para abordar a preservação de sentimento e a cobertura de entidades.
• Impacto Democrático: Ao identificar e quantificar distorções na sumarização automática, o trabalho contribui para o desenvolvimento de sistemas de IA mais responsáveis que servem melhor aos valores democráticos e à formação de opinião pública informada.

Em resumo, a justiça na sumarização de notícias não é uma função simples do tamanho do modelo, mas sim um desafio complexo que exige avaliação multidimensional e intervenções direcionadas à arquitetura do modelo.