AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

Resumo Técnico: AutoJourn

Problema
O artigo aborda desafios críticos no jornalismo automatizado responsável, especificamente a tendência dos Grandes Modelos de Linguagem (LLMs) de achatar diversos pontos de vista em uma narrativa única e reproduzir vieses sutis presentes nos dados de origem ou nos sinais de treinamento. Embora o jornalismo automatizado ofereça escalabilidade, as ferramentas de Processamento de Linguagem Natural (NLP) existentes frequentemente operam de forma isolada: sistemas de sumarização tipicamente fundem pontos de vista conflitantes em um relato "neutro", e ferramentas de detecção de viés raramente são integradas em fluxos de trabalho de geração de notícias de ponta a ponta. Consequentemente, os pipelines atuais carecem de suporte para evidenciar múltiplas perspectivas, gerar artigos conscientes de pontos de vista e avaliar o viés do texto resultante, particularmente quando os dados de entrada são extraídos de discussões de redes sociais fragmentadas e polarizadas.

Metodologia
Os autores apresentam o AutoJourn, um sistema de demonstração integrado e de ponta a ponta que conecta extração multi-perspectiva, sumarização, geração de notícias controlada e avaliação de viés. O pipeline do sistema opera da seguinte forma:

1. Entrada e Modelagem de Tópicos: Dada a discussão bruta de redes sociais (ex: threads do Reddit), o sistema emprega um pipeline de modelagem de tópicos baseado em prompts. Usando prompts de zero-shot estruturados, um LLM identifica os cinco principais tópicos semanticamente coerentes, estima suas proporções e lista palavras-chave representativas.
2. Extração Multi-Perspectiva: O sistema extrai pontos de vista distintos (posições de Concordar/Discordar) para cada tópico. Isso é alcançado por meio de um modelo GPT-4o instruído a gerar justificativas concisas baseadas em critérios. Para aumentar a diversidade e o embasamento, o sistema utiliza opcionalmente um mecanismo de Geração Aumentada de Recuperação (RAG), recuperando documentos semanticamente relacionados via TF-IDF e reclassificação por embeddings de sentenças para fornecer contexto argumentativo adicional.
3. Sumarização Multi-Perspectiva: As perspectivas extraídas são convertidas em três tipos de resumos:
   • Específico de posição (Stance-specific): Resumos separados para as posições de "Concordar" e "Discordar".
   • Mesclado (Merged): Um resumo equilibrado que sintetiza ambos os pontos de vista usando linguagem neutra, enfatizando a representação igualitária e a inclusão de evidências de ambos os lados, removendo frases emocionalmente carregadas.
4. Geração de Artigo de Notícia: Artigos de notícias completos são gerados condicionados a um tópico selecionado e ao respectivo resumo multi-perspectiva mesclado. O sistema utiliza o GPT-4o para expandir esses resumos em narrativas coerentes, permitindo a geração de artigos equilibrados ou neutros.
5. Detecção e Neutralização de Viés:
   • Detecção: Um módulo de análise de viés ao nível de sentença utiliza um classificador RoBERTa ajustado (treinado no dataset BABE) para detectar sentenças enviesadas e atribuir probabilidades de viés. Um classificador complementar (GusNet) categoriza os tipos de viés (político, demográfico, socioeconômico).
   • Neutralização: Um pipeline de mitigação de dois estágios reescreve sentenças enviesadas. Primeiro, modelos encoder-decoder ajustados (BART ou T5) tentam reescrever as sentenças em formulações neutras. Se falharem, um fallback de reescrita baseado em GPT é acionado.

Principais Contribuições

• Framework Unificado: O AutoJourn é apresentado como o primeiro protótipo a operacionalizar a extração de perspectiva, sumarização multi-perspectiva, geração de notícias controlada e avaliação de viés conjuntamente dentro de um único sistema demonstrável para o jornalismo automatizado.
• Interface Interativa: O sistema fornece uma interface voltada ao usuário onde este pode inspecionar clusters de perspectiva, comparar resumos específicos de posição, gerar artigos de notícias e aplicar reescritas conscientes de viés. Inclui recursos para destacar sentenças enviesadas com pontuações de confiança e inserir alternativas neutralizadas.
• Relatórios Abrangentes: O sistema gera um relatório completo em PDF agregando conversas de origem, perspectivas extraídas, resumos, artigos gerados, anotações de viés e versões neutralizadas.

Resultados
O sistema foi avaliado utilizando métricas intrínsecas em quatro eixos:

• Extração de Perspectiva: Avaliada nos datasets SocialChem-101 e CMV usando métricas de diversidade semântica (distâncias de cosseno par a par). As variantes do GPT-4o alcançaram os maiores escores de diversidade semântica entre os modelos relatados. Curiosamente, a variante aumentada por RAG mostrou uma diversidade bruta ligeiramente inferior à abordagem de apenas prompting, levando os autores a utilizar a abordagem apenas de prompt na demonstração.
• Sumarização: Avaliada via protocolo "LLM-as-judge" para fidelidade e cobertura, além de escores de fluência de superfície (Grammarly). Os resumos mesclados mostraram fluência ligeiramente inferior aos resumos específicos de posição, um compromisso aceito para garantir a representação equilibrada.
• Detecção de Viés: O sistema integra detectores existentes para fornecer mapas de viés transparentes e interpretáveis sobre os artigos gerados.
• Neutralização de Viés: Avaliada em um split WNC mantido fora do treino e conjuntos de teste do BABE e notícias geradas. O pipeline BART + fallback de LLM alcançou a maior redução de viés (91,5%) com apenas uma queda menor na similaridade lexical (ROUGE-L ≈ 0,96), confirmando a utilidade do mecanismo de fallback para casos difíceis.

Significância e Alegações
O artigo afirma que o AutoJourn oferece um caminho prático para aplicações mais transparentes e socialmente responsáveis de LLMs na produção de notícias. Ao combinar interpretabilidade, diversidade de pontos de vista e mitigação de viés, o sistema permite que os usuários rastreiem como os pontos de vista se propagam das discussões de origem para as narrativas geradas e avaliem o viés dessas narrativas através de uma análise explícita e movida por modelos. Os autores posicionam o trabalho não como um benchmark definitivo para cada submódulo, mas como uma demonstração de como esses componentes podem ser integrados conjuntamente para apoiar jornalistas e pesquisadores na exploração do jornalismo automatizado responsável. O sistema está disponível em uma demo ao vivo e acessível publicamente para facilitar a reprodutibilidade e futuras pesquisas.