Rewrite the News: Tracing Editorial Reuse Across News Agencies

Resumo Técnico: Rastreando a Reutilização Editorial em Notícias Multilíngues

1. Problema e Motivação

A reutilização de texto é uma prática central no jornalismo multilíngue, onde agências de notícias nacionais frequentemente adaptam, parafraseiam e sintetizam relatórios internacionais para criar notícias domésticas. No entanto, a detecção automática desse fenômeno enfrenta desafios significativos:

• Complexidade Multilíngue: A reutilização ocorre entre idiomas diferentes (ex: de fontes em italiano, alemão ou francês para o inglês/esloveno), exigindo métodos que não dependam de traduções completas.
• Natureza Não Literal: A reutilização editorial raramente é uma cópia literal (plágio). Envolve paráfrase, resumo, fusão de múltiplas fontes e reestruturação, o que torna a correspondência baseada apenas em sobreposição de n-grams ou similaridade lexical superficial ineficaz.
• Falta de Contexto Posicional: Estudos anteriores focaram em se o conteúdo é reutilizado, mas pouco se sabe sobre onde no artigo (início, meio ou fim) a reutilização ocorre e como isso se relaciona com a estrutura narrativa (ex: leads originais vs. corpo baseado em fontes).

O objetivo deste trabalho é investigar a reutilização de texto ao nível de sentenças em fluxos de trabalho reais de agências de notícias, identificando fontes, padrões de fusão e a posição estrutural do conteúdo reutilizado.

2. Metodologia

Os autores propõem um framework fracamente supervisionado para detectar e classificar a reutilização de sentenças em corpora multilíngues.

• Dados:

  • Fonte Alvo (STA): 1.037 artigos em inglês da Agência de Imprensa Eslovena (STA), cobrindo dois períodos: 7 de outubro a 2 de novembro de 2023 (início do conflito Israel-Hamas) e 1 a 28 de fevereiro de 2025 (período mais calmo).
  • Fontes Externas (FA): 237.551 artigos de 15 agências estrangeiras em 7 idiomas (italiano, inglês, polonês, francês, alemão, sérvio e croata).
  • Pré-processamento: Remoção de tags HTML, e-mails e números de telefone. Filtragem de sentenças curtas ou sem verbos (exceto em idiomas eslavos onde a estrutura permite, mas mantendo o foco em sentenças com >7 tokens e conteúdo semântico rico).

• Algoritmo de Detecção:

  1. Segmentação e Vetorização: As sentenças são divididas e convertidas em vetores utilizando Transformadores de Sentenças Multilíngues (multilingual SBERT), permitindo a comparação semântica entre idiomas sem tradução prévia.
  2. Cálculo de Similaridade: Utiliza-se a Similaridade de Cosseno para comparar cada sentença da STA com todas as sentenças das agências estrangeiras publicadas na mesma data.
  3. Limiar de Similaridade: Um limiar de 60% (0.6) foi estabelecido com base em experimentos preliminares no conjunto de dados Webis-Wikipedia-Text-Reuse-18. Sentenças acima deste limiar são consideradas semanticamente similares.
  4. Filtragem Temporal (Causalidade): Para evitar falsos positivos, apenas correspondências onde a fonte estrangeira (FA) foi recebida/publicada antes da criação do artigo da STA são mantidas.
  5. Seleção da Fonte Primária: Para cada sentença reutilizada na STA, apenas a correspondência com a fonte estrangeira mais antiga (mais provável de ser a origem original) é retida.

• Análise Estrutural:

  • Classificação das sentenças em três posições: Início (lead), Meio e Fim.
  • Análise de Relações Posicionais (PR): Mapeamento de como as sentenças se alinham (1:1, 1:many, many:1, many:many).

3. Contribuições Principais

1. Detecção Cross-Lingual sem Tradução Completa: Demonstração de que embeddings multilíngues podem rastrear a reutilização editorial entre 7 idiomas com alta precisão, contornando a necessidade de pipelines de tradução onerosos.
2. Análise de Posicionamento Discursivo: O estudo é pioneiro em mapear onde a reutilização ocorre dentro da estrutura do artigo, revelando que leads são frequentemente originais, enquanto o corpo e o final contêm a maior parte do conteúdo reutilizado.
3. Caracterização de Padrões de Fusão: Identificação de que a reutilização jornalística é predominantemente muitos-para-muitos ou muitos-para-um, indicando que os jornalistas sintetizam múltiplas fontes em novas construções, em vez de copiar sentenças isoladas.
4. Dataset e Código Abertos: Disponibilização de um corpus anotado de reutilização jornalística e o código de implementação para a comunidade de PLN.

4. Resultados Chave

• Taxa de Reutilização:
  • 52% dos artigos da STA contêm pelo menos uma sentença reutilizada.
  • Apenas 1,6% dos artigos das agências estrangeiras (FA) contêm reutilização detectada (indicando que a STA atua como um agregador/sintetizador).
• Padrões Posicionais:
  • O conteúdo reutilizado concentra-se predominantemente no meio e no fim dos artigos da STA.
  • Os leads (início) tendem a ser originais, sugerindo que os jornalistas escrevem aberturas próprias para contextualizar as informações estrangeiras.
  • A correspondência mais comum é de sentenças do meio da FA para o meio da STA (204 casos) e do início da FA para o meio da STA (217 casos).
• Estrutura de Relacionamento (PR):
  • 54,9% das reutilizações seguem o padrão many:many (várias sentenças da fonte fundidas em várias da STA).
  • 40,5% seguem o padrão many:1.
  • Apenas 4,4% são correspondências literais 1:1.
  • Conclusão: A reutilização é um processo de reescrita e síntese complexa, não de cópia direta.
• Análise Qualitativa: As picos de reutilização correspondem a ciclos de notícias intensos (crise nacional em 2023, política internacional em 2025), onde o uso de "modelos editoriais" compartilhados (templates) é comum para cobrir eventos semelhantes.

5. Significado e Limitações

• Significado: O trabalho demonstra que a reutilização jornalística é um processo de transformação de informação complexo e estruturado. Métodos de PLN tradicionais baseados em similaridade superficial falham em capturar essa dinâmica. A abordagem proposta oferece ferramentas para melhorar a transparência no fluxo de informações globais e auxiliar jornalistas na seleção prévia de conteúdo relevante, reduzindo a sobrecarga de informação.
• Limitações:
  • O método depende de embeddings que podem não distinguir bem entre paráfrases e textos não paráfraseados em certos contextos (como observado nos testes com o corpus Webis-CPC-11, onde a similaridade média foi alta para ambos).
  • A análise foca em agências de notícias específicas (STA e suas fontes), o que pode limitar a generalização para outros tipos de mídia.
  • Não foi possível traduzir todo o corpus para inglês devido a custos computacionais, dependendo da robustez do modelo multilíngue.

Em suma, o artigo fornece uma visão empírica e técnica de como o jornalismo global opera através da síntese e adaptação de conteúdo, propondo métodos computacionais avançados para rastrear esses fluxos invisíveis de informação.