AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

Sintesi Tecnica: AutoJourn

Problematica
Il documento affronta le sfide critiche del giornalismo automatizzato responsabile, specificamente la tendenza dei Large Language Models (LLM) ad appiattire la diversità di vedute in un unico racconto e a riprodurre sottili pregiudizi presenti nei dati sorgente o nei segnali di addestramento. Sebbene il giornalismo automatizzato offra scalabilità, gli strumenti esistenti di Elaborazione del Linguaggio Naturale (NLP) operano spesso in isolamento: i sistemi di riassunto tendono a fondere punti di vista contrastanti in un resoconto "neutro", mentre gli strumenti di rilevamento del bias sono raramente integrati in flussi di lavoro di generazione di notizie end-to-end. Di conseguenza, le pipeline attuali mancano di supporto per far emergere molteplici prospettive, generare articoli consapevoli dei diversi punti di vista e valutare il bias del testo risultante, specialmente quando i dati di input sono tratti da discussioni frammentate e polarizzate sui social media.

Metodologia
Gli autori presentano AutoJourn, un sistema dimostrativo integrato ed end-to-end che connette l'estrazione multi-prospettiva, la sintesi, la generazione controllata di notizie e la valutazione del bias. La pipeline del sistema opera come segue:

1. Input & Topic Modeling: Data una serie di discussioni grezze dai social media (ad es. thread di Reddit), il sistema impiega una pipeline di topic modeling basata su prompt. Utilizzando prompt zero-shot strutturati, un LLM identifica i cinque temi principali semanticamente coerenti, ne stima le proporzioni ed elenca parole chiave rappresentative.
2. Estrazione Multi-Prospettiva: Il sistema estrae distinti punti di vista (posizioni di Accordo/Disaccordo) per ogni tema. Ciò viene ottenuto tramite un modello GPT-4o istruito per generare giustificazioni concise basate su criteri. Per aumentare la diversità e la fondatezza, il sistema utilizza opzionalmente un meccanismo di Generazione Aumentata dal Recupero (RAG), recuperando documenti semanticamente correlati tramite TF-IDF e reranking di embedding di frasi per fornire un contesto argomentativo aggiuntivo.
3. Sintesi Multi-Prospettiva: Le prospettive estratte vengono convertite in tre tipi di riassunti:
   • Specifici per posizione (Stance-specific): Riassunti separati per le posizioni di "Accordo" e "Disaccordo".
   • Fusi (Merged): Un riassunto bilanciato che sintetizza entrambi i punti di vista utilizzando un linguaggio neutro, enfatizzando la rappresentazione equa e l'inclusione di prove da entrambe le parti pur rimuovendo espressioni emotivamente cariche.
4. Generazione di Articoli di Giornale: Gli articoli completi vengono generati condizionati da un tema selezionato e dal corrispondente riassunto multi-prospettiva fuso. Il sistema utilizza GPT-4o per espandere questi riassunti in narrazioni coerenti, permettendo la generazione di articoli bilanciati o neutrali.
5. Rilevamento e Neutralizzazione del Bias:
   • Rilevamento: Un modulo di analisi del bias a livello di frase utilizza un classificatore RoBERTa fine-tuned (addestrato sul dataset BABE) per rilevare frasi con bias e assegnare probabilità di bias. Un classificatore complementare (GusNet) categorizza i tipi di bias (politico, demografico, socioeconomico).
   • Neutralizzazione: Una pipeline di mitigazione a due stadi riscrive le frasi cariche di bias. In primo luogo, modelli encoder-decoder fine-tuned (BART o T5) tentano di riscrivere le frasi in formulazioni neutrali. Qualora questi fallissero, viene attivato un fallback di riscrittura basato su GPT.

Contributi Chiave

• Framework Unificato: AutoJouro è presentato come il primo prototipo che opera in modo congiunto l'estrazione della prospettiva, la sintesi multi-prospettiva, la generazione controllata di notizie e la valutazione del bias all'interno di un unico sistema dimostrabile per il giornalismo automatizzato.
• Interfaccia Interattiva: Il sistema fornisce un'interfaccia per l'utente dove è possibile ispezionare i cluster di prospettiva, confrontare i riassunti specifici per posizione, generare articoli di giornale e applicare riscritture consapevoli del bias. Include funzionalità per evidenziare le frasi con bias con punteggi di confidenza e inserire alternative neutralizzate.
• Reporting Completo: Il sistema genera un report PDF completo che aggrega le conversazioni sorgente, le prospettive estratte, i riassunti, gli articoli generati, le annotazioni del bias e le versioni neutralizzate.

Risultati
Il sistema è stato valutato utilizzando metriche intrinseche su quattro assi:

• Estrazione della Prospettiva: Valutata sui dataset SocialChem-101 e CMV utilizzando metriche di diversità semantica (distanze coseno a coppie). Le varianti GPT-4o hanno ottenuto i punteggi di diversità semantica più elevati tra i modelli riportati. Interessantemente, la variante aumentata con RAG ha mostrato una diversità grezza leggermente inferiore rispetto al solo approccio basato su prompt, portando gli autori a utilizzare l'approccio basato solo su prompt nella demo.
• Sintesi (Summarization): Valutata tramite un protocollo "LLM-as-judge" per fedeltà e copertura, e punteggi di fluidità superficiale (Grammarly). I riassunti fusi hanno mostrato una fluidità leggermente inferiore rispetto ai riassunti specifici per posizione, un compromesso accettato per garantire una rappresentazione bilanciata.
• Rilevamento del Bias: Il sistema integra detector esistenti per fornire mappe di bias trasparenti e interpretabili sugli articoli generati.
• Neutralizzazione del Bias: Valutata su uno split WNC e test set di BABE e notizie generate. La pipeline BART + fallback LLM ha raggiunto la più alta riduzione del bias (91,5%) con solo una minima diminuzione della similarità lessicale (ROUGE-L ≈ 0,96), confermando l'utilità del meccanismo di fallback per i casi difficili.

Significatività e Rivendicazioni
Il documento sostiene che AutoJourn offre una via pratica verso applicazioni di LLM più trasparenti e socialmente responsabili nella produzione di notizie. Combinando interpretabilità, diversità di vedute e mitigazione del bias, il sistema permette agli utenti di tracciare come i punti di vista si propagano dalle discussioni sorgente nei racconti generati e di valutare il bias di tali racconti attraverso un'analisi esplicita e guidata dai modelli. Gli autori posizionano il lavoro non come un benchmark definitivo per ogni sub-modulo, ma come una dimostrazione di come questi componenti possano essere integrati congiuntamente per supportare giornalisti e ricercatori nell'esplorazione di un giornalismo automatizzato responsabile. Il sistema è disponibile come demo live e pubblicamente accessibile per facilitare la riproducibilità e la ricerca ulteriore.