AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

技術要約：AutoJourn

問題提起
本論文は、責任ある自動ジャーナリズムにおける極めて重要な課題、具体的には、大規模言語モデル（LLM）が多様な視点を単一のナラティブへと平坦化させ、ソースデータや学習シグナルに存在する微細なバイアスを再現してしまう傾向について取り組んでいる。自動ジャーナリズムはスケーラビリティを提供する一方で、既存の自然言語処理（NLP）ツールはしばしば孤立して動作している。すなわち、要約システムは対立する視点を一つの「中立的な」記述へと統合してしまい、バイアス検出ツールはエンドツーエンドのニュース生成ワークフローに組み込まれることが稀である。その結果、現在のパイプラインには、複数の視点を提示し、視点に配慮した記事を生成し、生成されたテキストのバイアスを評価するためのサポートが不足しており、特に断片化され、分極化したソーシャルメディア上の議論から入力データが抽出される場合にその傾向が顕著となる。

手法
著者らは、多角的視点の抽出、要約、制御されたニュース生成、およびバイアス評価を統合したエンドツーエンドのデモンストレーション・システムであるAutoJournを提示している。システムのパイプラインは以下のように動作する：

1. 入力とトピックモデリング： 生のソーシャルメディアの議論（例：Redditのスレッド）に対し、システムはプロンプトベースのトピックモデリング・パイプラインを採用する。構造化されたゼロショット・プロンプトを用いることで、LLMは意味的に一貫性のある上位5つのトピックを特定し、それらの割合を推定し、代表的なキーワードをリストアップする。
2. 多角的視点の抽出： システムは、各トピックに対して明確な視点（賛成／反対のスタンス）を抽出する。これは、簡潔で基準に基づいた正当化を生成するようにプロンプトされたGPT-4oモデルを用いて行われる。多様性と根拠を強化するため、システムはオプションとして検索拡張生成（RAG）メカニズムを利用し、TF-IDFと文章埋め込みによるリランキングを通じて意味的に関連するドキュメントを検索し、追加的な論証的コンテキストを提供する。
3. 多角的視点の要約： 抽出された視点は、以下の3種類の要約に変換される：
   • スタンス別要約： 「賛成」と「反対」の立場それぞれに対する個別の要約。
   • 統合要約： 両方の視点を中立的な言語を用いて合成したバランスの取れた要約。両側のエビデンスを等しく含めることを強調しつつ、感情的な表現を排除する。
4. ニュース記事の生成： 選択されたトピックと、それに対応する統合された多角的視点の要約を条件として、完全なニュース記事が生成される。システムはGPT-4oを使用して、これらの要約を一貫したナラティブへと展開し、バランスの取れた、あるいは中立的な記事の生成を可能にする。
5. バイアス検出と中立化：
   • 検出： 文レベルのバイアス分析モジュールは、BABEデータセットで学習されたファインチューニング済みのRoBERTa分類器を利用して、バイアスを含む文章を検出し、バイアスの確率を割り当てる。補完的な分類器（GusNet）は、バイアスの種類（政治的、人口統計学的、社会経済的）を分類する。
   • 中立化： 二段階の緩和パイプラインにより、バイアスを含む文章を書き換える。まず、ファインチューニングされたエンコーダー・デコーダーモデル（BARTまたはT5）が、文章を中立的な定式へと書き換える試みを行う。これらが失敗した場合、フォールバックとしてGPTベースの書き換えがトリガーされる。

主な貢献

• 統合フレームワーク： AutoJournは、視点の抽出、多角的要約、制御されたニュース生成、およびバイアス評価を、自動ジャーナリズムのための単一のデモンストレーション可能なシステム内で共同で運用する最初のプロトタイプとして提示されている。
• インタラクティブ・インターフェース： システムはユーザー向けインターフェースを提供し、ユーザーは視点のクラスターを調査し、スタンス別の要約を比較し、ニュース記事を生成し、バイアスを考慮した書き換えを直接適用することができる。これには、信頼度スコアと共にバイアスを含む文章をハイライトしたり、中立化された代替案を挿入したりする機能が含まれる。
• 包括的なレポート作成： システムは、ソースとなる会話、抽出された視点、要約、生成された記事、バイアス注釈、および中立化されたバージョンを集約した完全なPDFレポートを生成する。

結果
システムは、4つの軸にわたる内的な指標を用いて評価された：

• 視点抽出： SocialChem-101およびCMVデータセットを用いて、意味的多様性指標（ペアワイズ・コサイン距離）によって評価された。GPT-4oのバリアントは、報告されたモデルの中で最も高い意味的多様性スコアを達成した。興味深いことに、RAG拡張版は設計されたプロンプティングのみの場合よりも生の多様性がわずかに低かったため、著者らはデモにおいてプロンプトのみのアプローチを採用することとした。
• 要約： 「LLM-as-judge（判定役としてのLLM）」プロトコルによる忠実度と網羅性、および表面的な流暢さのスコア（Grammarly）によって評価された。統合要約は、スタンス別要約よりも流暢さがわずかに低かったが、これはバランスの取れた表現を確保するためのトレードオフとして受け入れられた。
• バイアス検出： システムは既存の検出器を統合し、生成された記事に対して透明で解釈可能なバイアスマップを提供する。
• バイアス中立化： ホールドアウトされたWNC分割およびBABEおよび生成されたニュースのテストセットを用いて評価された。BART + LLMフォールバック・パイプラインは、語彙的類似性のわずかな低下（ROUGE-L ≈ 0.96）のみで、最高のバイアス減少率（91.5%）を達成し、困難なケースにおけるフォールバック・メカニズムの有用性を確認した。

意義と主張
本論文は、AutoJournが、ニュース制作におけるLLMのより透明で社会的に責任あるアプリケーションへの実用的な道筋を提供すると主張している。解釈可能性、視点の多様性、およびバイアス緩和を組み合わせることで、システムはユーザーが、ソースとなる議論から生成されたナラティブへとどのように視点が伝播していくかを追跡し、それらのナラティブのバイアスを明示的なモデル駆動型の分析を通じて評価することを可能にする。著者らは、本研究を各サブモジュールの決定的なベンチマークとしてではなく、これらのコンポーネントを統合して、ジャーナリストや研究者が責任ある自動ジャーナリズムを探求することを支援するためのデモンストレーションとして位置づけている。システムの再現性とさらなる研究を促進するため、システムはライブで公開されているデモとして利用可能である。