Are LLMs More Skeptical of Entertainment News?

技術的サマリー：LLM はエンターテインメントニュースに対してより懐疑的か？

問題定義
大規模言語モデル（LLM）が自動化されたニュースの信頼性評価にますます導入される中、これらのシステムが異なるジャーナリズムジャンルに対して公平な基準を適用しているかどうかを理解する上で、重要なギャップが存在する。先行研究は集計されたベンチマーク性能とドメイン一般化に焦点を当ててきたが、LLM が正当なハードニュースよりも正当なエンターテインメントニュースを「偽」として誤分類する割合が体系的に高いかどうかは依然として不明である。この懸念は、私生活への焦点、物語中心の提示、感情的な鮮明さといったエンターテインメントジャーナリズムの様式的慣習が、検出器が信頼性の欠如をフラグ立てるためにしばしば依存する表面的な特徴と重複していることから生じる。もし LLM がこれらのジャンル慣習を不均衡に罰する場合、プラットフォームのモデレーションに構造化された偽陽性を導入し、ジャーナリズム的正当性の既存の階層を強化するリスクがある。

方法論
本研究は、実記事としてラベル付けされたエンターテインメントゴシップとハードニュースの両方を含むFakeNewsNetベンチマークのGossipCop部分集合を用いた、データセット内設計を採用している。研究では、DeepSeek-V3.2、GPT-5.2、Claude Opus 4.6、Gemini 3 Flashの 4 つの最先端 LLM を利用している。方法論は 4 つの明確な構成要素から成る：

1. データセット内偽陽性比較：著者らは、GossipCop から得られた 2 つのサブセット（エンターテインメントゴシップとハードニュース）に対するゼロショット LLM の偽陽性率（FPR）を比較する。記事は、人間によるコード検証を受けた DeepSeek-V3.2 分類器を用いて、4 つのカテゴリ（エンターテインメントゴシップ、ハードニュース、意見、プロモーション）にフィルタリングおよびラベル付けされた。主要な指標は、2 つのジャンル間の FPR の差（$\Delta$FPR）である。
2. スタイル交換実験：観察された非対称性が様式的レジスターのみによって駆動されているかをテストするため、50 件の実記事のエンターテインメント記事を、核心的な事実主張を保持しつつ従来のハードニュース様式に書き直した。これらの書き換えられた記事は、元のものと比較評価され、様式の変更のみが偽陽性を減少させるかどうかを判断した。
3. プロンプトベースの緩和：本研究は、特定のプロンプト戦略が偽陽性を減少させるかどうかを調査する。探索フェーズで 5 つのプロンプト変種がテストされ、その結果、DeepSeek-V3.2 の偽陽性に対して「専門家役割」プロンプト（モデルをエンターテインメントニュースのファクトチェックャーとして位置づけるもの）を用いた確認フェーズへと移行した。このフェーズには、実際の偽ニュースに対する再現性の低下を招かないことを保証するためのトレードオフ分析が含まれていた。
4. 定性的誤り分析：85 件のサンプリングされた偽陽性事例の人手によるコーディングが行われ、「私生活の検証不可能性」や「ジャンルレベルの不信」といった論理を含む反復的な誤りパターンを特定した。

主要な結果
本研究は、ゼロショットの真偽分類において明確だがモデル固有のジャンル非対称性を特定している：

• 特定モデルにおける非対称性：DeepSeek-V3.2とGPT-5.2は、有意な偽陽性のギャップを示す。DeepSeek-V3.2 は、ハードニュースに比べて正当なエンターテインメントニュースを偽として誤分類する割合が 10.1 ポイント高かった（$p < .001$）。GPT-5.2 も同様に 8.8 ポイントのギャップを示した（$p < .001$）。これに対し、Claude Opus 4.6とGemini 3 Flashは、2 つのジャンル間で FPR に統計的に有意な差を示さなかった。
• スタイル書き換えの限定的影響：エンターテインメント記事をハードニュース様式に書き換えても、モデルの判断における変化は限定的かつ一貫性がなかった。DeepSeek-V3.2 の場合、書き換え後の偽ニュース率は変化しなかった。GPT-5.2 の場合、書き換え後に偽ニュース率は 22.0% から 32.0% へと実際には増加した。これは、非対称性が様式的レジスターのみに還元できないことを示唆している。
• モデル固有のプロンプト緩和：プロンプトベースの緩和は DeepSeek-V3.2 に対しては有効であったが、GPT-5.2 に対しては有効ではなかった。DeepSeek-V3.2 をエンターテインメントニュースのファクトチェックャーとして位置づけることで、偽陽性が約 50% 減少した（ベースラインの 155 件から修正後の 77 件へ）。これは、偽記事に対する再現性の統計的に有意な低下を伴わずに行われた。しかし、同じプロンプトファミリーは GPT-5.2 に対してほとんど改善をもたらさなかった。
• 誤りパターン：定性的分析により、偽陽性はしばしば 2 つの反復的なパターンに起因することが明らかになった。すなわち、私生活に関する主張を本質的に検証不可能とみなすこと、およびエンターテインメントジャーナリズムを認識論的に弱いジャンルとして軽視することである。

意義と貢献
本論文は、AI 媒介の信頼性評価に関する文献に対して 3 つの主要な貢献を行っている：

1. 構造化された偽陽性の特定：集計された性能指標が、正当なジャーナリズム内の体系的な偽陽性を隠蔽しうることを実証している。本研究は、ゼロショット LLM がすべてのジャーナリズムジャンルに対して中立的な信頼性基準を適用しておらず、一部のモデルがエンターテインメントニュースを著しく罰していることを明らかにしている。
2. スタイルとジャンル仮定の解離：スタイル交換実験が一貫しない結果をもたらすことを示すことで、エンターテインメントニュースに対する懐疑は単なる様式的合図への反応ではなく、ジャンルそのものの正当性に関するより深く、モデル固有の仮定を反映していることを論じている。
3. 方法論的および理論的含意：これらの知見は、LLM ベースの信頼性評価が真実の主張を評価するだけでなく、暗黙的に異なるジャーナリズム形式の正当性をランク付けすることを示唆している。これは、ハードニュースがソフトニュースやエンターテインメントニュースよりも権威があるとみなされる既存の階層を再生産する。したがって、著者らは、責任ある導入を確保するために、評価プロトコルには全体の精度に加えてジャンル層別化された偽陽性分析を含める必要があると主張している。

本研究は、専門家役割プロンプトのような緩和戦略が特定のモデルに対しては有効であり得るが、それらは汎用的な解決策ではないと結論付けている。観察された非対称性は、ゼロショット分類の固有の性質というよりも、モデル固有の失敗モードを表しており、異なるシステムがジャーナリズム的正当性に関する暗黙の仮定をどのように運用するかを考慮した評価フレームワークの必要性を浮き彫りにしている。