Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

技術的サマリー：注釈スキーマ全体にわたる堅牢なプロパガンダ分類のための階層型プロンプトを用いたファインチューニング

問題提起
ソーシャルメディアにおけるプロパガンダ検出は、テキストのノイズの多い短さ、口語表現の普及、および低い注釈者間一致率（IAA）に起因する重大な課題に直面している。既存の分類体系は往々にして技法中心（「偏った言語」などの修辞技法に焦点を当てる）であり、プロパガンダ背後の戦略的コミュニケーション意図を捉えるのに苦慮している。さらに、スキーマ設計にはトレードオフが存在する：現実的で複雑なスキーマは現実世界の多様性を捉えるが注釈の信頼性を低下させるのに対し、単純化されたスキーマは生態学的妥当性を犠牲にして合意率を高める。加えて、注釈スキーマ設計、監督 regimes（ゼロショット対ファインチューニング）、およびプロンプト戦略との相互作用は、大規模言語モデル（LLM）の文脈において未だ十分に探求されていない。

手法
著者らは、注釈スキーマ、監督 regimes、およびプロンプト戦略という 3 つの相互作用的な次元にわたるプロパガンダ分類を評価する制御実験を実施した。

1. データセットとスキーマ:

   • データソース: 本研究は、ロシア・ウクライナ戦争開始時の 3 万件の英語ツイートからなる HQP ベンチマークデータセットを利用した。
   • スキーマ A（新しい意図ベース）: 著者らは、コミュニケーション意図（例：責任転嫁、攻撃の正当化、同意の捏造）に基づき、17 の微細な技法を 5 つの高レベルカテゴリにグループ化する新しい分類体系を導入した。このスキーマは、専門家による注釈、LLM 支援による調和、およびグループ合意を含む反復プロセスを通じて開発された。これは中程度の IAA（$\kappa=0.309$）をもたらした。これは、短いテキストにおける意図の固有の曖昧さを反映している。
   • スキーマ B（Sahitaj ら、2025）: Twitter 向けに調整された、スパンベースで技法中心の分類体系である。本研究において、著者らはその 17 の技法を 6 つの高レベルカテゴリにクラスタリングした。このスキーマは、著しく高い IAA（$\kappa=0.594$）を示した。

2. モデル:
   4 つの言語モデルが評価された：GPT-4.1-nano、Phi-4 14B、Qwen2.5-14B、および Qwen3-14B。実験は、ゼロショット（Base）およびファインチューニング（FT）の両方の regimes で実施された。ファインチューニングは、オープンウェイトモデルには LoRA アダプターを、GPT-4.1-nano には API ベースの最適化を用いて行われた。

3. プロンプト戦略:

   • Direct-High: モデルがテキストから直接高レベルカテゴリを予測する。
   • HiPP（階層型プロンプト）: 「Main→High」戦略であり、モデルはまず最も顕著な微細な技法を予測し、その後、この予測を集約して単一パスで高レベルカテゴリを決定する。

4. 評価:
   性能は、各スキーマあたり 200 ツイートのバランスの取れたゴールドテストセットを用いて、Macro-F1 および Weighted-F1 で測定された。誤り分析には、混同行列、語幹頻度統計、および TF-IDF ベクトルの PCA 可視化が含まれた。

主要な貢献

1. 新しい意図ベースの分類体系: 本論文は、2019 年以来、プロパガンダのための完全に新しい概念的分類体系を初めて導入し、表面レベルの技法から戦略的コミュニケーション目標へと焦点を移した。
2. 制御された比較フレームワーク: 本研究は、スキーマ設計、監督、およびプロンプトを直交因子として扱い、それらの効果を分離することで、これらの要素がモデルの堅牢性を形成するためにどのように相互作用するかを実証した。
3. 階層型プロンプト（HiPP）の検証: 著者らは HiPP 手法を提案・検証し、特にノイズの多い低合意の注釈スキーマにおいて、ファインチューニングされた設定でのその具体的な有用性を示した。
4. 既存スキーマへの高レベルラベル付け: 著者らは、クラスタリング手順を通じて Sahitaj ら（2025）のスキーマに高レベルラベルを作成し、人間による検証で高い合意を達成し、比較のための堅牢なベースラインを提供した。

結果

• ファインチューニングの影響: ファインチューニングはすべての構成において決定的であり、弱いゼロショットベースラインを競争力のあるシステムへと変容させた（Weighted-F1 で +0.09 から +0.30 の改善）。また、ベース regimes では見えなかった方法論的な差異を明らかにした。
• スキーマの性能: Sahitaj スキーマは、より高い注釈信頼性により、一貫してより高い絶対性能（Weighted-F1 で +0.05～+0.15 の差）をもたらした。しかし、意図ベースのスキーマはより困難であるものの、戦略的目標に関するより豊かな視点を提供した。
• モデルの性能: オープンウェイトモデルの中で、Qwen シリーズ（特に Qwen3-14B）が最も強力な全体的性能を達成した。Phi-4 14B は、両方のスキーマおよび regimes にわたり、一貫して GPT-4.1-nano を上回った。
• HiPP の有効性:
  • ゼロショット設定では、HiPP（Main→High）は、特に低 IAA スキーマにおいて Direct-High よりも性能が低いことが多く、適応された表現なしに階層的分解がノイズを増幅させる可能性を示唆した。
  • ファインチューニング後、HiPP は特に意図ベースのスキーマにおいて極めて有益となった。それは安定的な方法論的優位性を提供し、注釈者の不一致が高い場合でもモデルが多数決ラベルを回復するのを助けた。
• 誤り分析:
  • ゼロショット: モデルは語彙的手がかり（例：「ウクライナ」、「ナチス」、「戦争」）に過剰に敏感であり、高い偽陽性率をもたらした。
  • ファインチューニング: 誤りは単純な語彙トリガーから、真に曖昧で分極化したケースへと移行した。ファインチューニングされた HiPP モデルは、中立的な戦争報道における偽陽性を減少させ、概念的に隣接するカテゴリ（例：現実の歪曲と責任転嫁の混同）に誤りを集中させ、分類体系のより構造化された理解を示した。
  • PCA 可視化: 意図ベースのスキーマは、Sahitaj スキーマのコンパクトで明確に分離されたクラスターと比較して、より密で重なり合う決定空間を生み出し、意図ベースのタスクのより高い困難さを確認した。

意義と主張
本論文は、主要な貢献が方法的であることを主張しており、堅牢なプロパガンダ検出にはファインチューニングが不可欠であり、階層型プロンプト（HiPP）は、モデルがノイズの多い不均衡な注釈空間に適応された場合に特に安定化させる帰納的バイアスとして機能することを実証している。

著者らは、単純化された技法中心のスキーマがより明確な学習シグナルを提供する一方で、意図ベースのスキーマはプロパガンダの戦略的目標の微妙な分析に必要であると論じている。彼らは、HiPP でファインチューニングされた現代の LLM が、類似した解釈可能な誤り構造に収束し、あるモデルファミリーから導き出された結論が他へも妥当に転送可能であることを示唆している。この研究は、現実世界の検出に関する将来の研究のための挑戦的なベンチマーク（新しい意図ベースのラベルを備えた HQP データセット）を提供し、堅牢なシステムは生態学的現実性と注釈信頼性の間のトレードオフを考慮しなければならないことを強調している。

著者らは謙虚であり、結果は単一のデータ分割に基づく方法論的傾向を示唆するものであり、提案された意図ベースの分類体系は価値があるものの、固有のノイズを導入して既存のフレームワークよりも困難な分類問題となっていると指摘している。