セミエバル 2026 タスク 6「政治的質問の回避を暴く（CLARITY）」への Duluth チームの参加：LLM 拡張データを用いた DeBERTa によるアプローチ

本論文は、SemEval-2026 タスク 6「CLARITY（政治的質問の回避を暴く）」における Duluth チーム（ミネソタ大学デュルース校）のアプローチを報告したものです。アメリカ合衆国大統領のインタビューにおける「質問 - 回答」ペアの明確さ（Clarity）を分類し、政治的議論における曖昧な回答や回避戦略を自動検出することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

本タスクは、政治的議論における「回避的コミュニケーション戦略」の計算機による検出と分類に焦点を当てています。Thomas ら（2024）が提案した 2 段階の階層型タキソノミーに基づき、以下の 2 つのサブタスクが設定されています。

• タスク 1（明確さレベル分類）: 回答を 3 つのカテゴリに分類します。
  • Clear Reply（明確な回答）: 要求された情報が明示的に提供されている。
  • Ambivalent（曖昧な回答）: 回答はあるが、複数の解釈が可能（暗示的、一般的、部分的、あるいはそらしの回答など）。
  • Clear Non-Reply（明確な非回答）: 情報の提供を公然と拒否、無知を主張、または明確化を求めている。
• タスク 2（回避レベル分類）: 上記の 3 つのカテゴリの下位に位置する、9 つの微細な回避テクニック（例：「明示的」「暗示的」「一般化」「回避」「そらし」「回答拒否」「無知の主張」「明確化」など）に分類します。

課題: 学習データにおけるクラス不均衡が深刻です（Ambivalent: 59%, Clear Reply: 31%, Clear Non-Reply: 10%）。特に少数クラスの「Clear Non-Reply」の検出が困難であり、また「Ambivalent」と「Clear Reply」の境界線は人間のアノテータ間でも合意が難しい（κ = 0.65）という曖昧さを含んでいます。

2. 手法とシステム概要

Duluth チームのシステムは、DeBERTa-V3-baseを基盤とし、クラス不均衡の解消と微細な言語パターンの捕捉を目的として、以下の技術的拡張を施しています。

2.1 データ拡張（クラス不均衡の解消）

少数クラス（特に Clear Non-Reply）のサンプル数を増やすため、大規模言語モデル（LLM）を用いた合成データ生成を採用しました。

• Gemini 3: 少数クラスの修辞的フレーム（例：「外交的な議論についてはコメントできません」）を抽出し、ランダムな政治的コンテキストと組み合わせる「文脈感知合成生成（CASA）」を行い、2,672 件の合成データを生成。これによりクラス数を均等化（各クラス 2,040 件）しました。
• Claude Sonnet 4.5: 既存の回答テキストに対して、同義語置換、ランダム挿入、スワップ、削除などの EDA（Easy Data Augmentation）風操作を適用し、1,086 件の合成データを生成しました。
• 学習時の重み付け: 生成されたデータが過学習を防ぐため、Gemini 由来のデータには 0.7 倍、Claude 由来のデータには 0.5 倍の信頼度重みを付与した損失関数を使用しました。

2.2 モデルアーキテクチャと学習戦略

• ベースモデル: Microsoft の deberta-v3-base（1.84 億パラメータ）。DeBERTa の分離アテンション機構が、政治的言語の微妙なニュアンスを捉えるのに優れていると判断しました。
• Focal Loss: 学習信号を「難しい例（ハードなサンプル）」に集中させるため、クラス重み（$\alpha_t$）と難易度パラメータ（$\gamma=2.0$）を用いた Focal Loss を採用しました。
• 層別学習率減衰（LLRD）: 下位層の事前学習知識を保持しつつ、上位層をタスク固有に適応させるため、層ごとに学習率を $\alpha^k$（$\alpha=0.9$）で減衰させました。
• ブーリアン特徴量の追加: 元のデータから抽出した統計的に有意な 2 つのバイナリ特徴量（affirmative_questions, multiple_questions）を、小さな特徴量プロセッサ（Linear→ReLU→Dropout）を通じてトランスフォーマーのプーリング出力と連結し、分類前に注入しました。
• 学習設定: Cosine アニーリングスケジューラ、ウォームアップ（15%）、勾配蓄積（実効バッチサイズ 32）、早期停止（パトience 3）を採用しました。

3. 結果

タスク 1（明確さレベル分類）の評価結果は以下の通りです。

• 成績: 開発セット（Evaluation Set）において Macro F1 スコア 0.76 を達成し、40 チーム中 8 位 に入りました。
• 比較: 最上位チーム（TeleAI）は 0.89、参加者の平均は 0.70 でした。Duluth チームのシステムは上位 20% に入りました。
• データ拡張の効果: データ拡張なしのオリジナルデータのみでの学習では F1 0.69 でしたが、Gemini による拡張を加えることで 0.76 まで向上しました。
• タスク 2 の結果: 微細な回避テクニック分類（9 クラス）では、開発フェーズで F1 0.45（24 チーム中 9 位）でしたが、評価フェーズでは分布のズレにより 0.28（33 チーム中 30 位）に急落しました。

4. 誤り分析と考察

誤り分析により、モデルが直面している主要な課題が明らかになりました。

• 主要な誤分類パターン: 誤りの約 65-68% は、「Ambivalent（曖昧）」と「Clear Reply（明確な回答）」の間の混同に起因しています。
  • Ambivalent → Clear Reply: 回答に具体的な主張が含まれるが、修飾語（hedging）で限定されている場合、モデルは修飾語を見逃し「明確」と誤判定します。
  • Clear Reply → Ambivalent: 回答は直接的だが、推量や条件付きの表現（例：「検討すると思います」）が含まれる場合、モデルは「曖昧」と誤判定します。
• 人間との一致: この混同パターンは、人間のアノテータ間の不一致と一致しており、タスクの本質的な難しさを示しています。
• Clear Non-Reply の性能: 興味深いことに、モデルは「Clear Non-Reply」と「Clear Reply」の区別はほぼ完璧（False Positive 0）に行っており、回避的な回答自体はよく捉えていることが示されました。

5. 主要な貢献と意義

1. LLM によるデータ拡張の有効性: 政治的議論のようなニッチで不均衡なタスクにおいて、Gemini や Claude などの LLM を用いた合成データ生成が、少数クラスの再現率（Recall）を向上させ、全体のパフォーマンスを高めることが実証されました。
2. ハイブリッドなアプローチの成功: DeBERTa-V3 といった強力な事前学習モデルに、Focal Loss、層別学習率減衰、ドメイン固有のブーリアン特徴量、そして LLM 生成データを組み合わせることで、競合他社を上回る性能を達成しました。
3. 課題の明確化: 本研究は、政治的質問への回答分類において、単なる「回答しない（Non-Reply）」の検出よりも、「曖昧（Ambivalent）」と「明確（Clear）」の境界線（グレーゾーン）をどう定義し、モデルに学習させるかが最大のボトルネックであることを浮き彫りにしました。

6. 今後の展望

著者は、今後の研究として以下の方向性を提案しています。

• マルチタスク学習: 明確さレベルと微細な回避レベルを同時に予測することで、階層構造を活用する。
• 修飾語（Hedging）への対応: 修飾語、条件節、トピックの転換を明示的に検出する機能を実装し、曖昧な回答と明確な回答の区別を強化する。
• タスク 2 の改善: 9 クラス分類における分布のズレ（Distribution Shift）に対処するため、より頑健な検証手法と少数クラス拡張の必要性を指摘しています。

総じて、本論文は LLM を活用したデータ拡張と、高度にチューニングされたトランスフォーマーモデルの組み合わせが、政治的議論の複雑なニュアンスを分析する上で有効であることを示す重要な成果です。