論文要約：LLM 裁判官の偽善性？語用論的コンピテンスにおけるリスナーとスピーカーの非対称性

（原題：How Hypocritical Is Your LLM judge? Listener–Speaker Asymmetries in the Pragmatic Competence of Large Language Models）

1. 研究の背景と問題提起

大規模言語モデル（LLM）は、言語知識の蓄積庫として研究される際、**「言語生成（スピーカー）」と「言語出力の評価・判断（リスナー/裁判官）」の両方の役割で評価されることが一般的です。しかし、これら 2 つの役割が直接的に関連しているかどうか、つまり「あるタスクで成功するモデルが、もう一方の役割でも成功するかどうか」は、特に語用論的コンピテンス（Pragmatic Competence）**の領域において十分に検証されていませんでした。

人間の場合、語用論的に不適切な発言を「理解・判断」することと、それを自ら「生成・修正」することには、認知プロセスや処理負荷に大きな違いがあります（理解が先行し、生成が困難であることが多い）。本研究は、LLM においても同様の非対称性が存在するか、すなわち**「LLM は語用論的な判断は得意だが、適切な応答を生成するのは苦手ではないか」**という疑問に答えることを目的としています。

2. 研究方法

著者らは、14 種類の最新 LLM（オープンウェイトモデルとプロプライエタリモデル）を対象に、以下の 3 つの語用論的タスクにおいて、**「スピーカー（生成）」と「リスナー（評価）」**の 2 つの役割を並行して評価しました。

評価タスク

1. 偽の前提（False Presuppositions）:
   • 誤った前提を含んだ質問（例：「現在のフランス国王は何歳か？」）に対し、モデルがその前提を無視・拒絶できるか（スピーカー）、あるいは他モデルの回答が前提を拒絶しているかを判断できるか（リスナー）を評価。
2. 反前提（Antipresuppositions）:
   • 文脈において強い前提（定冠詞 "the"）が求められる場面で、弱い前提（不定冠詞 "a"）が不適切かどうかを判断・生成するタスク（Maximize Presupposition! 原則に基づく）。
3. 演繹的推論（Deductive Reasoning）:
   • 前提から論理的に正しい結論を導き出す（スピーカー）、または提示された結論が論理的に正しいかを判断する（リスナー）タスク。

実験設定

• モデル: LLaMA-3, Qwen-3, Phi-4, OLMo-2, Mistral, Mixtral などのオープンモデルと、GPT-4o/4.1/5, Claude Sonnet 4.5 などのプロプライエタリモデルを含む 14 モデル。
• 比較手法: 各タスクで、同じアイテム（問題）に対して「生成タスク」と「評価タスク」の両方を実行し、精度を直接比較。
• 分析: 全体の精度比較に加え、アイテムレベルでの「正解した評価が、正解した生成を予測するか」を条件付き確率（$\Delta_{cond}$）で分析。

3. 主要な結果

3.1 明確な非対称性（リスナー > スピーカー）

すべてのタスクにおいて、多くのモデルで**「評価（リスナー）の精度」が「生成（スピーカー）の精度」を大幅に上回る**という一貫した非対称性が観察されました。

• 偽の前提タスク: 特に顕著でした。Mistral-7B や LLaMA-8B などのオープンモデルは、生成タスクではほぼ 0% の精度でしたが、評価タスクでは 30% 以上を達成しました。GPT-4o などの大規模モデルでも、より困難なデータセットでは評価の方が生成より優れていました。
• 反前提タスク: 多くのモデルでリスナー優位が見られ、特に Qwen-3 や Mistral-7B で差が大きかったです。
• 演繹的推論タスク: オープンモデル（LLaMA-8B, OLMo-2 など）では評価が生成を大きく上回りましたが、GPT-4.1 や GPT-5 などの最新モデルでは生成の方が優れる、あるいは同等の傾向も見られました。

3.2 評価能力は生成能力を予測しない

アイテムレベルの分析（Table 1）により、「正しく判断できたアイテム」が「正しく生成できたアイテム」と一致しないことが示されました。

• 多くのモデル（特にオープンモデル）において、$\Delta_{cond}$（正解した評価が正解した生成を予測する度合い）はゼロ、あるいは負の値を示しました。
• 具体的には、モデルが「この回答は不適切だ」と正しく判断していても、同じ文脈で自ら適切な回答を生成することはできませんでした。
• 特に「反前提」タスクでは、誤った判断よりも正しく判断した場合の方が、生成の成功率が低くなるという逆相関さえ見られました。

3.3 モデルサイズとタイプによる違い

• オープンウェイト/中規模モデル: 評価と生成の乖離が非常に激しく、「裁判官」としては機能しても「話し手」としては機能しない傾向が強い。
• 大規模プロプライエタリモデル（GPT-4.1, GPT-5, Claude 等）: 両者の精度差は縮小し、場合によっては生成の方が優れることもありますが、それでも完全に一致しているわけではありません。

4. 主要な貢献と結論

本研究は、LLM の評価において以下の重要な知見を提供しました。

1. 役割の非対称性の実証: 現在の LLM において、語用論的「理解・判断」と「生成」は、部分的に独立した能力であることを示しました。これは心理言語学における「理解と生成の非同一性」という知見を LLM にも適用できることを示唆しています。
2. LLM-as-a-Judge への警告: 多くのベンチマークや評価パイプラインでは、モデルを「裁判官（評価者）」として使用していますが、その高い評価精度が「モデル自体の生成能力」を反映しているとは限りません。評価タスクでの成功は、生成タスクでの成功を保証しません。
3. 評価手法の再考の必要性: 現在の語用論的評価は「リスナー型（多肢選択や評価）」に偏っており、これがモデルの真の語用論的コンピテンスを過大評価している可能性があります。生成と評価を統合的に評価するフレームワークの必要性を提唱しています。

5. 意義と今後の展望

この研究は、LLM の能力評価において「生成」と「評価」を区別して考える重要性を浮き彫りにしました。特に、LLM を自動評価ツール（裁判官）として利用する際の信頼性に関する懸念を提起し、メタ言語的評価（Prompt による判断）が必ずしもモデルの内部的な言語能力を正確に反映していない可能性を示唆しています。

今後の研究では、より多様な語用論的現象（含意、会話修復など）への一般化、言語間の比較、およびモデル内部のメカニズム解明が求められます。また、評価タスクと生成タスクの両方を統合的に考慮した、より包括的な評価基準の確立が急務であると言えます。