Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

技術的サマリー：人間と大規模言語モデル（LLM）の相互作用における含意認識型プロンプティング

問題提起
大規模言語モデル（LLM）が人間とコンピュータの相互作用（HCI）の主要なインターフェースとなるにつれ、システムは特に会話的含意という語用論的現象に直面し、対応に苦慮するようになっています。含意とは、明示的な発話ではなく、文脈、共有された前提、そしてコミュニケーション規範を通じて間接的に伝達される意味を指します（例：「仕事が山ほどある」と述べることで拒絶を暗示する）。現在の LLM は往々にして文字通りの解釈に依存し、ユーザーが硬直した、無知な、あるいは自身のコミュニケーション意図と整合しない応答であると認識する結果を招いています。既存のベンチマークは含意タスクにおけるモデルのパフォーマンスを評価していますが、プロンプティングを通じて暗示された意図を明示化することが、ユーザー向け環境における応答の知覚された品質や関連性を向上させるかどうかについては、理解が不足しています。さらに、HCI における刺激の設計と評価のために特化して設計された、軽量かつ運用可能な分類体系の欠如も指摘されています。

方法論
本研究は、含意を運用化し、それがユーザーの知覚に与える影響を評価するために、3 つの実験からなる設計を採用しています。

1. 分類体系の構築: 著者は、グライス的な語用論とサールの発話行為理論に基づき、HCI 指向の運用分類体系として 3 つの含意クラスを導入しました。

   • 情報探索型: 知識や明確化に対する間接的な要請。
   • 方向探索型: 指針、行動、または次のステップに対する間接的な要請。
   • 表現型: 直接的な要請を伴わず、感情、態度、または評価を伝達する発話。
     主要な暗示された意図と、最初のターンで求められる応答義務に基づいてプロンプトをラベル付けするための評価基準（ルーブリック）が確立されました。

2. 実験 1（解釈ベンチマーク）:

   • タスク: 60 名の人間参加者と 5 つの LLM（GPT-4o、GPT-4、GPT-3.5-turbo、Llama-2-7b-chat、Mistral-7B-Instruct）に、作成された 30 のプロンプトを 3 つの含意クラスに分類するよう求めました。
   • 目的: 分類体系の学習可能性と内部的整合性を検証し、人間の解釈を基準としたモデルの整合性をベンチマークすること。

3. 実験 2（知覚された関連性と品質）:

   • タスク: 90 名の参加者が、知覚された関連性と全体的な品質について、5 段階のリッカート尺度を用いて LLM の応答を評価しました。
   • 条件: 応答は 2 つの条件下で生成されました。
     • ベースライン: 標準的なシステムプロンプト。
     • 含意認識型: モデルに、特定のプロンプトに対する特定の含意クラスの定義とコミュニケーション目標を提示しました（完全なルーブリックの詳細は含みませんでした）。
   • 設計: 参加者がプロンプトと応答のペアのサブセットを閲覧する、不完全な被験者間評価デザイン。

4. 実験 3（ターゲットを絞った強制選択フォローアップ）:

   • タスク: 30 名の参加者が、実験 2 の結果に基づいて事後に選択された 10 のプロンプト - 応答ペアのターゲットサブセットに対して、2 項強制選択タスクを行いました。これらのペアは、関連性または品質評価において高い対照的な差を示すものとして選択されました。
   • 目的: 実験 2 で観察された評価上の優位性が、両方の選択肢を並べて提示された場合の直接的なペアワイズ選好に転換するかどうかを判断すること。

主要な貢献

1. 運用分類体系: 言語理論に基づきつつ、HCI における刺激の設計と評価のために最適化された、実用的な 3 クラスの含意分類体系（情報探索型、方向探索型、表現型）の導入。
2. モデルベンチマーク: 人間の基準に対する 5 つの LLM の比較ベンチマーク。暗示された意図に対する人間の解釈との整合性において、モデル間で顕著なばらつきがあることを明らかにしました。
3. ユーザー中心の証拠: 含意認識型プロンプティング（コミュニケーション意図を明示化すること）が、関連性、品質、そして直接的な選好の点で、LLM の応答に対するユーザー評価を測定可能な形で向上させることを示す実証的証拠。

結果

• 分類体系の一貫性: 3 クラスのルーブリックは学習可能であり、内部的に整合しており、作成されたプロンプトに対する人間の注釈者間の合意度は中程度（Fleiss' $\kappa$ = 0.414）でした。
• モデルの整合性: 大規模なモデルほど人間の解釈と密接に一致しました。GPT-4o が最高合意率（86.67%）を達成し、次いで GPT-4（73.33%）が続きました。小規模なモデル（Llama-2、Mistral-7B、GPT-3.5）は、特に方向探索型と表現型のカテゴリにおいて、整合性が弱く、ばらつきが大きい傾向を示しました。
• プロンプティングの影響（実験 2）: 含意認識型プロンプティングは、評価された応答セット全体において、知覚された関連性（$p < .001$）と知覚された品質（$p < .001$）の両方を有意に向上させました。この介入は、モデルのサイズや含意クラスとの有意な交互作用を示さず、利益は特定のモデルやプロンプトタイプに限定されるものではなく、広範なものであることを示唆しています。
• 直接的な選好（実験 3）: 強制選択フォローアップにおいて、参加者は含意認識型の応答を**67.6%**の割合で選択し、これは偶然の確率を有意に上回るものでした（$p = 1.04 \times 10^{-9}$）。

意義と主張
本論文は、含意が、言語理論を HCI 設計に統合するための実用的かつ帰結的なテストケースであると論じています。発見は、控えめながら具体的な結論を支持します。

• 語用論的足場作りは機能する: 構造化されたプロンプティングを通じて暗示されたコミュニケーション意図を明示化することは、モデルの再トレーニングやアーキテクチャの変更を必要とせず、言語ベースの相互作用の知覚された品質を向上させます。
• 設計への示唆: 会話システムは、すべての入力を文字通りの要請として扱うべきではありません。デザイナーは、関連性と適切性を向上させるために、ユーザーの意図（例：指針や感情）を表面化させるプロンプティング戦略を採用すべきです。
• 現在のモデルの限界: 本研究は、これらの利益が、現在のモデルが安定した、支援なしの、人間のような語用論的推論能力を有しているという証拠ではなく、語用論的足場作り（明示的なガイダンス）に由来することを明確にしています。大規模なモデルは人間の判断によりよく近似しますが、それらでさえ明示的な意図の表面化から恩恵を受けます。
• HCI の転換: この研究は、ベンチマーク精度を超えて、言語ベースの相互作用システムを評価する中心的な指標として、ユーザーが知覚する関連性、品質、そして直接的な選好を含めることを提唱しています。

著者は、本研究が明示的な意図の表面化の価値を実証している一方で、LLM が自律的な含意推論の問題を解決したとは主張していないことを強調しています。その代わりに、プロンプト設計や相互作用評価を情報化するために言語理論を活用する価値を浮き彫りにしています。