技術要約：すべての説明が等しくシミュレーションを実現するわけではない

問題提起

大規模言語モデル（LLM）に対する自然言語による説明は、モデルの振る舞いを理解するための統一されたインターフェースとして扱われることが多い。しかし、これらの説明は、入力特徴量の属性（重要なトークンや文章の特定）から、自己生成された根拠（事後的な正当化や思考の連鎖（Chain-of-Thought）など）に至るまで、多様なソースに由来している。これらは「説明」というラベルを共有しているものの、そのソース、粒度、形式、および意図された用途において根本的に異なっている。

従来の評価プロトコルでは、決定プロセスへの忠実性、人間に対する妥当性、あるいは人間の根拠との一致性といった、タイプ固有の次元に沿って説明を評価することが多い。本論文は、これらのタイプ固有の指標によって、異なる形式の説明を共通の基盤で比較することが困難になっていると主張する。中心となる課題は、「どのようにすれば、異なるタイプのLLMの説明を体系的に比較し、どれがモデルの振る舞いの理解と予測を真にサポートできるかを判断できるか？」という点である。

手法

著者らは、**反事実的シミュラビリティ（counterfactual simulatability）**に基づく統一された評価フレームワークを提案している。このフレームワークは、説明が単独で妥当であるかどうかを問うのではなく、その説明が、摂動を加えた新しい入力に対してモデルの振る舞いを正確に予測するのに役立つかどうかを問うものである。

実験設定

1. タスク定式化: 評価は反事実的シミュレーション問題として構成される。元の入力 $x = (c, q)$ （コンテキストと質問）と、モデルの回答 $y = M(x)$ が与えられたとき、同じコンテキストを用い、質問のみを変更した反事実的入力 $x_{cf} = (c, q_{cf})$ を構築する。ターゲットモデル $M$ は、真の反事実的回答 $y_{cf}$ を生成する。
2. シミュレーション・プロトコル: LLMジャッジ（$P$）が予測者として、$y_{cf}$ を推測する役割を担う。
   • フェーズ1（ベースライン）: 予測者は $x, y, x_{cf}$ を見るが、説明は与えられない。
   • フェーズ2（説明）: 予測者は、元の回答 $y$ に対する説明 $e$ を含む、同様の入力を見る。
   • 指標: シミュラビリティは、説明が提供された際の $y_{cf}$ の予測精度における向上幅（$\Delta$）として測定される：$\Delta = \text{Score}(2) - \text{Score}(1)$。正の $\Delta$ は、説明が予測的な理解を向上させることを示す。
3. 比較される説明タイプ:
   • 言語化された特徴量属性: MExGenフレームワークを用いて、影響力のある入力スパン（文章またはトークン）を特定し、それらを自然言語に変換する。以下の2つの言語化戦略をテストする：
     • テンプレートベース: 上位ランクの証拠を固定されたテンプレートに決定論的に挿入する（文章レベル、トークンレベル、およびハイブリッド）。
     • LLMリライター: LLMを用いて、新しい情報を追加することなく、選択された属性特徴を流暢なテキストへと書き換える。
   • 自己生成された根拠: プロンプティングを通じて、ターゲットとなるQAモデル自身が生成する説明：
     • 事後的（Post-hoc）: モデルが回答を生成した後に、その正当化を行う。
     • 思考の連鎖（CoT）: モデルが回答する前に、ステップバイステップで推論を行う。
4. モデルとデータ: 実験はSQuAD 2.0データセットを用いて、3つの指示チューニング済みターゲットモデル（Llama-3-8B, Qwen2.5-7B, Mistral-7B）および主要なジャッジとしてGPT-5-miniを用いて実施された。堅牢性はDeepSeek-R1および教師・生徒学習パラダイムを用いて検証された。

主な貢献

1. 統一された評価基準: 本論文は、属性ベースの説明と自己生成された根拠を比較するために、単一の指標として反事実的シミュラビリティを適用しており、これまで個別に評価されてきた形式間の直接的な比較を可能にした。
2. 言語化の制御された比較: テンプレートベースの言語化と、同じ属性データをLLMで書き換えたバージョンを対比させることで、証拠の粒度（文章 vs トークン）による影響を、言語的な流暢さから分離して検証した。
3. 粒度とソースの分析: 複数のモデルにおいて、説明のソース、言語化戦略、および特徴量の粒度がシミュラビリティにどのように影響するかを体系的に分析した。

結果

本研究は、何が説明を「有用」にするのかについて、いくつかの明確な知見を導き出している。

• 粒度が重要: 属性ベースの手法の中では、文章レベルの属性が最も強力なシミュラビリティの向上をもたらす。トークンレベルの属性（たとえランキングが高くても）は、しばしばゼロに近い、あるいは負の向上しか示さない。これは、孤立した単語にはモデルの振る舞いを予測するための必要な文脈が欠けていることを示唆している。ハイブリッドアプローチ（文章＋トークン）は、トークン単体よりも性能が良いが、純粋な文章レベルの属性よりは劣る。
• 流暢さ $\neq$ 有用性: LLMによって書き換えられた説明は、テンプレートベースのものよりも流暢であるが、シミュラビリティを大幅に向上させることはない。場合によっては、性能が低下することもある。これは、情報の含有量（選択された証拠）が、言語的な形式よりもシミュラビリティを駆動していることを示唆している。
• 自己生成された根拠の差異: 事後的な説明とCoTによる根拠の間には、顕著な差がある。事後の説明は緩やかな改善を示すにとどまるが、CoTによる根拠は、すべてのモデルと指標において、反事実的予測において最大の向上をもたらす。
• モデル間転移: CoTによる根拠は、タスクに関連する実質的な情報を含んでおり、異なるモデル間でも汎化（クロスモデル転移）するが、同時にモデル固有の信号もエンコードしている。
• 評価パラダイムの乖離: CoTによる根拠は、LLMジャッジおよび教師・生徒学習の両方の評価において一貫した正の向上を示すが、属性ベースの説明には乖離が見られる。これらはジャッジによる（インコンテキスト）設定では良好に機能するが、教師・生徒（学習）の設定では弱い、あるいは負の向上を示す。これは、属性信号は即時的な予測には有用であるが、学習可能な監督信号として内部化（学習）させるのが容易ではない可能性を示唆している。

意義と主張

本論文は、すべての自然言語による説明が、モデルの振る舞いを理解するために同じ役割を果たすわけではないと主張している。本研究の意義は、評価の焦点を、単独での「妥当性」や「忠実性」から、機能的な有用性（その説明は、ユーザーまたは自動エージェントが新しい入力に対してモデルがどのように振る舞うかを予測する助けとなるか？）へとシフトさせた点にある。

著者らは以下のように結論付けている：

1. 説明の形式は極めて重要: シミュレーションにおいては、トークンレベルの証拠よりも文章レベルの証拠が優れている。
2. ソースが重要: 現在、モデルの振る舞いを予測する上で最も効果的な説明タイプはCoTによる根拠であり、事後の正当化や言語化された属性を凌駕する。
3. 評価はコンテキスト依存であるべき: 説明の有用性は、それが即時的なインコンテキスト予測（CoTや文章属性が優位）に使用されるのか、あるいは内部モデルの学習（CoTは堅牢だが、属性は転移しにくい可能性がある）に使用されるのかによって異なる。

最終的に、本研究はQA設定における説明形式の選択に対して経験的な指針を提供しており、すべての自然言語による説明がシミュレーションにおいて等しく効果的であるという仮定に対して警鐘を鳴らしている。