論文「On the Importance and Evaluation of Narrativity in Natural Language AI Explanations」の技術的サマリー

この論文は、説明可能 AI（XAI）における自然言語生成の説明の質を評価・改善するための新たな枠組みを提案しています。既存の手法が単なる特徴量のリスト（記述的説明）に留まっている問題を指摘し、社会的・言語学的知見に基づいた「物語的説明（XAI Narratives）」の重要性と、その定量的評価指標を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

現在の XAI における自然言語生成アプローチには、以下の重大な課題があります。

• 記述的説明の限界: 既存の多くの手法は、特徴量の重要度（SHAP 値など）を単なるリストや静的な文として出力する「記述的説明（XAI Descriptions）」を生成します。これらは「何が」予測されたかを示しますが、「なぜ」その予測がなされたかという因果関係や文脈を説明できません。
• 人間の認知プロセスとのミスマッチ: 社会心理学や言語学の研究によれば、人間は情報を理解し、推論する際に「物語（ナラティブ）」の構造（連続性、因果関係、流暢さなど）を必要とします。現在の XAI システムは、断片的な事実を提示するだけで、ユーザーに物語を再構築させる認知負荷を強いています。
• 既存評価指標の不適切さ: 既存の自然言語処理（NLP）指標（Perplexity, BLEU, ROUGE, 語彙多様性など）は、テキストの流暢さや単語の重複度しか測れません。そのため、意味のない同義反復（タウトロジー）や単なるリスト形式のテキストでも、高いスコアを得てしまうという問題があります。これでは、真に理解しやすい「物語的説明」と単なる「記述的説明」を区別できません。

2. 手法と提案 (Methodology & Contributions)

著者は、社会的・言語学的文献に基づき、XAI 説明を「記述的」ではなく「物語的（Narrative）」なものとして再定義し、それを定量化するための新しい枠組みを構築しました。

2.1 物語的説明の 4 つの定義的特性

XAI Narratives が持つべき 4 つの核心的な特性を特定しました。

1. 連続的な構造 (Continuous Structure): 文が独立しているのではなく、接続詞や文脈によって論理的に結びつき、一貫したストーリー（序・破・結）を形成していること。
2. 因果関係のメカニズム (Cause-Effect Mechanisms): 単なる事実の列挙ではなく、特徴量がどのように予測結果に影響を与えたかという「なぜ（Why）」の因果関係を明示すること。
3. 言語的流暢さ (Linguistic Fluency): 反復的なリスト形式を避け、自然で読みやすい文章構成であること。
4. 語彙の多様性 (Lexical Diversity): 静的な名詞や形容詞の繰り返しではなく、動詞を多用し、多様な語彙を用いて事象を結びつけること。

2.2 7 つの自動評価指標の提案

上記の 4 つの特性を定量化するために、Perplexity（困惑度）の文脈依存性を基盤とした 7 つの新しい自動指標を提案しました。これらは、単なる単語頻度ではなく、テキストの構造的な連続性を評価します。

1. 連続構造率 (CSR: Continuous Structure Rate): 文の順序をシャッフルした際の Perplexity の増加率。物語的テキストは順序に依存するため、シャッフルで Perplexity が大きく上昇します。
2. 多様性調整文脈進行率 (DCPR): 文脈が蓄積するにつれて Perplexity が減少する速度を、語彙多様性（Distinct Bigram）で調整したもの。物語は文脈による予測可能性の向上と多様性の両立を目指します。
3. 接続詞調整文脈進行率 (CCPR): 文脈進行率を接続詞の密度で調整したもの。
4. 因果関係調整文脈進行率 (CECPR): 文脈進行率を因果関係の指標（"as a result", "due to" など）の密度で調整したもの。
5. 流暢さ - 多様性率 (FDR): Perplexity と語彙多様性の組み合わせ。低い Perplexity と高い多様性を両立するテキストを評価します。
6. 語彙多様性調整文脈進行率 (TTCPR): 文脈進行率を Type-Token Ratio (TTR) で調整したもの。
7. 動詞調整文脈進行率 (VCPR): 文脈進行率を動詞の比率で調整したもの。物語的テキストは動詞を多用する傾向があります。

2.3 XAI 物語生成ルール

LLM に対して、上記の特性を反映させるための 4 つの生成ルール（プロンプト指示）を提案しました。

• 明確な物語の弧（序・破・結）と接続詞の使用。
• 因果関係メカニズムの明示。
• 反復的なリスト構造の回避。
• 能動的な動詞と多様な語彙の使用。

3. 実験と結果 (Results)

3.1 実験設定

• データセット: Compas, German Credit, Stroke, Diabetes, Fifa, Student の 6 つの表形式データセット。
• 比較対象: 既存の XAI 説明生成手法（TalkToModel, Explingo, XAIstories）と、それらに提案ルールを適用した変種（Templated Explanation, Explingo Narratives, XAIstories Narratives など）を比較しました。
• モデル: Random Forest による予測と、SHAP による特徴量重要度の算出。生成には GPT-4.1 を使用。

3.2 主要な結果

1. 既存指標の限界: Perplexity や語彙多様性などの標準 NLP 指標では、意味のない同義反復テキストと真の物語的テキストを区別できませんでした。また、テンプレートベースの手法は低い Perplexity を示すものの、物語的性質は欠如していました。
2. 提案指標の有効性: 提案した 7 つの指標（特に CSR, DCPR, CECPR など）は、記述的説明と物語的説明を明確に分離しました。
   • テンプレートベースの手法（TalkToModel など）は、多くの指標で低いスコア（物語性が低い）を示しました。
   • LLM 生成の手法（XAIstories, Explingo）は高いスコアを示しましたが、特に「生成ルール」を適用した変種（Explingo Narratives など）が、因果関係や連続構造の面でさらに改善されました。
3. 統計的有意性: Friedman 検定と Nemenyi 事後検定により、提案指標を用いた場合、手法間のランク差が統計的に有意であることが確認されました。特に、テンプレート手法と LLM 生成手法の間に明確な差が生じました。
4. ルール適用の効果: 元々物語生成を促すプロンプトを持っていた XAIstories ではルール適用による変化は小さかった一方、Explingo に対してルールを適用すると、CSR（連続構造）などで劇的な改善が見られました。

4. 意義と結論 (Significance & Conclusion)

• XAI のパラダイムシフト: 本論文は、XAI 説明を「特徴量のリスト」から「因果関係を説明する物語」へと転換する必要性を理論的・実証的に示しました。
• 評価基準の革新: 従来の NLP 指標が捉えきれない「物語性（Narrativity）」を定量化する新しい指標セットを提供しました。これにより、自動的な評価が可能になり、大規模なベンチマークが実現します。
• 実用的なガイドライン: 生成 AI に対して具体的な「物語生成ルール」を提示することで、より人間中心で理解しやすい XAI 説明を生成する実践的な指針を提供しています。
• 今後の展望: 現在は表形式データに限定されていますが、画像やグラフデータへの拡張、および人間の理解度や意思決定精度との相関を検証する大規模なユーザー調査が今後の課題として挙げられています。

総じて、この研究は、AI の説明が単に「正確」であるだけでなく、人間が自然に理解できる「物語的構造」を持つべきであるという洞察に基づき、そのための評価と生成手法を確立した点で画期的です。