技術要約：GLARE – グローバルな説明をクエリするための自然言語インターフェース

1. 問題提起

ディープビジョンモデルは、高リスクな領域で成功を収めている一方で、その内部構造は不透明なままです。説明可能なAI（XAI）は、ローカルな説明（例：単一のインスタンスに対するサリエンシーマップ）と、グローバルな説明（例：データセット全体にわたるモデルの振る舞いを要約する集約されたルールやプロトタイプ）を提供しますが、重大なユーザビリティのギャップが存在します。現在のグローバルな説明は、数千の論理ルールやプロトタイプを含むモノリスで静的なアーティファクトであることが多いです。このような「説明のダンプ」をユーザーに提示することは、洞察を明らかにするどころか、認知負荷を増大させます。

ユーザーは通常、静的な要約を必要としているわけではありません。彼らは特定の仮説を検証するために、反復的かつクエリ駆動のプロセスに従事します（例：「モデルはオオカミを分類するために背景の雪に依存しているか？」）。既存のツールでは、ユーザーがそのような質問に答えるために、ローカルな説明を手動でフィルタリングおよび集約することを強いており、これが実用的な洞察を制限する摩擦を生んでいます。低レベルの表現にさらされることなく、またプログラミングの専門知識を必要とすることなく、自然言語を用いてグローバルな説明を対話的に調査できるインターフェースが必要です。

2. 手法

著者らは、グローバルな説明を静的な文書としてではなく、クエリ可能なデータベースとして扱うインタラクティブなシステムであるGLARE（Global Language-based Analysis and Retrieval of Explanations）を提案しています。

システムアーキテクチャ

システムは、**パース・検証・実行（parse-validate-execute）**のパイプラインに従います。

1. 入力: ユーザーは、モデルの集約的な振る舞いに関する自然言語の質問を投げます（例：「ベッドと壁の両方が含まれる寝室の画像の割合は？」）。
2. 意味解析（LLM）: ファインチューニングされた大規模言語モデル（LLM）が意味解析器として機能します。これは、ユーザーの自然言語によるクエリを、構造化されたSQLクエリへと翻訳します。
   • LLMは、頻度カウント、ブール結合、共起、反事実分析などのタスクをカバーする、定義済みの24種類のクエリテンプレートから選択を行います。
   • LLMは、テンプレートをインスタンス化するために、パラメータ（クラス名、オブジェクト名、閾値）を抽出します。
3. 実行: 生成されたSQLは安全性と正確性の検証が行われた後、グローバルな説明データを含むリレーショナルデータベースに対して実行されます。
   • データベースは、**ローカルな最小十分説明（MSX）**を集約して、グローバルな選言標準形（DNF）構造を構築することで作成されます。
   • 実験では特定のメソッド（Vasu et al. [20]）によって生成された説明を使用していますが、インターフェースは、記号形式を生成するあらゆる概念ベースのローカル説明手法と動作するように設計されています。
4. 出力: システムは以下を返します：
   • 関連する統計情報で補強された自然言語の要約。
   • 裏付けとなるローカルな説明（エビデンス画像）。
   • クエリの意図に沿った可視化（例：関連するオブジェクトを強調するセグメンテーションマップ）。

学習戦略

LLMが説明のクエリリングの「構造」を学習し、特定のデータセットのエンティティを記憶しないようにするために、著者らは特化したファインチューニング手法を採用しています。

• 合成データ: ADE20Kの語彙からランダムに組み合わせたオブジェクトとシーンクラスをサンプリングし、自然言語のバリエーション（類義語、フレーズテンプレート）を適用することで、50,000組のトレーニングペアを生成しました。
• SQL-Fence Loss Masking: ファインチューニング中（Gemma 2およびQwen 2.5モデルに対するLoRAを使用）、学習損失はSQL_STARTからSQL_ENDのマーカー間のトークンのみに焦ニ（フォーカス）するようにマスクされます。これにより、モデルはクエリ言語の相対代数を学習することを強制され、新しいデータセットに対して異なる語彙であってもゼロショット転移が可能になります。

3. 主な貢献

本論文は、主に3つの貢献を述べています。

1. グローバルな説明のための自然言語インターフェース: グローバルな説明をクエリ可能なデータベースへと変貌させ、ユーザーが自然言語を通じてモデルの振る舞いを調査できるようにするGLAREの導入。
2. SQLベースの中間表現: ローカルな説明を集約、フィルタリング、対比するための構造化されたSQLスキーマの定義。これは、自然言語の意図と形式的な論理集約の間の溝を埋めるものです。
3. 合成データによるファインチューニングによる堅牢なクエリ解釈: 合成データを用いたファインチューニング（SQL-fence loss masking）が、堅牢なクエリ解釈を実現することの証明。このアプローチにより、モデルはデータセット固有のエンティティのマッピングではなく、一般化された推論パターンを学習するため、ゼロショットでのクロスデータセット転移（例：ADE20KからPascal VOCへ）が可能になります。

4. 実験結果

システムは、ADE20Kシーン解析データセットから得られたグローバルな説明を用いて評価され、Pascal VOCを用いたクロスデータセット評価も行われました。

分布内精度（In-Distribution Accuracy）

• パフォーマンス: ファインチューニングされたモデル（特にGemma 2 9Bおよび27B）は、トレーニングデータセットに対する保持されたクエリにおいて、**95%を超える結果一致精度（result-match accuracy）**を達成しました。
• 構造的完全性: これらのモデルは、フェンス検出、SQLパース、および実行率において、ほぼ完璧なスコア（多くの場合100%）を達成しました。
• ベースライン比較: ベース（未学習）のモデルは、精度がほぼゼロであり、パフォーマンスが既存のSQL知識ではなく、特定のファインチューニングパイプラインの産物であることを裏付けています。非学習型のRegex（正規表現）ベースラインは74.4%の精度であり、ファインチューニングされたモデルよりも大幅に低い結果となりました。

摂動に対する堅牢性（Robustness to Perturbations）

システムは、言語的なノイズに対して強い耐性を示しました。

• スペルミス: ファインチューニングされたモデルは、Regexベースラインの48.7%に対し、**79.6%**のマッチ率を維持し、31パーセントポイントの優位性を示しました。
• 類義語置換: モデルは類義語に対して100%の堅牢性を示し、Regexベースラインを17パーセントポイント上回りました。
• 一貫性: 意味的に等価なパラフレーズは、**94.1%**の確率で同一のSQL結果をもたらしました。
• 妥当性: すべての出力はドメイン制約（例：負のカウントや[0, 100]の範囲外のパーセンテージがないこと）を満たしていました。

一般化と転移

• 分布外（OOD）の言い回し: モデルは、学習済みテンプレートの新しい言い回しをうまく扱いました（正確一致45.1%）。ただし、複雑な二重否定や非常に非公式なクエリには苦戦しました。
• 新しいSQL構成要素: モデルは、既知のSQL断片を新しい構造へと組み立てる**構成的一般化（compositional generalization）**を示しましたが（例：chained_filterは100%一致）、全く未知の構文には失敗しました（例：window_functionは0%一致）。
• クロスデータセット転移: ADE20Kのメタデータのみで学習されたモデルは、完全に異なるオブジェクト語彙を持つPascal VOCデータベースに対してテストされた際、約90%の精度を達成しました。これは、モデルが特定のエンティティ名ではなく、スキーマの相対的な構造を学習したことを裏付けています。

モデル規模の分析

• 容量の閾値: 最小限のモデル容量が必要です。Qwen 2.5 0.5Bはファインチューニング後もタスクの学習に失敗しましたが、7B以上のモデルは堅牢に動作しました。
• 飽和: Gemma 2ファミリー内では、イン分布タスクにおいて2B、9B、27Bのパラメータ間でパフォーマンスが飽和しており、合成パイプラインが十分に大きな、適切なサイズの小型モデルにおいても効果的であることを示唆しています。

5. 意義と主張

本論文は、GLAREが人間中心のXAIへの実用的かつ信頼できる道筋を提供すると主張しています。受動的な静的アーティファクトの検査から、能動的なクエリ駆動型の対話へと移行することで、システムはグローバルな説明を非専門家にも利用可能にします。

著者らは、以下の点を強調しています。

• 形式的な正確性に柔軟性を根付ける: LLMを、検証可能なSQLテンプレートにマッピングする論理制約付きのパーサーとして使用することで、直接的なLLMベースの説明生成に共通するハルシネーションを回避しています。
• ゼロショット転移を可能にする: 「SQL-fence」学習戦略により、新しいエンティティ名のリストさえあれば、再学習なしで新しいドメインや語彙にシステムを適応させることができます。
• 認知負荷を軽減する: 数千の論理ルールの基礎となる複雑さを理解する必要なく、ターゲットを絞った質問を行うことを可能にします。

論文は、現在のテンプレートの分類は拡張可能ではあるものの網羅的ではないものの、示されたデータセット間の転移能力や言語的バリエーションへの対応力は、LLMを介したクエリリングがグローバルな説明分析をスケールさせるための有効な解決策であることを示唆していると結論付けています。