INTERPRETO: Transformer 向け説明可能性ライブラリの技術的概要

以下は、Antonin Poché らによって提案されたオープンソース Python ライブラリ「INTERPRETO」に関する論文の技術的サマリーです。

1. 背景と課題 (Problem)

Transformer ベースの言語モデル（BERT などの早期モデルから大規模言語モデル LLM まで）は、分類やテキスト生成タスクで広く採用されています。しかし、その挙動の理解は、デバッグ、バイアス検出、安全性確保のために依然として重要です。

現在の課題は以下の通りです：

• ツールの断絶: 既存の説明可能性ライブラリは、アトリビューション（入力要素の重要度スコア）と概念ベースの説明（活性化から学習された高次特徴）の機能を別々のパッケージで提供していることが多く、パイプラインの構築が複雑化しています。
• タスクの偏り: 多くのライブラリは分類タスクに特化しており、テキスト生成タスクへの対応が不十分です。
• 概念ベース解释の欠如: 既存のツールには、活性化の抽出から概念学習、解釈、スコアリングまでを含むエンドツーエンドの概念ベースパイプラインを提供するものが稀です。
• ドキュメントと指標の不足: 実用的なツールとして、十分なドキュメントや説明の信頼性を評価する指標が不足している場合があります。

2. 提案手法 (Methodology)

INTERPRETO は、HuggingFace の言語モデルを解釈するための統合されたオープンソース Python ライブラリです。分類とテキスト生成の両方のタスクに対応する統一された API を提供し、以下の 2 つの補完的なアプローチを統合しています。

2.1 モジュール構成

ライブラリは主に 2 つのモジュールで構成されます。

A. interpreto.attributions (アトリビューションモジュール)

入力特徴量（トークンや単語）がモデルの予測にどの程度寄与したかを評価する手法を提供します。

• 対応タスク: 分類 (SequenceClassification) とテキスト生成 (CausalLM)。
• 提供手法 (10 種類):
  • 摂動ベース: KernelSHAP, LIME, Occlusion, Sobol。
  • 勾配ベース: GradientSHAP, Integrated Gradients, Saliency, SmoothGrad, SquareGrad, VarGrad。
• 機能:
  • 粒度制御（トークン、単語、文レベル）。
  • 入力 x 勾配の積の計算（デフォルト有効）。
  • 出力空間の選択（logits, softmax, log softmax）。
  • 信頼性メトリクス（Insertion, Deletion）。

B. interpreto.concepts (概念モジュール)

モデルが使用する「解釈可能な計算特徴（概念）」を抽出し、その重要性を評価するエンドツーエンドのパイプラインを提供します。これは機械的解釈性（Mechanistic Interpretability）の一部です。

• パイプラインの 4 ステップ:
  1. モデルの分割と活性化の抽出: nnsight ライブラリをラップして HuggingFace モデルを分割し、データセットから潜在活性化（Activations）を収集します。
  2. 概念空間の構築: 収集した活性化に対して概念モデルを学習し、活性化空間を概念空間へマッピングします。
     • 手法: 単一ニューロン、KMeans, PCA, SVD, ICA, NMF, Semi-NMF, Convex NMF, 疎性オートエンコーダ (SAE: Vanilla, Jump-ReLU, Top-k, Matching Pursuit など)。
  3. 概念の解釈: 学習された概念次元に人間が理解可能なラベルを付与します。
     • 手法: 上位 k 個の語彙トークン、上位 k 個の活性化例 (MaxAct)、LLM によるラベリング。
  4. 概念の重要性評価: 予測に対する各概念の寄与度を計算します（概念から出力への勾配など）。
• メトリクス: MSE, FID, 疎性 (Sparsity), 安定性 (Stability), 説明の汎用性 (ConSim)。

2.2 技術的実装

• 統一 API: 分類と生成の両方で同じインターフェースを使用できます。
• 拡張性: 新しい手法の実装が容易なように設計されており、ユーザーは計算コアのみを実装すればよく、ライブラリがパイプラインの統合と実行を処理します。
• 対応モデル: エンコーダ、デコーダ、エンコーダ - デコーダアーキテクチャ（BERT, RoBERTa, GPT-2, Llama, Qwen など）を HuggingFace API 経由でサポート。

3. 主要な貢献 (Key Contributions)

1. 統合されたオープンソースライブラリ: 分類と生成の両方のタスクに対応し、アトリビューションと概念ベースの説明を単一パッケージで提供する初のライブラリの一つです。
2. エンドツーエンドの概念パイプライン: 活性化の抽出から概念学習、解釈、スコアリングまでの完全なワークフローを提供し、既存のライブラリにはない包括的な機能を実現しました。
3. 実用性とアクセシビリティ: 統一された API、豊富なドキュメント、チュートリアル、インタラクティブなデモウェブサイトを提供し、研究手法の実務への導入障壁を下げました。
4. 評価と検証: 15 以上のモデルアーキテクチャに対する単体テスト、ランダム化アトリビューションとの比較による健全性チェック、および産業利用（航空分野の NOTAM 解析）での実証を通じて、その有効性を示しました。

4. 結果とデモ (Results & Demonstration)

• デモウェブサイト: 事前計算された説明のギャラリーを提供しており、ユーザーはモデル、データセット、説明手法を選択してインタラクティブに探索できます。
• 実用例:
  • 分類タスク: 感情認識モデルのデバッグにおいて、アトリビューションでは不明瞭だった誤分類の原因を、クラスごとの概念ベース分析（「恐怖」と「悲しみ」の概念が分離されていないこと）によって特定しました。
  • 生成タスク: Qwen3-0.6B などのモデルに対し、Semi-NMF を用いて概念を学習し、LLM を介して「固有名詞の指標」や「市場焦点」などの意味的なラベルを付与するデモを行いました。
• パフォーマンス: 小規模な概念パイプラインは RTX 3080 で数分、大規模な SAE では数時間程度で実行可能です。アトリビューションは数秒で計算されます。

5. 意義と将来展望 (Significance & Outlook)

• 意義: INTERPRETO は、HuggingFace モデルに対する説明可能性手法の適用ハードルを大幅に低下させます。これにより、モデル監査、デバッグ、バイアス特定、失敗モードの発見が容易になり、AI システムの信頼性向上に寄与します。
• 倫理的配慮: 説明結果を「真実」ではなく「診断的な証拠」として扱うよう促し、ユーザーに追加の検証（対照実験、アブレーションなど）を行うよう推奨しています。
• 将来の展望:
  • 教師あり概念オプション（CAV, Probes）の追加。
  • 概念解釈手法やメトリクスの拡張。
  • 追加のアトリビューション手法とメトリクスの導入。
  • 将来的にはマルチモーダル対応や、アトリビューションと概念のより密接な統合（入力→概念、概念→出力の分析）を計画しています。

結論:
INTERPRETO は、理論的な研究と実用的なツールリングの間のギャップを埋める重要なインフラストラクチャであり、Transformer モデルのブラックボックス化を解きほぐすための標準的な基盤として機能します。