技術要約: BaTCAVe – ロボットの振る舞いに対する信頼できる説明

問題提起

現代のロボティクスは、エンドツーエンドの意思決定と制御のために、特に深層ニューラルネットワーク（DNN）にますます依存しています。しかし、これらのモデルの「ブラックボックス」的な性質は、高リスクな実世界のシナリオへの展開において重大な課題をもたらします。エンジニアや立法機関を含むステークホルダーは、これらのシステムの意思決定プロセスに関する洞察を得られず、それがデバッグ、認証、および信頼の構築を妨げています。

説明可能なAI（XAI）は自然言語処理やコンピュータビジョンにおいて進歩してきましたが、既存の手法は主に以下の2つの理由から、ロボティクスにおいては不十分です：

1. 接地性の欠如（Lack of Grounding）: 多くのXAI手法（例：勾配による特徴量属性やピクセルのハイライト）は、ネットワークが入力の「どこ」に注目しているかは特定しますが、どのような高レベルのセマンティックな属性（概念）が特定のロボットの行動を駆動しているのかという「何」については説明できません。画像内の車をハイライトすることは、モデルがその車の色、形状、あるいは動きに対して反応したのかを明確にするものではありません。
2. 信頼性評価の欠如（Absence of Trustworthiness Assessment）: 現在のXAI手法は通常、単一の説明を提供するだけで、その説明の不確実性や信頼性を定量化することはありません。安全性が極めて重要なロボティクスにおいて、誤っている可能性のある、あるいは曖昧な説明は、説明がないことと同様に危険です。

手法: BaTCAVe

著者らは、ロボットの決定を高レベルで人間が解釈可能な概念に帰属させつつ、関連する不確実性スコアを提供する、事後的な説明可能技術である BaTCAVe（Bayesian Testing with Concept Activation Vectors）を提案しています。

コア構成要素

1. 行動概念 ($C_A$): 静的な分類タスクとは異なり、ロボットの意思決定は一連の行動を伴います。本手法では、「行動概念」を、時間経過に伴う行動ベクトルに対して論理的なルールを適用することで抽出された、特定の目標行動（例：「立方体を掴む」や「右にステアリングを切る」）として定義します。
2. 入力概念 ($C_I$): これらは、ロボットの入力（視覚、言語、または固有受容データ）の高レベルで人間が解釈可能な属性であり、「赤さ」、「暗さ」、「距離」、あるいはコマンド内の特定の動詞などです。これらは、代表的な入力の集合（例：暗い物体を示す一連の画像）によって表現されます。
3. CAVを用いたベイズ・テスティング:
   • 本手法は、特定のレイヤー $l$ におけるニューラルネットワークを、エンコーダ $f_{-l}(\cdot)$ とデコーダ $f_{+l}(\cdot)$ に分解します。
   • これは $f_{-l}(\cdot)$ の活性化空間内で動作します。
   • 正のサンプル（概念が存在する）と負のサンプル（概念が存在しない）の間の単一の線形境界を見つける代わりに、BaTCAVeは**変分推論（Variational Inference）**を採用して、分離超平面（概念活性化ベクトル：CAV）の確率分布を学習します。
   • このアプローチは、方向ベクトル $v$ を確率変数として扱うことで、システムが複数の有効な分離境界をサンプリングすることを可能にします。

スコアリングと不確実性

本手法は、特定の入力概念に対するロボットの決定の感度を表すスコア $s$ を算出します。

• 平均スコア ($\bar{s}$): スコアの実測平均は、説明の強さを示します。平均が高いほど、その概念が行動の重要な駆動要因であることを示唆します。
• 不確実性（標準偏差）: スコアの実測標準偏差は、**エピステミック不確実性（認識的不確実性）**を反映します。
  • 低不確実性 ＋ 高精度: 説明は精密であり、信頼できます（ケース3）。
  • 高不確実性 ＋ 高精度: 複数の有効な説明が存在するか、あるいはテストデータの多様性が不足しています（ケース2）。
  • 低精度: その概念は行動を区別できておらず、説明は信頼できません（ケース1）。

主な貢献

1. 事後的な説明可能な意思決定: ロボットのDNNに特化した技術であり、生のピクセルではなく、高レベルの概念に基づいて「なぜ」特定の行動が取られたのかを説明します。
2. 信頼性フレームワーク: 変分推論を用いて説明の信頼性を評価する新しいフレームワークを提供し、エンジニアや規制当局が、説明が堅牢な洞察なのか、あるいは曖昧なものなのかを判断するための不確実性区間を提供します。
3. マルチモーダルにおける概念発見: 多様なロボティクス・タスク（マニピュレーション、ナビゲーション、自動運転）および多様な入力モダリティ（画像、固有受容、言語）にわたって、説明可能な概念を発見し、テストする能力を備えています。

実験結果

著者らは、4つの異なる実験セットアップを通じてBaTCAVeを検証しました。

1. 視覚ベースの移動ロボットナビゲーション (JetBot):

   • 知見: エンジニアは当初、ロボットが「オレンジ色」の障害物を避けるように学習したと仮定していました。しかし、BaTCAVeは、モデルが実際には「暗さ」（HSVスケールにおける明るさ）に依存していたことを明らかにしました。これは、オレンジ色の箱が単に暗い色合いであったためです。
   • 有用性: 本手法は、ネットワーク全体をファインチューニングするか最終層のみをファインチューリングするかによって、「オレンジ」への依存と「暗さ」への依存が変化することを特定することに成功しました。これは、データ拡張や学習戦略のデバッグにおける有用性を示しています。

2. 固有受容によるマニピュレーション (Panda Arm):

   • タスク: 立方体の持ち上げ、ピック＆プレース、ナットの組み立て。
   • 知見: 低い不確実性を伴うBaTCAVeスコアにより、タスクの成功には固有受容センサからの正確な物体情報が極めて重要であることが確認されました。例えば、「持ち上げ」タスクにおいては、エンドエフェクタの垂直位置 ($\Delta Z$) とグリッパーの状態が支配的な概念でした。

3. 視覚言語マニピュレーション:

   • セットアップ: RGB画像と言語指示（例：「立方体を拾え」）を処理するモデル。
   • 知見: 本手法は、特定の動詞が言語コマンドにおける持ち上げ動作の主要な駆動要因であることを分離しました。一方で、画像の概念は高い不確実性を示しており、モデルが特定のフェーズにおいて言語的キューに依存していることを浮き彫りにしました。

4. 自動運転 (Donkey Simulator):

   • 知見: エージェントは、ステアリングの決定において「黒い色合い」（道路を表す）に大きく依存していました。
   • 診断的有用性: 異なるレイヤーにBaTCAVeを適用することで、ステアリング復帰のエラーが画像エンコーダ（CNN）ではなく、ポリシーヘッド（MLP）に起因することを特定し、ターゲットを絞った再学習の指針を得ました。

意義と主張

本論文は、BaTCAVeを、本質的に解釈可能なモデルの代替品としてではなく、現在ロボティクスを支配しているブラックボックス型DNNのための不可欠な診断ツールとして位置付けています。

• 信頼と安全性: 不確実性を定量化することで、BaTCAVeは「説明を絶対的な事実として提示してしまう」という現在のXAIの決定的なギャップに対処します。これにより、エンジニアや規制当局は、高リスクな決定（例：自動運転車の認証）に対して、その説明が信頼に足るものかどうかを評価できるようになります。
• 反復的な改善: 著者らは、BaTCAveがデータ拡張、ファインチューニング、およびドメインシフトにおける脆弱性を特定することで、ロボットの堅牢性を反復的に向上させるためのツールになると主張しています。
• 人間中心のデバッグ: ピクセルレベルのサリエンシーマップとは異なり、BaTCAVeは「暗さ」や「動詞の重要性」といった、人間の直感と一致するセマンティックな説明を提供するため、エンジニアにとってより実行可能なデバッグプロセスを実現します。

結論として、堅牢なモデルにおける失敗は避けられませんが、BaTCAVeのようなツールは、ロボットの振る舞いの背後にある「なぜ」を理解するために不可欠であり、それによって、より安全で信頼できる展開を促進します。