Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

技術的サマリー：ビジョンベースの着陸システムにおける学習保証のためのメカニスティック解釈可能性

問題定義
データ駆動型のニューラルネットワークを安全上重要な航空システムに統合することは、すべてのコンポーネントを指定し検証する従来の保証パラダイムに挑戦を投げかけている。欧州航空安全局（EASA）は、データ駆動型システムが自らの「状況表現」を構築・監視することを要求するガイダンスを発出しているが、ニューラルネットワークに対してそのような証拠を提供するための技術的手段は依然として未解決の問題である。現在の保証は、保持されたデータに対するテストに依存することが多く、これは汎化メカニズムを学習したモデルと、偽の相関に依存するモデルを区別することに失敗している。具体的には、入力条件（運用設計ドメイン、ODD）や出力統計（分布外、OOD）だけでなく、入力と出力を橋渡しするために計算される特徴量であるモデル内部の状況表現を監視する点に、重大なギャップが存在する。

手法
著者は、このギャップに対処するためのメカニスティック解釈可能性に基づくフレームワークを提案し、これをビジョンベースの滑走路キーポイント回帰タスクに適用する。手法は以下の段階を経て進行する。

1. モデルアーキテクチャ: 滑走路キーポイント回帰のために Vision Transformer (ViT) バックボーン（DINOv2-S）を**ソフト・アルゴマックス（SAM）**演算子を用いて適応させる。プーリングを通じて空間情報をしばしば破棄する畳み込みニューラルネットワーク（CNN）とは異なり、ViT はパッチレベルの空間構造を保持する。SAM 演算子は、プーリング層なしでパッチ埋め込みを直接連続的な座標推定値にマッピングし、回帰ヘッドを最小化し、タスクを解決する負担をパッチ埋め込み自体に負わせる。
2. スパースな分離（K-SVD）: 高次元のパッチ埋め込み（$z_p$）を、K-SVD スパース辞書学習を用いて解釈可能な「原子」に分解する。このプロセスは、意味概念が埋め込み空間内の方向に対応するという線形表現仮説を前提としている。モデルは、$z_p \approx DX$ となるように、過剰な辞書 $D$ とスパース符号 $X$ を学習する。
3. コンテンツとスタイルの分離: 学習された原子を、LARDv2 データセット内の 4 つの異なる視覚ドメイン（X-Plane、Google Earth Studio、ArcGIS、Bing Maps）におけるクロスサブセット不変性に基づいて 2 種類に分類する。
   • コンテンツ原子: 全ドメインで一貫して活性化し、タスクに関連する幾何学的構造（例：滑走路の端、しきい値）を追跡する。
   • スタイル原子: 特定のドメインで主に活性化し、偶発的な外観要因（例：カラーグレーディング、レンダリングのアーティファクト、照明）を追跡する。
   • 分類は、サブセット間での活性化率の変動係数（CV）を用いて行われる。
4. 検証: 分離は、活性化パッチの可視化による定性的検証と、SAM 依存スコアの測定による定量的検証によって行われる。このスコアは、原子と回帰ヘッドの重みの整合性、その活性化頻度、および活性化の大きさを集約し、モデルの予測がコンテンツ原子とスタイル原子のどちらにどの程度依存しているかを決定する。
5. モデル範囲外（OOMS）検出: コンテンツ/スタイルの分割に基づき、著者はOOMSを、入力にタスクに関連する（コンテンツ的な）特徴が不足している状態として定義する。これは、入力が有効（ODD 内）であり、出力が統計的に典型的であっても成立し得る。OOMS 検出器は、二値原子活性化に対する制約付き L1 ロジスティック回帰分類器として実装される。この分類器は、「モデル範囲内（IMS）」である確率を出力するように訓練され、デフォルト状態が OOMS であり、活性化された原子のみが IMS 確率を増加させることを保証する制約が設けられている。

主要な貢献

• 着陸のための ViT の適応: 著者は、ソフト・アルゴマックスヘッドを備えた Vision Transformer のシンプルで効率的な適応を滑走路キーポイント回帰に示し、LARDv2 データセットで学習可能であることを実証した。
• メカニスティック分解: 彼らは、K-SVD を用いて ViT の内部特徴空間をコンテンツ的な幾何学的構造とスタイル要因に分解することに成功し、この分野におけるメカニスティック解釈可能性の基盤を確立した。
• 表現の検証: 定性的な可視化と定量的なヘッド重み分析を通じて、回帰ヘッドが主に（約 80%）コンテンツ原子に依存していることを確認し、モデルの状況表現を検証した。
• OOMS 監視: 本論文は、モデル範囲外（OOMS）検出を新たなランタイム保証アーティファクトとして導入する。ODD（入力監視）や OOD（出力監視）とは異なり、OOMS はモデルの内部状況表現を直接監視し、タスクに関連する意味特徴の存在を検証する。

結果

• 回帰性能: 事前学習済み ViT モデルは、中央値のテストセットピクセル誤差を1.91 px達成し、ゼロから学習したベースライン（3.19 px）を大幅に上回った。
• コンテンツ/スタイル依存性: 定量的分析により、事前学習済みモデルの回帰ヘッドは有効依存スコアの約**81.7%をコンテンツ原子に置き、ゼロから学習したモデルでは79.8%**を置いていることが示された。
• OOMS 検出: 有効な滑走路クリップ（IMS）と滑走路が欠落した「逆 BOGO」クリップ（OOMS）を区別する人工データセットにおいて、制約付きロジスティック回帰分類器はAUROC 0.96を達成した。
• 原子選択: OOMS 分類器は、高い精度を達成するために、512 個のうち34 個のスパースな原子サブセットを自動的に選択した。注目すべきは、これらの選択された原子の**78%**がコンテンツ原子として分類されており、検出器が解釈可能性フェーズ中に特定されたタスク関連特徴に依存していることを示している点である。

意義と主張
本論文は、EASA の学習保証ガイダンスが求める表現レベルの証拠の最初の具体的な提供を主張する。コンテンツとスタイルを分離し、前者に依存する必要があることを示す最小限に保証可能なモデルを実証することで、この作業はモデルが偽の相関を利用していないことを検証するための道筋を提供する。提案された OOMS モニタは、モデルの内部状況表現を監視するという要件に直接対処することで、既存の入力および出力モニタを補完し、将来の航空安全事例のための実用的な構築ブロックを提供する。著者は、メカニスティック解釈可能性を、高次元モデルでは依然として非現実的な完全なホワイトボックス説明ではなく、保証に必要な条件として位置づけている。すなわち、モデルの内部メカニズムが物理的なタスク要件と整合していることを検証することである。