技術概要：MoTIF – 解釈可能な動画分類のための時間的概念ボトルネックモデル

問題定義

概念ボトルネックモデル（CBM）は、人間が理解できる概念を中心に予測を構成することで、解釈可能な画像分類を実現してきましたが、このパラダイムを動画に拡張することは依然として困難です。静止画とは異なり、動画データには時間的コンポーネントが含まれており、概念は時間とともに変化します。また、多くの動作は単一のフレームからは推測できません。既存のアプローチは、主に以下の 2 つの課題に直面しています：

1. 時間モデリングと解釈性のトレードオフ： 標準的なトランスフォーマーは長距離依存関係の捕捉に優れていますが、密な時間的特徴の混合を採用しており、概念レベルの帰属を不明瞭にします。そのため、解釈可能な CBM モデリングには不適切です。
2. 概念抽出： 動画の概念を手動で注釈付けるのは労力がかかります。ビジョン・ランゲージモデル（VLM）は自動発見への道を提供しますが、手動介入なしで時間的に根拠があり、クラス条件付きの概念を捉えるように拡張することは容易ではありません。

核心的な課題は、可変長の動画入力を処理し、時間的ダイナミクスをモデル化しながら、厳密な概念レベルの解釈性を維持し、標準的な深層学習モデルの「ブラックボックス」性を回避するアーキテクチャを設計することです。

手法：MoTIF

著者は、動画分類に特化したトランスフォーマーベースの CBM である**MoTIF（Moving Temporal Interpretable Framework）**を導入します。このフレームワークは、ウィンドウレベルの概念活性化のシーケンスを操作し、以下の 3 つの主要なコンポーネントで構成されます：

1. VLM ベースの概念発見パイプライン

MoTIF は、事前に定義された概念語彙に依存するのではなく、タスク非依存の発見段階を採用します：

• プロセス： 各クラスごとにトレーニング動画の小さなサブセットをサンプリングします。クラスラベルを条件としたビジョン・ランゲージモデル（VLM）が、各時間ウィンドウ内の物体や動作の自然言語候補を生成します。
• フィルタリング： これらの候補は CLIP ベースのモデルを使用して埋め込まれます。コサイン類似度フィルタリング（閾値 > 0.9）により近接する重複を除去し、多様でグローバルな概念バンク $C$ を生成します。
• 活性化： 各動画ウィンドウについて、視覚的埋め込みを概念バンクと比較して、概念活性化行列 $X \in \mathbb{R}^{T \times K}$ を生成します。ここで、$T$ はウィンドウ数、$K$ は概念数です。

2. チャンネルごとの時間的セルフアテンション（対角アテンション）

アーキテクチャの中核的な革新は、各概念の推論を分離する時間的モジュールです：

• 対角構造： 標準的なトランスフォーマーが完全な線形投影（$W_Q \in \mathbb{R}^{C \times C}$）を通じてチャンネルを混合するのとは異なり、MoTIF は深度方向の 1$\times$1 畳み込みを使用して、各概念チャンネルに対して独立してクエリ、キー、バリューの投影を生成します。
• メカニズム： 各概念チャンネル $c$ は、時間シーケンス上で独自の注意スコア $W_{c,t,u}$ を計算します。これにより、ある概念からの証拠が別の概念に流れ込むことが保証され、厳密な概念帰属が維持されます。
• 出力： 出力は各概念の値の加重和であり、概念チャンネルの独立性を維持しつつ、概念が時間とともにいつ、どのように再発するかをモデル化します。

3. 分類と説明

• アフィン変換： 活性化は、非負かつ微分可能な活性化を確保するために、非負のアフィン変換（$\gamma_c X + \delta_c$）を経て、その後 Softplus 非線形関数を通ります。
• プーリング： Log-Sum-Exp（LSE）プーリング機構が、時間ステップごとのロジットを動画レベルの予測に集約します。これは最大プーリングの軟近似として機能し、時間的重要度プロファイルを提供します。
• 3 モードの説明： MoTIF は予測を以下のように分解します：
  1. グローバル概念： 動画全体にわたる集約された関連性。
  2. ローカル概念： 特定の重み付き時間ウィンドウ内での関連性。
  3. 時間的依存関係： 概念チャンネルが時間全体でどのように焦点を分配するかを示すアテンションマップ（例：時間的アンカーの特定や持続的な存在の識別）。

主要な貢献

1. MoTIF アーキテクチャ： 個々の概念レベルで時間的ダイナミクスをモデル化しつつ、概念の独立性を維持する、チャンネルごとの時間的セルフアテンションを利用した動画 CBM。
2. マルチグラニュラーな説明： 時間全体にわたる意思決定を追跡するための、3 つの相補的な説明モード（グローバル、ローカル、時間的依存関係マップ）を提供するフレームワーク。
3. VLM ベースの発見： クラスラベルからの弱い教師信号を使用して、トレーニング動画から直接物体中心および動作中心のテキスト概念を抽出するパイプライン。これにより手動注釈付けの必要性が排除され、概念のカバレッジが向上します。

実験結果

著者は、MoTIF をBreakfast Actions、HMDB51、UCF101、Something-Something V2 (SSv2) の 4 つのベンチマークで評価しました。

• グローバル CBM に対する性能： MoTIF は、分類前にウィンドウ表現を平均プーリングするグローバル CBM よりも一貫して優れた性能を示しました。例えば、Breakfast Actions において、MoTIF はグローバル CBM よりも 11〜18 パーセントポイントの精度向上を達成し、時間的に局所化された概念モデル化の価値を実証しました。
• ブラックボックスモデルに対する性能： 最先端のブラックボックスモデル（例：VideoMAE V2）との間には依然として差がありますが、MoTIF は解釈性を維持しながらこの差を大幅に縮小しました。SSv2 において、時空間バリアント（MoTIF-ST）は 41.9% の精度を達成し、グローバル CBM の 33.6% を上回りました。
• 時間感応性： 合成ベンチマークおよびウィンドウシャッフルを使用したアブレーション研究により、MoTIF が静的な外観の手がかりではなく時間的順序に依存していることが確認されました。これは、関係ラベルが重要な SSv2 などのデータセットにおいて特に顕著でした。
• 介入分析： 上位の概念をゼロにする破壊的介入は予測の重なりを大幅に減少させ、概念を編集する修正介入は誤分類を正常に修復しました。これにより、概念と予測の間の因果関係が実証されました。
• トレードオフ： 著者は、制御可能なトレードオフを指摘しています。対角アテンションを強制することは解釈性を維持しますが、完全アテンションバリアントと比較して、非常に複雑なデータセットでは精度がわずかに低下する可能性があります。ただし、完全アテンションはチャンネルを絡み合わせ、解釈性を低下させます。

意義と主張

本論文は、時間的概念表現の学習と説明のための原理的なフレームワークとして MoTIF を位置付けています。その意義は以下の点にあります：

• ギャップの埋め合わせ： 時間的推論を概念レベルの構造を破棄することなく概念ボトルネックモデルに統合できることを実証し、不透明なブラックボックス動画分類器に対する実用的な代替案を提供します。
• 犠牲なしの解釈性： 概念ごとの時間的推論を分離することで、MoTIF はユーザーが不透明な特徴相互作用ではなく、欠落または曖昧な時間的概念に遡ってエラーを追跡することを可能にします。
• モジュール性： このフレームワークは、さまざまな埋め込みバックボーン（CLIP、SigLIP、Perception Encoders）や概念発見方法（テキストまたは視覚）と互換性があり、概念の質の向上とアーキテクチャのスケーリングが、より良い性能への相補的な道であることを示唆しています。

著者は、性能は概念の質に大きく依存しますが、MoTIF は CBM 間で最先端の性能を達成しつつ、解釈不可能なベースラインと競争力のある、動画理解のための堅牢で解釈可能な基盤を提供すると結論付けています。