技術要約: 顔の表情理解のためのMiRA

問題提起

制約のないビデオにおける顔の表情を理解するには、微細で局所的、かつ一時的な時空間ダイナミクス（例：微細なシワ、眉間のしわ寄せ）をモデリングする必要があります。しかし、既存のVision Transformer (ViT) ベースのビデオモデルは、たとえMasked Autoencoders (MAE) のような大規模な自己教師あり学習目的関数で事前学習されていても、この領域では苦戦します。これらのモデルは、支配的なグローバルモーション（例：頭部の動き）や粗いシーンレベルのダイナミクスを最適化する傾向があります。その結果、微細な顔内の変化は冗長なものとして扱われたり、グローバルモーションによってかき消されたりして、精緻な表情の手がかりのモデリングが不十分になります。さらに、標準的なアテンション機構は、情報量の多い顔の瞬間を選択的に注視し、モーション主導または冗長なフレームを抑制する感性に欠けることがよくあります。

手法: MiRA (Marginal-induced Attention Redistribution)

これらの制限に対処するため、著者らは、ViTバックボーン用に設計された、プラグイン型のフレーム・マージナル・アテンション再分配フレームワークであるMiRAを提案します。MiRAは、追加の学習可能パラメータを導入することなく、微細な顔のダイナミクスに対する時空間的な選択性を高めます。この手法は、自己アテンションマップからフレームレベルの統計量を導出し、マージナルな重要性を推定して、それに応じてアテンションを再分配することで機能します。

1. コアメカニズム: フレーム・マージナル・リウェイト

本手法は、ヘッド平均化されたアテンション行列 $\bar{A}$ から、2つの相補的な統計量を計算します。

• フレームレベルの信頼度 ($c_t$): 全シーケンスを通じて特定のフレーム $t$ に割り当てられた総アテンション質量を測定し、そのフレームがキーとしてどれほど強く注目されているかを示します。
• フレーム内集中度 ($H_t$): 逆エントロピーを用いて、フレーム内におけるアテンションの空間的な集中度を定量化します。高い集中度は局所的なアテンション（顔の手がかりに有利）を示し、低い集中度は拡散したグローバルなパターンを示唆します。

これらの統計量は、フレーム・マージナル重要度スコア $f_t$ に統合されます。このスコアは正規化され、パワーソフトマックス関数を用いてターゲットとなる事前分布 $\pi_t$ に変換されます。学習済みのクエリ・キー構造を破壊せずにアテンションを再分配するために、MiRAは比率ベースの整合性を適用します。これは、現在の信頼度に対するターゲット事前分布の比率に基づいてスケーリング係数 $\alpha_t$ を計算し、極端な偏差を防ぐために値をクリッピングするものです。これらの係数はアテンションマップを再スケールし、続いて有効な確率分布を保証するために、小さな一様混合と行方向の正規化が行われます。

2. 2つの動作モード

論文では、有効性と計算効率のバランスを取るために2つのモードを導入しています。

• Exact Mode (正確モード): これは、post-softmax アテンションマップに対してリウェイトを行う原理的な定式化です。これには、フルアテンションマップ ($O(L^2)$) の実体化、行方向の正規化、およびバックプロパゲーションのためのpost-softmax活性化の保持が必要です。効果的ではありますが、大きなメモリI/Oオーバーヘッドが発生し、FlashAttentionのような融合カーネルとは互換性がありません。
• FlashLite Mode: 効率を高めるため、このモードは再分配をFlashAttentionカーネルに直接統合します。post-softmaxのリスケーリングを行う代わりに、pre-softmax で計算されるキー単位のプロキシ（具体的には、キー・トークンの$L_2$ノルムの二乗）を使用して、必要なフレームレベルの統計量を近似します。これらのプロキシは、フレームの顕著性と集中度を推定します。得られたスケーリング係数は、アテンション操作の前のアテンション・ロジット ($Z = QK^\top/\sqrt{d_K}$) に適用される加算バイアス ($\log \alpha_t$) に変換されます。これにより、再分配がFlashAttentionのストリーミング計算内で行われるようになり、フルアテンションマップの実体化を回避し、メモリI/Oを大幅に削減できます。

主な貢献

1. プラグイン型アテンション再分配: フレームレベルの信頼度とフレーム内集中度に基づいてアテンションを再分配することにより、微細な顔のダイナミクスへの感度を高める、ViTバックボーンのための新しいモジュールであり、追加の学習可能パラメータを必要としません。
2. FlashLite近似: 再分配メカニズムをFlashAttentionカーネルに統合する、軽量なpre-softmax近似です。これにより、正確な定式化の精度を維持しながら、メモリI/Oを削減しスループットを向上させ、大規模な学習に適した形にしています。
3. 制約のない条件下での堅牢性: 本手法は、スケーラブルな事前学習や実世界の環境において非現実的な、顔の整列（アライメント）やクロッピングといったタスク固有のヒューリスティックに依存することなく、困難なFacial Expression Recognition (FER) ベンチマークにおいて、強力なViTベースラインに対して一貫した改善を示しています。

実験結果

著者らは、VideoMAEをバックボーンとして使用し、VoxCeleb2で事前学習を行い、大規模なイン・ザ・ワイルド（in-the-wild）FERベンチマークである DFEW、MAFW、FERV39k でファインチューニングしてMiRAを評価しました。

• 性能向上: MiRAは、すべてのデータセットにおいて、強力なViTベースライン（VideoMAE、VideoMAEv2、および他のMAEバリアントを含む）を一貫して上回っています。例えば、DFEW (Fold 1) において、ViT-B FlashLiteモデルは、Unweighted Average Recall (UAR) 65.11% および Weighted Average Recall (WAR) 76.25% を達成し、バニラのVideoMAEベースラインの59.94% (UAR) を上回りました。
• SOTAとの比較: 本手法は、ビデオのみの手法の中で最先端（SOTA）の性能を達成しており、音声や言語の監督を利用するマルチモーダルなアプローチとも競争力のある結果を残しています。特筆すべきは、顔のアライメントの前処理なしでこれらの結果を達成している点です。
• 効率性: FlashLiteモードは、Exactモードと比較して、H100 GPU上で20%のレイテンシ削減（400.6 ms $\to$ 318.7 ms）と26%のスループット向上を実現しつつ、認識性能はほぼ同一です。
• 表現の質: 凍結された特徴量を用いたマイクロ表情データセット（SAMM, MMEW）に対するk-NNプロービングにより、MiRAが一般的なビデオモデルや他のFER特化型ベースラインと比較して、微細な時間的ダイナミクスをより良く捉える表現を学習していることが示されました。
• 定性的分析: 可視化の結果、ベースラインモデルが支配的なグローバルモーション（例：頭部の回転、背景の境界）に焦点を当てる一方で、MiRAは局所的な顔領域や情報量の多い時間的瞬間にアテンションをシフトさせることに成功していることが示されました。

重要性と主張

論文は、ビデオにおける顔のダイナミクスを効果的にモデリングすることは、マルチモーダルな入力がない場合でも、感情的なコンテキストを表現するために極めて重要であると主張しています。MiRAの重要性は、一般的なビデオトランスフォーマーに内在する、支配的なグローバルモーションへのバイアスに対処するために、自己アテンション機構を再検討できる点にあります。

フレーム・マージナル再分配メカニズムを導入することで、現代的な学習パイプラインの効率を損なうことなく（FlashLiteを介して）、微細な手がかりに対する時空間的な選択性を高めることが可能であることを著者らは示しました。この研究は、明示的なアライメントが困難な、大規模で多様かつ制約のないデータに対して、ノイズとなるグローバルモーションを抑制し、冗長性を減らすことで、モデルの汎化性能を高められることを示唆しています。著者らはこれを、より精緻な理解が可能な、よりスケーラブルで効率的なビデオ基盤モデルへの一歩として位置付けています。