💻 computer science

Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

本論文は、長動画サブシーケンスのFew-Shot 行動認識において、Transformer の計算コストを回避しつつ Mamba の効率性を活かしつつ局所特徴と時間的整合性を強化する「Matryoshka Mamba」と、クラス内分散を抑制するハイブリッド対照学習を組み合わせた新フレームワーク「Manta」を提案し、主要ベンチマークで最高性能を達成したことを報告しています。

原著者： Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

公開日 2026-03-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文「Manta」は、**「短い動画ではなく、長い動画の断片を使って、たった数枚のサンプルから新しい動作を認識する」**という、少し難しい技術の問題を、とても賢い方法で解決しようとした研究です。

専門用語を抜きにして、日常の例え話を使って解説しますね。

🎬 物語の舞台：「少ないサンプルで動作を教える」ゲーム

まず、この研究が解決しようとしている問題はこんな感じです。
あなたが新しいダンスを教えるとき、生徒に「1 分間の動画」を見せるのではなく、「たった 3 回（5 枚の画像）」しか見せないとします。それでも生徒が「あ、これは『ジャンプ』だ！」と正しく判断できるでしょうか？

これを**「Few-Shot Action Recognition（少サンプル動作認識）」**と呼びます。
しかし、ここで大きな問題が 2 つあります。

長い動画だと「余計な情報」が多すぎる
- 「崖から飛び込む」という動作を長い動画で見ると、飛び込む前の「準備運動」や「水に落ちた後の波」など、本質的な「飛び込み」の瞬間はほんの一瞬です。AI は「全体」を見て判断しようとして、重要な瞬間（飛び込む瞬間）を見逃してしまいます。
同じ動作でも「見え方」が違う
- 「崖から飛び込む」動画 A と B を比べると、カメラの角度や照明、人の服装が全く違います。長い動画ほど、この「違い（ノイズ）」が蓄積してしまい、「これらは同じ動作だ」と AI が判断するのが難しくなります。

🐙 解決策：「マタタビ（Manta）」という新しい AI

この論文では、**「マタタビ（Manta）」**という新しい AI 枠組みを提案しています。名前の由来は、ロシアの伝統人形「マトリョーシカ（入れ子人形）」と、最近話題の AI 技術「Mamba（マンバ）」を組み合わせたものです。

このマタタビは、2 つのすごい工夫で問題を解決します。

1. 🧸 マトリョーシカ・マンバ：「全体」ではなく「細部」に注目する

従来の AI は、長い動画を「1 つの大きな塊」として見ていました。でも、マタタビは違います。

内側の箱（Inner Module）：
長い動画を「小さな断片」に切り分けます。そして、それぞれの断片を**「超・集中モード」**で見て、重要な部分（例：飛び込む瞬間の足）を詳しく分析します。
- 例え話: 長い映画の DVD を丸ごと見るのではなく、「重要なシーンのみ」を切り抜いて、拡大鏡でじっくり見るようなイメージです。
外側の箱（Outer Module）：
切り抜いた断片を、時間順に並べ替えてつなぎ合わせます。これにより、「いつ、どこで重要なことが起きたか」というタイミングのズレを自動で修正します。
- 例え話: 複数のカメラマンが撮った「飛び込み」の映像を、「水に飛び込む瞬間」が重なるように、自動的にタイミングを合わせて編集するようなイメージです。

この「入れ子構造」のおかげで、AI は長い動画の中でも「本当に重要な瞬間」を見逃さず、タイミングも完璧に合わせることができます。

2. 🤝 対照学習：「似ているもの」をグループ化する魔法

2 つ目の問題は「同じ動作でも見え方が違うこと」でした。マタタビは、**「対照学習（コントラスト学習）」**という魔法を使います。

教師あり学習（ラベル付き）：
「これは『ジャンプ』だ」という正解があるサンプル同士は、AI の頭の中で**「仲良くくっつく」**ようにします。
教師なし学習（ラベルなし）：
「これは何だ？」という未知の動画も、既知の「ジャンプ」と似ていれば、**「同じグループ」**に入れてあげます。
例え話: 教室で「ジャンプ」をする子たちを集めるゲームだとします。
- 普通の AI は、「ジャンプ」の子でも、服の色や背景が違えば「別の子」と思ってしまうかもしれません。
- マタタビは、「服や背景は関係ない！『ジャンプ』という動き自体が似ていれば、同じチームだ！」と判断して、グループ化を助けます。これにより、ノイズ（違い）に惑わされなくなります。

🏆 結果：なぜこれがすごいのか？

この「マタタビ」を使えば、以下のような成果が出ました。

長い動画でもバッチリ: 従来の AI は長い動画だと計算が重すぎて動かなかったり、精度が落ちたりしましたが、マタタビは128 フレーム（約 4〜5 秒）の長い動画でも、非常に高い精度で動作を認識できました。
計算が軽い: 最新の AI 技術「Mamba」を使っているため、従来の方法（Transformer）よりも計算が速く、メモリも節約できます。
頑丈さ: 動画にノイズ（雨や光の加減）が入っても、正確に判断できる強さを持っています。

📝 まとめ

この論文は、**「長い動画の動作認識」**という難しい課題に対して、

「入れ子構造」で重要な瞬間を細かく見つける
「グループ化の魔法」でノイズに負けないようにする

という 2 つのアイデアを組み合わせ、**「少ないサンプルでも、長い動画でも、正確に動作を認識できる AI」**を作りました。

まるで、**「長い映画の重要なシーンだけを抜き出して、タイミングを合わせて、同じ動きをする人々を上手にグループ分けする」**ような、とても賢い AI 助手が誕生したと言えます。これにより、監視カメラや医療支援など、実社会での応用がさらに進みそうです。

論文「Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence」の技術的サマリー

本論文は、Few-Shot Action Recognition (FSAR; 少量サンプルによる動作認識) の課題、特に長い動画サブシーケンスを扱う際の課題に焦点を当て、Transformer ベースの既存手法の計算コストの限界と、Mamba（SSM: State Space Models）の単純な適用における課題を解決する新しいフレームワーク**「Manta」**を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

FSAR は、ラベル付きデータが極めて少ない状況で、未知の動作を分類するタスクです。従来の手法は主に Transformer ベースであり、短いサブシーケンス（例：8 フレーム程度）を処理することに限定されていました。これは、Transformer の計算複雑度がシーケンス長の二乗に比例するため、長い動画を扱うと計算リソースが膨大になるためです。

近年、長系列モデリングに効率的なMambaが注目されていますが、FSAR の長いサブシーケンスに直接適用するには以下の 2 つの重大な課題が存在します。

局所的特徴のモデリングと時間的アライメントの欠如:
- 長い動画内では、動作の核心となる局所的特徴（例：「崖から飛び込む」動作における「落下」の部分）は、シーケンス全体のごく一部にしか存在せず、時間軸上も位置が異なります。
- Mamba がグローバルな特徴を重視する傾向があるため、これらの重要な局所的特徴を見落とし、時間的な整合性（アライメント）が取れていないため、誤認識を招きます。
クラス内分散の蓄積:
- シューティング条件や後処理の違いにより、同じ動作クラスであってもフレーム間の視覚的差異が大きくなります。
- シーケンス長が長くなるほど、このクラス内分散（Intra-class variance）が蓄積され、同じクラスのサンプルをクラスタリングすることが困難になり、性能が低下します。

2. 提案手法：Manta (Matryoshka MAmba and CoNtrasTive LeArning)

Manta は、上記の課題を解決するために、Matryoshka Mambaとハイブリッド対照学習の 2 つの並列ブランチを組み合わせたフレームワークです。

A. Matryoshka Mamba（局所特徴と時間的アライメントの強化）

ロシアの伝統的な人形「マトリョーシカ」のように、複数のスケールで局所特徴を抽出・統合する構造です。

Inner Module（局所特徴の強化）:
- 長いサブシーケンスを非重複の断片（フラグメント）に分割し、各断片に対して Mamba-2 を用いた Inner Module を適用します。
- 前方（Forward）と後方（Backward）の 2 方向スキャンを行い、各断片内の局所的特徴を強調します。
Outer Module（時間的アライメント）:
- Inner Module で強化された局所特徴間の時間的依存関係を捉えるために、共有パラメータを持つ双方向スキャンを行う Outer Module を設計しています。
- これにより、明示的なアライメント計算を行わずとも、潜在的な時間的アライメント（Implicit Temporal Alignment）を実現します。
マルチスケール統合:
- 複数のスケール（フレーム数 $o$ ）で上記の処理を行い、学習可能な重みを用いて重み付け平均することで、多様な時間的スケールに対応します。
クロス距離計算:
- サポートセットの原型（Prototype）とクエリセットの特徴間の距離を計算する際、順方向と逆方向の両方の距離を考慮し、対称的なアライメントを強化します。

B. ハイブリッド対照学習（クラス内分散の蓄積緩和）

クラス内分散の蓄積による影響を軽減するため、教師ありと教師なしの両方を取り入れた対照学習パラダイムを採用します。

教師あり対照損失 ( $L_{con}^S$ ): ラベル付きのサポートセットに対して適用され、同じクラスのサンプルを近づけ、異なるクラスを遠ざけます。
教師なし対照損失 ( $L_{con}^Q, L_{con}^{SQ}$ ): ラベルなしのクエリセットおよびすべてのサンプルに対して適用され、ラベル情報に依存せずに特徴のクラスタリングを促進します。
これらを組み合わせたハイブリッド損失 ( $L_{hc}$ ) を用いることで、分散の蓄積によるノイズを低減し、特徴空間でのクラス分離を改善します。

C. 全体アーキテクチャ

Feature Extraction: 事前学習済みバックボーン（ResNet-50, ViT, VMamba など）で特徴を抽出。
Mamba Branch: Matryoshka Mamba による特徴強化とアライメント。クロスエントロピー損失 ( $L_{ce}$ ) を計算。
Contrastive Branch: ハイブリッド対照学習による特徴空間の最適化。
Training Objective: $L_{total} = \lambda L_{ce} + L_{hc}$ として、両方のブランチを同時に学習します。

3. 主要な貢献

Matryoshka Mamba の提案:
- 長いサブシーケンスの FSAR に適した、局所特徴の強化と潜在的な時間的アライメントを同時に行う新しいアーキテクチャを提案しました。
ハイブリッド対照学習パラダイムの設計:
- 教師あり・教師なしを組み合わせることで、長いシーケンスにおけるクラス内分散の蓄積問題を効果的に緩和しました。
SOTA 性能の達成:
- SSv2, Kinetics, UCF101, HMDB51 といった主要なベンチマークにおいて、既存の Transformer ベース手法やマルチモーダル手法を凌駕する最高性能（SOTA）を達成しました。

4. 実験結果

ベンチマーク性能:
- SSv2 (1-shot): 63.4% (ResNet-50 ベース) で、既存の SOTA 手法（AMFAR: 61.7%）を上回りました。
- Kinetics (5-shot): 94.2% (ResNet-50) などの高い精度を記録し、マルチモーダル手法（AMFAR）をも上回る結果を示しました。
長いサブシーケンスへの強さ:
- フレーム数 $F$ を 8 から 128 まで増やした実験において、他の手法はメモリ不足（OOM）や精度低下を起こすのに対し、Manta は 128 フレームまで安定して高性能を維持しました。
ロバスト性:
- フレームレベルのノイズ（無関係なフレームの混入）や、サンプルレベルのノイズ（他クラスの混入）、背景ノイズ（雨、光、ガウスノイズ）に対する実験において、Manta は他の手法よりも著しく高いロバスト性を示しました。
計算効率:
- Transformer ベースの手法に比べて推論速度が大幅に高速であり、単一 GPU での推論時間も短縮されました。

5. 意義と結論

本論文は、FSAR において長い動画サブシーケンスを効率的かつ高精度に処理する新たなパラダイムを確立しました。

技術的意義: Mamba の長系列モデリング能力を、FSAR の特有の課題（局所的特徴の重要性とクラス内分散）に合わせて最適化し、Transformer の計算ボトルネックを回避しつつ、高い精度とロバスト性を実現しました。
応用可能性: 監視カメラ、医療モニタリング、ビデオ理解など、リアルタイム性と高精度が求められる実世界アプリケーションへの展開が期待されます。

Manta は、長系列データの処理において「局所的特徴の抽出」と「時間的整合性」、そして「分散の抑制」を同時に解決する有効なアプローチであることを示しており、今後の FSAR 研究の指針となる重要な成果です。