VideoSEMA: a scalable and efficient Mamba-like attention for video understanding
本論文は、Mamba型の分割時空間アテンション機構とソフトマックス時間アテンションを組み合わせた、スケーラブルかつ効率的なビデオ分類モデルであるVideoSEMAを紹介しており、K400およびSSv2ベンチマークにおいて、既存のVision TransformerやMambaモデルと比較して優れた精度と解像度への堅牢性を実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに映画を理解させる方法を教えようとしていると想像してみてください。単なる写真1枚を見せるだけでは不十分です。時間の経過とともに変化する画像の一連の流れを見せなければなりません。これが、コンピュータサイエンスの一分野である**ビデオ理解（video understanding）**の世界です。ここでは、機械が「ジャガイモの皮をむく」や「車が角を曲がる」といった動作を認識することを学習します。長い間、これを行うための最善の方法は、Transformerと呼ばれる、巨大で食欲旺盛な脳を使うことでした。Transformerを、図書館にあるすべての本のすべてのページを一度に読み、それらの間のつながりを見つけ出そうとする、超組織化された司書のようなものだと考えてください。それは非常に賢いのですが、図書館（ビデオ）が大きすぎたり、本（フレーム）が詳細すぎたりすると、圧倒されて動作が遅くなってしまいます。
これを解決するために、科学者たちは最近、Mambaと呼ばれる新しい種類の脳を発明しました。もしTransformerがすべてを一度に読む司書だとしたら、Mambaは廊下を歩きながら手がかりを記憶していく探偵のようなもので、より高速です。しかし、ビデオが高解像度であったり、非常に長かったりする場合、Mambaでさえ苦戦することがあります。研究者たちの大きな疑問は、「重厚なTransformerのように賢く、かつ新しいMamba探偵のように速く効率的なビデオ脳を構築できるか？」ということです。これこそが、論文「VideoSEMA」が解決しようとしているパズルです。
Qualcomm AI Researchとカリフォルニア大学アーバイン校の研究者らによるこの論文の著者たちは、VideoSEMAと呼ばれる新しいモデルを構築しました。彼らは単に新しい材料を鍋に投げ込んだわけではありません。巧妙な分割システムを作り上げたのです。想像してみてください。あなたは2つの異なる「注意の払い方」を持つ映画を見ているところです。まず、単一のフレーム（静止画）を見て、SEMAと呼ばれる特別な「Mambaのような」目を使います。この目は、疲れを知らずに、細かなディテール（例えばジャガイモの皮の質感など）の小さな窓を見つつ、同時にシーン全体の素早いグローバルな平均も捉えることができます。次に、物語がどのように動くかを理解するために、モデルは標準的な「ソフト」アテンションを使用して、フレーム間の変化を見ます。
論文によれば、この分割アプローチは単なる偶然の的中ではなく、特定の条件下において、この分割メソッドがビデオ全体を一度に見るのと同等に優れていることを数学的に証明しています。彼らがK400（400種類の人間のアクションを含む）やSSv2（難易度の高い、微細な動きに焦点を当てたもの）といった有名なビデオデータセットでVideoSEMAをテストしたところ、その結果は素晴らしいものでした。K400データセットにおいて、VideoSEMAは、より大きく重い他のMambaベースのモデルや大きなTransformerを含むモデルを打ち破り、より少ない計算リソースを使用しました。例えば、解像度が16 × 224²のとき、VideoSEMAは**82.4%**の精度を達成し、パラメータ数がより少ないにもかかわらず、**80.8%**を記録した以前のMambaモデル（VideoMamba）を上回りました。
最もエキサイティングな発見の一つは、VideoSEMAが高精細なビデオをどのように扱うかという点です。研究者たちは、モデルを再学習させることなく、ビデオの解像度を224²から1024²（詳細度が劇的に上がった状態）へとスケールアップさせた場合に何が起こるかをテストしました。古いMambaモデル（VideoMamba）は、精度が80.8%から40.8%へと急落し、崩壊しました。対照的に、VideoSEMAはよりよく踏みとどまり、低下したのはわずか54.6%でした。これは、VideoSEMAが視覚的な詳細が複雑になった際により堅牢であることを示唆しています。また、SSv2データセットにおいて、VideoSEMAは他のモデルが16フレームを必要とする場面でも、わずか8フレームのビデオでより良い結果を出せることを示し、正しい情報を素早く掴む上で非常に効率的であることを証明しました。
この論文はいくつかのアイデアを退けています。彼らは単純な3D畳み込み（ビデオを見るための標準的な方法）や、ビデオの時間的な部分に純粋なMambaブロックを使用することをテストしましたが、時間次元に対して標準的なアテンションメカニメントを使用する方が、どちらも優れた結果をもたらすことがわかりました。彼らは、Mambaは空間に関しては優れているものの、この特定のセットアップにおける時間的な側面を扱うには最適ではなかったことを示しました。著者たちは、自分たちのモデルが非常に有望ではあるものの、まだ進行中の作業であることを慎重に述べています。さらに長いビデオを扱うためには、将来的に、速度を落とさずに余分な時間を処理するために「スパース（疎）」または「ダイレイテッド（拡張）」アテンションを追加する必要があるかもしれないと示唆しています。しかし、現時点では、VideoSEMAは、動く世界を理解するための強力で効率的、かつスケーラブルな新しい方法として君臨しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。