💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

本論文は、疎な運動学的証拠と解剖学的根拠を明示的に蒸留することで、マルチモーダル大規模言語モデルによる微細なマイクロジェスチャーのビデオ推論能力を向上させるために、ゲート付きモーション認識トークン化モジュール（GMoT）と段階的な報酬誘導型方策洗練パラダイムを組み合わせた手法を導入し、iMiGUEおよびSMGベンチマークにおいて最先端の性能を達成するものである。

原著者： Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに人間のボディランゲージを理解させる方法を教えていると想像してください。あなたはロボットに人のビデオを見せ、その人がわずかな動きに基づいて、正確に何を感じ、何を考えているのかを伝えてほしいと考えています。これが、コンピュータが視覚的な世界を「見て」解釈することを学ぶ科学の一分野であるコンピュータビジョンの世界です。通常、これらのコンピュータは、走る、跳ぶ、手を振るといった、大きく明白な動作を見つけることは得意です。しかし、この世界には**マイクロジェスチャー（微細な動作）**と呼ばれる非常にトリッキーな領域があります。これらは、指の素早いピクつき、肩のわずかなすくめ、あるいは唇の一瞬の引き締めなど、私たちが無意識に行う超微細な動きのことです。これらは非常に速く、かつ非常に狭い範囲で起こるため、見逃しやすいのです。

問題は、現在最も賢いビデオ読み取りコンピュータである**マルチモーダル大規模言語モデル（MLLM）**が、教科書を読むのは非常に得意だが、生の演劇を見るのは苦手な学生のような状態にあることです。彼らは、静止したポーズ、背景、人物の顔といった「大きな全体像」に集中しすぎるあまり、真実を明らかにするための、小さく、はかない手がかりを見逃してしまうことがよくあります。例えば、腕を組んでいる人を見て「怒っている」と推測してしまうことがありますが、その人は実は指を一度トントンと叩いており、それが実際には「いらだち」を意味しているという事実を見落としてしまうのです。この論文は、これらの強力なAIモデルに対し、全体像に基づいて推測するのをやめ、重要な、小さく動いている詳細に注意を払うように教えるという課題に取り組んでいます。

問題点：「静止画スナップショット」の罠

標準的なビデオAIを、映画の1枚のぼやけたスナップショットを撮り、そこから物語を推測しようとする写真家だと考えてみてください。もし映画が、人が不安げに肩を揺らしている場面だとしたら、標準的なAIは単に人が立っている様子を見て「立っている」と判断してしまうかもしれません。AIがビデオを読み取る速度が遅すぎたり、すべてを平均化してしまったりすることで、微細な動きが洗い流されてしまい、その「動き」を見逃してしまうのです。

この論文の著者であるTaorui Wang氏とそのチームは、既存のAIモデルが「拙速な推測」をしていることに気づきました。モデルは、腕を組んだ姿勢を見て即座に「防御的」であると判断し、それが全く異なる意味を持つかもしれない、わずかな指のタップを無視してしまうのです。モデルは、キネマティック（運動学的）な証拠（どのように動いたか）ではなく、静的な外観（その人がどのような見た目か）に依存していました。さらに悪いことに、モデルは最終的な答えが合っていることに対してのみ報酬を与えられるため、時として「幻覚（ハルシネーション）」を起こし、論理的に聞こえるかもしれないが、ビデオで実際に起きていることとは何の関係もない、もっともらしい理由をでっち上げることがありました。

解決策：GMoT（「動きの探偵」）

これを解決するために、チームはGMoT（Gated Motion-Aware Tokenization：ゲート付き動き認識トークン化）と呼ばれる新しいツールを構築しました。非常に賢いが少し怠け者の探偵（AIモデル）が、ミステリーを解こうとしている場面を想像してください。探偵は通常、犯罪現場をちらりと見るだけで推測してしまいます。GMoTは、探偵に虫眼鏡とハイライターを手渡す専門の助手のようなものです。

GMoTの仕組みは、以下のステップで行われます：

アクションへのスポットライト： ビデオのフレーム全体を均等に見るのではなく、GMoTはスポットライトのように機能します。ビデオをスキャンして、まさにどこで動きが起きているか（特定の指や肩など）を見つけ出し、退屈な背景ノイズを無視します。
動きの凍結： 隣り合う2つのビデオフレームを取り出し、一方から他方を引き算します。これは、ランナーの写真を2枚撮り、1枚目から2枚目を引くことで、動きによる「ブレ」だけを残す作業に似ています。これにより、純粋な動きのエネルギーを抽出し、人物の体の静止部分を取り除きます。
「ゲート付き」注入： チームは、この新しい「動きの情報」を追加することが、AIの既存の脳を混乱させるのではないかと懸念していました。そこで、彼らは「ゲート（制御スイッチ）」を構築しました。最初はゲートがほぼ閉まっており、AIがすでに知っていることに頼るようにします。AIが学習を進めるにつれて、ゲートはゆっくりと開き、AIが混乱することなく、より良い推測ができるよう、適切な量の動きの手がかりを注入していきます。

トレーニング：単なる推測ではなく、説明することを学ぶ

チームは、AIに単に正解を出すことだけでなく、実際に見たものに基づいてその理由を説明することを求めていました。そのために、彼らは4つのステージからなる特別なトレーニングプロセスを作成しました：

ウォームアップ： 新しいGMoTモジュールに対し、まず一般的なビデオを用いて動きを見つける方法を教えました。
ドメイン適応： 何千ものマイクロジェスチャーのビデオを見せることで、微細な動きの特定の言語を学習させました。
思考の連鎖（Chain-of-Thought: CoT）学習： AIに、答えを出す前に自分の考えを書き出すように教えました。単に「肩を揺らす」と言うのではなく、「肩が上下に素早く動いているのが見えます。これは……を示しています」と言う必要があるのです。
報酬ガイド付き精緻化： これが最後の仕上げです。彼らは、AIが「怠惰な推測（最も一般的な答えを何も見ずに選ぶこと）」をした場合には罰を与え、実際の動きに焦ейすることに対しては報酬を与えるスコアリングシステムを設定しました。もしAIが、動きを見ることなく背景や人物の気分について物語をでっち上げた場合、ペナルティを与えました。もし特定の動いている身体部位を指摘した場合、報酬を与えました。

結果：目に見えないものを見る

チームは、マイクロジェスチャーに関する2つの主要なデータセット、iMiGUEとSMGを用いて新しいシステムをテストしました。

iMiGUEデータセットにおいて、彼らのモデル（Qwen3-VL-8Bをバックボーンとして使用）は67.32%の精度を達成しました。これは、ベースラインのモデルを6.80ポイント向上させた大きな飛躍でした。
SMGデータセットでは、73.11%の精度に達し、ベースラインのモデルを3.11ポイント上回りました。

これらの数値は、モデルが他のモデルが見逃してしまうような、あの儚く微細な動きを捉える能力が大幅に向上していることを意味します。しかし、チームはスコアだけに留まりませんでした。彼らは、AIが実際に「現実に基づいている（グラウンデッドである）」かどうかを測定する新しい方法を導入しました。AIが正解を得た際に、正しい身体部位（「唇」や「肩」など）に言及しているかどうかを確認したのです。彼らはこれを身体領域グラウンディング（Body-Region Grounding: BRG）想起率と呼んでいます。彼らのモデルは、単に推測しているのではなく、実際に正しい場所を見ていることを示しました。

なぜこれが重要なのか

この論文は、AIが人間の行動を真に理解するためには、静止したスナップショットに頼るのをやめ、動きの「またたき」に注意を払う必要があることを示唆しています。こうした微細で一時的な手がかりを明示的に探し出し、それに基づいて理由を説明するようにAIを強制することで、研究者たちは、幻覚を起こしにくく、より人間の体の微妙で言葉にならない言語を理解できるモデルを作り上げました。これは、AIが単に私たちの外見を見るだけでなく、私たちが何をしているのかを理解するための、一歩前進なのです。

技術要約: 微細なマイクロジェスチャー・ビデオ推論のためのGMoT

問題提起

マイクロジェスチャー認識（MGR）は、潜在的な感情や認知状態を明らかにする、一瞬の、空間的に局在化した人間の動き（例：わずかな肩のすくみや唇の引き締め）を検出することを伴います。これらの動作は、振幅が小さく、持続時間が短く、空間領域が狭いという特徴があり、わずか数フレームにわたることもあります。

現在のマルチモーダル大規模言語モデル（MLLM）は、一般的なビデオ理解には強力であるものの、以下の2つの主要な制限により、MGRにおいて苦戦しています。

静止バイアス（Static Bias）: 標準的なビデオMLLMは、疎な時間的サンプリングと時間的プーリングに依存しているため、微細な運動信号が希釈されたり、見逃されたりします。その結果、モデルは判別的な運動の手がかり（motion cues）ではなく、「静止した姿勢の事前知識」（例：腕を組んだ姿勢を分類する）に依存する傾向があります。
幻覚を伴う推論（Hallucinated Reasoning）: 明示的な制約がない場合、MLLMは最終的な分類ラベルを満たすために、視覚的に根拠のない、もっともらしいが根拠のない推論プロセス（「拙速な推測」）を生成してしまいます。

単一のデータセットにおけるTop-1精度のみに焦点を当てた既存の評価手法では、モデルが真に転移可能な微細なダイナミクスを捉えているのか、それともデータセット固有の外観バイアスを単に記憶しているだけなのかを検証することができません。

手法: GMoT

著者らは、既存の事前学習済みビジュアル・ランゲージ・インターフェースを破壊することなく、バニラなMLLMに明示的な運動学的バイアスを注入するために設計された軽量モジュールである**GMoT（Gated Motion-Aware Tokenization）**を提案しています。GMoTは、以下の3つのコアメカニズムを通じて動作します。

1. 運動認識型トークン化（Motion-Aware Tokenization）

GMoTは、視覚ストリームと融合される前に、疎な時空間的手がかりをコンパクトな運動トークンシーケンスへと蒸留します。

運動を促す空間的顕著性（Motion-Prompted Spatial Saliency）: 軽量なスコアラーがパッチ・トークンを投影して関連度スコアを生成し、空間的ソフトマックスを適用することで、フレームレベルの重み付き表現を作成します。これは、背景ノイズを抑制しながら局所的な運動のエビデンスを増幅させる、学習されたフィルターとして機能します。
運動学に着想を得た時間的差分（Kinematics-Inspired Temporal Differencing）: 複雑な時間的混合に頼る代わりに、GMoTは明示的な隣接フレーム間の時間的差分を計算します。これを、平均的な大きさ（運動エネルギーを定量化）と符号付き差分（方向性の運動学を保持）の2つのストリームに分離します。これらを結合し、固定長のスロットに投影します。
意味保存的な適応型ゲーティング（Semantic-Preserving Adaptive Gating）: 事前学習済みMLLMの整列された視覚・意味空間を乱さないよう、運動トークンは保守的に初期化された意味ゲート（ $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ ）を介して融合されます。ゲートは「ほぼ閉じた」状態で始まり、モデルがどの程度の運動エビデンスを導入すべきかを段階的に学習できるようにします。

2. 学習戦略

著者らは、モデルを単純な分類からエビデンスに基づいた推論へと移行させるための、4段階の漸進的な学習パイプラインを採用しています。

ステージ 0 (ウォームアップ): 運動トークンの生成を安定させるため、LLMとビジョンエンコーダを凍結した状態で、一般的なビデオデータセットを用いてGMoTモジュールを学習させます。
ステージ 1 (ビデオ・ラベル・ペアリング): ドメイン固有の意味論と視覚表現を整列させるため、LoRAを用いてマイクロジェスチャーのビデオ・ラベル・ペアに対して教師あり微調整（SFT）を行います。
ステージ 2 (CoT形式のSFT): モデルが観察可能な運動のエビデンスに焦点を当てたChain-of-Thought（CoT）記述を生成するように学習します。このステージでは、複数のLMMが候補となる記述を生成し、セレクター（Qwen3-VL-MoE）が、クラスが正しく、視覚的に根拠があり、幻覚がないものを選ぶという半自動アノテーション・パイプラインを利用します。
ステージ 3 (報酬ガイド付きポリシー精緻化): Group Relative Policy Optimization (GRPO) を用いた強化学習フェーズです。報酬関数（ $R_i$ $R_{i}$ ）は、以下の4つの項を組み合わせます。
- ラベルの正確性 ( $R_{label}$ ): 完全一致に報酬を与え、誤った推測にペナルティを与え、ドメイン外の幻覚には厳格なペナルティを与えます。
- 怠慢な予測へのペナルティ ( $R_{lazy}$ ): 高頻度のクラスを繰り返し推測することで、ロングテール分布を悪用することを防ぎます。
- フォーマット遵守 ( $R_{format}$ ): 出力が要求されるCoTテンプレートに従っていることを保証します。
- 観察への集中 ( $R_{focus}$ ): 無関係な背景キーワードを含む推論プロセスにペナルティを与えます。

主な貢献

GMoTモジュール: 空間的顕著性、明示的な時間的差分、およびゲート付き融合をMLLMに統合する新しいトークン化アプローチであり、重い3D畳み込みを用いることなく、微細なマイクロジェスチャーを捉えることを可能にします。
推論指向の学習: 半自動のCoT監督と、漸進的な報酬ガイド付きポリシー精緻化戦略を組み合わせたフレームワークです。これにより、解剖学的な根拠付けと、外観に基づく「怠慢な」推測への抵抗力を促進します。
より広範な評価プロトコル:
- 身体部位グラウンディング（BRG）リコール: 正しく分類されたサンプルに対して計算される新しい指標であり、モデルの推論が関連する解剖学的領域をどの程度正しく特定しているかを定量化します。
- クロスドメイン転移: データセットシフト下での堅牢性をテストするため、iMiGUEとSMGのデータセット間でラベルが重複する転移プロトコルを実施します。

実験結果

本手法は、Qwen3-VL-8Bをバックボーンとして、iMiGUEおよびSMGデータセットで評価されました。

Top-1 精度: GMoTはiMiGUEで67.32%、SMGで73.11%を達成しました。これは、ベースラインのQwen3-VL-8Bと比較して、それぞれ+6.80および**+3.11**ポイントの向上となります。
比較: GMoT拡張モデルは、比較されたすべてのCNN、Transformer、およびState-Space Model (SSM) ベースライン、ならびに他のMLLM（例：InternVL2.5、Video-LLaMA2）を上回りました。
堅牢性: ラベルを保持したままの破損に対しても明確な利点を維持し、強力なクロスドメイン転移能力を示しました。
グラウンディング: フレームワークは、提案されたBRGリコールによって測定される通り、生成された根拠において高い解剖学的グラウンディングを示しました。

意義と主張

本論文は、マイクロジェスチャー認識の分野には、純粋なラベル駆動型の認識から、エビデンスに基づいた運動学的推論へのパラダイムシフトが必要であると主張しています。

著者らは、GMoTが、微細な局所運動をコンパクトなトークンへと明示的に蒸留することで、現在のビデオMLLMに内在する「静止バイアス」をうまく解決していると述べています。幻覚をペナルティとし、解剖学的な注視に報酬を与える学習体制を強制することにより、このフレームワークは分類精度を向上させるだけでなく、解釈可能で視覚的に根拠のある説明を生成します。この研究は、微細な行動分析においては、モデルが静的な外観パターンに頼るのではなく、「何がどのように変化したか」に注意を向けるように強制されなければならないことを強調しています。

著者らは、本アプローチは顕著な改善を示しているものの、マイクロジェスチャー推論に特化して設計されており、クラス増分学習の課題を本質的に解決するものではないが、表現の適応に関して継続学習の手法から着想を得ていることも注記しています。すべてのコードは公開される予定です。