技術要約：Divide, Deliberate, Decide（分割、熟議、決定）

問題提起

一人称視点（エゴセントリック）ビデオにおける微細な動作認識（fine-grained action recognition）は、視覚言語モデル（VLM）にとって大きな課題となっている。粗い活動分類とは異なり、微細なタスクでは、視覚的にほぼ同一であり、わずかな空間的または時間的な手がかり（例：「ネジを取る」と「ネジを置く」）によってのみ区別される動作を識別する必要がある。VLMは包括的なビデオ記述には優れているが、微細な時間的推論には苦戦することが多く、最も顕著な視覚的トークン（通常は支配的な物体）に固執し、識別的な手がかりを見落とす傾向がある。

モデルサイズの拡大は既知の解決策であるが、レイテンシ、プライバシー、コストの制約から、産業用やエッジへのデプロイメントにおいては非現実的な場合が多い。したがって、大規模なプロプライエタリモデルやファインチューニングに頼ることなく、ゼロショット性能を向上させる手法が求められている。

手法：Divide, Deliberate, Decide

著者らは、異種混合のVLM間の構造化されたコラボレーションを通じて動作認識の予測を精緻化するために設計された、完全ローカル・ゼロショット・マルチエージェント・フレームワークであるDivide, Deliberate, Decideを提案している。このパイプラインは、以下の3つの明確なステージで動作する。

1. Divide（オーケストレーション）

プライマリVLMがオーケストレーターとして機能する。入力ビデオに対し、以下の処理を行う：

• ビデオを管理可能なチャンクに分割し、さらにそれらを候補となるアクション区間へとセグメント化する。
• 視覚的入力と提供された語彙に基づき、各セグメントに対して初期のトップ$k$個の候補アクションラベルのリストを生成する。

2. Deliberate（スペシャリストによる合意形成）

異種混合のスペシャリスト・エージェント（異なるモデルファミリーのより小さなVLM）のセットが、各セグメントに対して構造化された熟議プロセスを行う：

• 初期投票： 各エージェントはセグメントとオーケストレーターの初期ランキングを受け取り、独自のトップ$k$個の事前候補リストを作成する。
• ピア・コンサルテーション（仲間同士の相談）： エージェントは事前知識を共有する。意見の相違が生じた場合、エージェントは特定の視覚的手がかりを調査するために、1つの事実に関する質問を行うことが許可される（例：「〜という条件下では、アクションAとBのどちらがより正確か？」）。
• 修正： エージェントは質問と回答の全やり取りを受け取り、集団的な証拠に基づいて自身のランキング（事後分布）を更新する。このステップは、安易な合意を強制することなく、不一致を解消するように設計されている。

3. Decide（集計と最終決定）

• ボルダ・カウント： すべてのスペシャリストからの最終ランキングは、エージェント間で一貫して高くランク付けされた候補を評価するボルダ・カウントを用いて集計される。
• オーケストレーターによる再ランキング： オーケストレーターは、初期の予測、スペシャリスト個別のランキング、およびボルダ・カウントによる集計ランキングを受け取る。その後、最終的なトップ$k$のランキングを生成するように促される。極めて重要な点として、オーケストレーターは自身またはエージェントが提案したラベルのみを選択するように制約されており、新しいラベルを導入することはできない。これにより、最終決定が熟議の証拠によって駆動されることが保証される。

主な貢献

• 異種混合マルチエージェント・フレームワーク： 本論文は、異なるモデルファミリー（例：Qwen, Ministral, Gemma）のエージェントが協力するゼロショット・フレームワークを導入している。著者らは、異種性が重要であると主張している。なぜなら、異なるデータ混合で学習されたモデルはそれぞれ異なる失敗の仕方をするため、その意見の相違が情報を持つからである。
• 構造化された熟議プロトコル： 単純なアンサンブル投票とは異なり、本フレームワークには、エージェントが最終的な投票を行う前に、互いの視覚的証拠を明示的に問い合う「ピア・コンサルテーション」ラウンドが含まれている。
• 完全ローカルかつゼロショット： パイプライン全体は、ファインチューニングなしで単一のワークステーション上でローカルに実行され、産業現場におけるプライバシー保護とコスト効率のニーズに対応している。
• 熟議に関する実証分析： 本研究は、熟議のステップがオーケストレーターの最終予測にどのように影響するかについての詳細な内訳を提供しており、追加の計算量の恩恵と、デコリレーテッド（無相関化された）なモデルの事前分布による恩恵を区別している。

実験結果

フレーム構文は、微細な組み立て動作を含むエゴセントリック・ベンチマークであるMECCANOデータセットを用いて評価された。構成には、ローカルでOllamaを介して動作するQwen3.5-27Bオーケストレーターと、3つのスペシャリスト・エージェント（qwen3.5:9b, ministral-3:8b, gemma4:e4b）を使用した。

• 性能向上： 提案手法は、ベースラインのオーケストレーターと比較して、平均**Top-1精度16.8%およびTop-5精度45.0%**を達成した（ベースラインはそれぞれ13.5%および28.9%）。これは、すべてのテストビデオにおいて一貫した改善を示している。
• 熟議の影響： 分析によれば、熟議後、オーケストレーターは初期のTop-1予測を**70.9%**のセグメントで上書きした。これらの上書きは純増であり、システムは21.6%のケースでエラーを修正したのに対し、新たなエラーを導入したのはわずか10.3%であった。
• 異種性 vs 同種性： 異種混合のエージェントを同じモデルファミリーの3つのコピーに置き換えたアブレーション研究では、大幅に低い性能（例：Gemmaのみの場合はTop-1が15.5%に対し、異種混合では16.8%）を示した。これは、性能向上が単なる計算量や投票数の増加ではなく、**モデルの事前分布のデコリレーション（無相関化）**に由来することを裏付けている。
• セグメンテーションのボトルネック： ゼロショット・セグメンテーションの品質（平均IoU 32.9%）が主要なボトルネックとして特定された。著者らは、初期のセグメンテーションに含まれないアクションは、その後の熟議の質に関わらず回収できないことを指摘している。

意義と主張

本論文は、構造化された異種混合の小型VLM間の熟議が、微細なビデオ理解のために単一のモデルをスケールアップすることに代わる実行可能な選択肢であることを主張している。結果は、性能向上が計算量の多寡ではなく、エージェントの異種性と証拠の構造化された交換によって駆動されていることを示している。

著者らは、本研究を、産業支援や人間とロボットの協調のための、オンプレミスかつファインチューニング不要のインテリジェント・システムへの一歩として位置づけている。しかし、以下の制限についても謙虚に認めている：

1. ゼロショット・セグメンテーションが依然として支配的なボトルネックであること。
2. フレームワークは現在、セグメントごとに複数のVLM呼び出しを必要とするため、リアルタイム・デプロイメントには適していないこと。
3. 評価が現在、単一のベンチマーク（MECCANO）に限定されていること。

論文は、本手法はベースラインを改善するものの、今後の研究は、セグメンテーション品質の向上（アクション予測による可能性）および、リアルタイム・アプリケーションのためのコストと精度のトレードオフの最適化に焦点を当てるべきであると結論づけている。