あなたは、ロボットに映画を観せて質問に答えさせる方法を教えようとしていると考えてください。このロボットは「マルチモーダル大規模言語モデル（略してMLLM）」と呼ばれるもので、画像と言葉を理解する並外れた才能を持っています。しかし、一つ問題があります。映画は長いのです。そして、ロボットの「短期記憶」には限界があります。もし、2時間の映画をフレームごとにすべてロボットに流し込んだら、ロボットは圧倒されてしまい、重要な部分を忘れてしまい、静止した壁をゆっくりとパンするような退屈で繰り返しの多いシーンの処理に膨大なエネルギーを浪費してしまいます。これを解決するために、科学者たちは、ロボットがより優れたエディター（編集者）になれるよう、最も重要な瞬間だけを選び出す方法を教えようとしてきました。しかし、従来のエディティング方法は、硬直した「あらかじめ書かれた台本」のようなものでした。それは、外部ツールを使って何が面白いかを推測することに頼っており、ロボットが謎を解くために実際に必要とする微細な手がかりを見逃してしまうことがよくありました。

ここで、EviSelectと呼ばれる新しいアプローチが登場します。EviSelectを、硬直したエディターではなく、ロボット自身の心を読み取ることを学ぶ「好奇心旺盛な探偵」だと考えてみてください。外部の専門家に何を見るべきか尋ねる代わりに、EviSelectはロボット自身の内部的な「アテンション・マップ（注意マップ）」、つまり、ロボットの脳が自然にどの部分に焦点を合わせているかを示すヒートマップを覗き見ます。「スパース・プリフィリング（疎な事前充填）」という巧妙なトリック（これは、映画全体の雰囲気を掴むために、低解像度のスナップショットを素早く撮るようなものです）を用いることで、EviSelectはどこでアクションが起きているのか、動きがどれくらい速いのか、そしてどれほどの詳細度が必要なのかを正確に把握します。そして、軽量な「セレクター（選択器）」に、ビデオのあらゆる瞬間に対して3つのスマートな決定を下すよう教えます。それは、「このシーンを保持すべきか？」「ここで何フレーム表示すべきか？」「画像の鮮明度はどの程度にすべきか？」というものです。

その結果は、まるで魔法のような効率性です。3つの異なる長尺ビデオ・チャレンジにおけるテストにおいて、EviSelectは既存の手法と同等、あるいはそれ以上の精度で質問に答えることができましたが、それと同時に、約50%少ないビジュアル・トークン（ビデオのデジタル構成要素）を使用しました。この大幅なデータ削減は、単にメモリを節約しただけでなく、プロセス全体を3.9倍高速化させました。この論文は、外部の推測者に頼ったり硬直したルールに従ったりするのではなく、ロボット自身の内部的な証拠によって選択を導くことで、非常にスマートかつ驚くほど効率的なビデオ理解システムを構築できることを示唆しています。

問題点： 「情報過多」のボトルネック

長いビデオは、現在のAIにとって悪夢です。もしロボットに30分のビデオを見せて質問に答えさせようとした場合、ロボットはジレンマに直面します。すべてを覚えることはできないため、ロボットは「キーフレーム（最も重要な瞬間）」を選び出そうとします。しかし、フレームを選ぶ従来の方法には欠陥がありました。それらは、音楽がどれくらい大きいか、あるいは色がどれくらい明るいかに基づいてシーンをカットすることしか知らない映画編集者のようであり、実際のストーリーを無視していました。これらの手法は、スコアリングを行うための別のAIのような外部ツールを使用して、何を残すかを決定していました。問題は、その外部ツールはメインのロボットが何を考えているかを知らないということです。外部ツールは派手な爆発を強調するかもしれませんが、ロボットが謎を解くために実際には静かな会話を見る必要があった、ということも起こり得ます。

さらに、これらの古い手法は「硬直」していました。彼らはすべてのビデオを同じように扱い、固定された数のフレームを固定されたサイズで選びます。これは、文が単純であっても複雑であっても、単語間のスペースを含めて本のすべての文字を一つずつ読もうとするようなもので、エネルギーの無駄遣いです。退屈な部分にエネルギーを浪els使い、刺激的な部分のニュアンスを見逃してしまうのです。

解決策： ロボットの心を読み取る

著者であるBo Zhang氏とそのチームは、EviSelectと呼ばれる新しいフレームワークを提案しました。EviSelectは、ロボットが何を必要としているかを推測するのではなく、ロボットに直接問いかけます。

仕組みは以下の通り、ステップ・バイ・ステップで説明します：

1. 「スパース・プリフィル（疎な事前充填）」のトリック： ロボットがフルビデオを見る前に、EviSelectはその映画の極めて圧縮されたバージョンを与えます。これは、ロボットに映画全体の素早い、ぼやけたサムネイルを見せるようなものです。これは安価で高速です。
2. 「アテンション（注意）」の手がかり： ビデオはぼやけて短くても、ロボットの脳は依然として特定の領域で光ります。EviSelectはこれらの「アテンション・マップ」をキャプチャします。そして、これらを3つのタイプの手がかりに分解します：
   • 関連性（Relevance）： この瞬間は質問と一致しているか？
   • 時間（Time）： この瞬間は前後との繋がりがどうなっているか？
   • 空間（Space）： ここには多くの詳細が必要か、それとも単純な背景か？
3. スマート・セレクター： 軽量なAI（「セレクター」）がこれらの手がかりを見て、ビデオの各タイムスタンプに対して3つの動的な決定を下します：
   • 保持か破棄か： この1秒間をそもそも見るべきか？
   • サンプリング・レート： もし見るなら、毎秒1フレーム、4フレーム、それとも8フレームが必要か？（激しいアクションには多くのフレームが必要であり、ゆっくりしたシーンにはより少ないフレームが必要です）。
   • 解像度： 4Kの画像が必要か、それとも低解像度のスケッチで十分か？（鮮明な顔には高解像度が必要ですが、暗い廊下などは低解像度でも構いません）。

トレーニング：「グループ比較」による学習

どのようにしてロボットに、これら一瞬の編集決定を下すよう教えるのでしょうか？著者らはGRPO（Group Relative Policy Optimization）という手法を用いました。これは、ロボットが一度に8通りの異なる方法でビデオを編集しようとするゲームショーを想像してください。その後、システムはどのバージョンが正解に辿り着いたかをチェックします。もしあるバージョンが正解に辿り着き、かつ、より少ないピクセルを使用した場合は、大きな報酬を与えられます。もし正解に辿り着いたとしても、ピクセルを使いすぎた場合は、小さな報酬になります。もし不正解だった場合は、たとえ効率的であったとしても、報酬は与えられません。

この「グループ比較」により、ロボットは完璧なバランスを見つけ出すようになります。つまり、最小限のビジュアル・データを使用して、正解に辿り着くというバランスです。

結果： より速く、よりスマートに、よりスマートに

論文では、MLVU、LongVideoBench、Video-MMEという3つの主要なベンチマークでEviSelectをテストしました。これらは、映画、監視カメラの映像、複雑な物語などを扱う、長尺ビデオ理解の「オリンピック」のようなものです。

結果は驚くべきものでした：

• 精度： EviSelectは、TSPOやQ-Frameといった既存の手法を上回る、最先端のパフォーマンスを達成しました。例えば、Video-MMEベンチマークにおいて、従来の最高精度と比較して**1.9%**精度を向上させました。
• 効率性： 平均してわずか1,701個のビジュアル・トークンしか使用しませんでした。これに対し、従来の最高の手法は約3,360個を使用していました。これは49%のデータ削減です。
• 速度： データ量を処理する量が減ったため、エンドツーエンドの時間は、ほぼ10秒からわずか2.55秒へと減少しました。これは3.9倍の高速化です。

これが意味すること（および意味しないこと）

この論文は、長尺ビデオを理解するための鍵は、単に計算能力を問題に投入することではなく、何を見るかについてより賢くなることであると示唆しています。外部の推測者に頼るのではなく、ロボット自身の内部的な「証拠」を使用することで、EviSelectはビデオ独自の律動に適応します。

しかし、著者らはその限界についても注意深く述べています。EviSelectは特定のロボットの内部的なアテンションから学習するため、再学習なしに全く異なるタイプのロボットに置き換えた場合、完璧には機能しない可能性があります。また、この手法はロボットの内部的な「脳」（アテンション・マップ）へのアクセスを必要とするため、そのような情報が隠されているクローズドソースの「ブラックボックス」モデルで使用することはできません。

要約すると、E是否は、AIに「何が重要かについての自身の直感を信じること」を教えれば、半分の手間で、4倍の速さで映画を観て、手がかりを見つけ、謎を解くことができるということを証明しています。