TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

特定の質問に答えるために長い動画を視聴することは、人間にとっては単純に感じられるタスクですが、人工知能にとっては驚くほど難しい課題であり続けています。人間が映画を見る時、単に画像のストリームを見ているのではありません。彼らは出来事のメンタルマップを構築しており、第1幕でキャラクターが鍵を拾い上げ、その鍵が最終シーンでドアを開けるために使われたことを記憶しています。しかし、現在のコンピュータシステムは、この種の長期的な理解に苦戦することがよくあります。システムは動画の数枚のスナップショットを見て答えを推測したり、プロットのテキスト要約を読もうとして視覚的な詳細を完全に見逃したりすることがあります。核心的な問題は、長い動画に関する多くの質問は、時間の異なる複数の瞬間に散らばった証拠に依存しているということです。もしシステムがそれら散在する瞬間のうち一つでも見逃せば、真実を知ることはできませんが、それでも推測によって、自信に満満ちた正解らしく見える答えを生成してしまう可能性があります。システムが「知っている」と主張していることと、実際に「見た」ことの間のこのギャップこそが、研究者たちが解決しようとしている中心的な課題です。

ある研究チームは、人工知能に回答する前に動画の正しい部分を見させるように設計された、「TRACE」と呼ばれる新しいアプローチを導入しました。テキストの要約やランダムな数フレームに基づく推測に頼るのではなく、TRACEは、答えを一つずつ組み立てていく注意深い観察者のように機能します。まず、質問に関連していそうな小さく具体的なクリップ、すなわち「アンカー」を見つけるために動画をスキャンすることから始まります。次に、これらのクリップをグループ化し、そこまでに見たものだけに基づいて質問に答えるようシステムに求めます。システムはそこで止まりません。新しいクリップをコレクションに追加し続け、再び質問を投げかけます。このプロセスは、答えが変わらなくなるまで、つまりシステムが確信を持てるだけの視覚的な証拠を集めたことを示すまで続きます。決定的なのは、システムが最終的な一連のクリップを最後にもう一度再生し、答えが維持されているかを確認することです。この手法により、最終的な答えが部分的な視点に基づいた推測ではなく、完全な視覚的事実に基づいた結論であることが保証されます。

この手法が実際に機能するかどうかをテストするために、研究者たちは「VES-Bench」と呼ばれる新しいテスト環境を作成しました。これは、出来事の順序を特定したり、特定のアクションが何回行われたかを数えたりするタスクを網羅した、348本の公開動画から抽出された600の質問のコレクションです。VES-Benchは、単に最終的な答えが正しいか間違っているかのみをチェックする従来のテストとは異なり、プロセスそのものを監査します。それは、システムが決定を下す前にどのフレームを実際に見たのかを正確に追跡します。このテストは、システムが質問に正しく答えるために必要なすべての瞬間を実際に見たかどうかを検証します。もしシステムが正しい答えを出したとしても、重要なシーンを見逃していた場合、その答えは証拠によって真に裏付けられていないため、監査では失敗と判定されます。この厳格な評価により、既存の多くの手法が、必要な部分をすべて見ていないにもかかわらず、運良く正解を出していることが明らかになりました。

研究者がこの厳格なテストにTRACEを適用したところ、明確な優位性が示されました。他の高度なシステムと同じ基盤技術を使用しながらも、TRACEは、すべての要求されたシーンから少なくとも2つの異なるフレームを見ていることを保証した上で、50.7パーセントの質問に正解しました。対照的に、同様の数のフレームを見た他の手法は、必要なシーンをすべてカバーできなかったり、同じ確信度を得るために2倍以上のフレームを見なければならなかったりしました。TRACEは、質問あたり平均して100フレーム未満を使用しながら、この高い精度を達成しました。これは、動画を一律の割合で単純にスキャンするシステムが必要とするコストのわずか一部です。研究では、成功の鍵は単により多くのデータを見ることではなく、いつ見るのを止めるべきかを知ることにあることが分かりました。答えが安定するまで待ち、その後で生の視覚的証拠を再確認することで、TRACEは不完全な情報に基づいて推測するという罠を回避しました。

研究者たちはまた、単にシステムが見るフレーム数を増やすだけでは、必ずしもより良い答えにはつながらないことも発見しました。より多くのフレームを見るように設定された標準的なシステムをテストしたところ、精度はある一点までは向上しましたが、それ以降はフレームを追加しても効果はありませんでした。このことは、問題がデータの不足ではなく、どのデータが重要かを知るための戦略の欠如であることを示唆しています。TRACEは、「エビデッジの軌跡（trajectory）」を用いることでこれを解決しました。つまり、システムは十分な情報を集めて確信を持てるようになったことを認識することを学ぶのです。この研究は、長い動画においては、大量のビデオを一括で処理することよりも、特定の視覚的瞬間を特定し統合する能力の方が重要であることを裏付けています。答えを生のビデオクリップに根ざさせ、証拠が完全になるまで停止することによって、TRACEは、時間が経過する中で展開される世界を機械が理解するための、より信頼性の高い方法を提示しています。