技術要約：低周波数の罠：ビデオ言語モデルにおける単純なイベント・ブックキーピングの失敗

問題提起

実世界のビデオベンチマークは、イベント数、発生率、持続時間、視覚的複雑性、および意味論といった複数の変数が絡み合っており、特定の失敗モードを分離して特定することを困難にしている。既存のプログラムによるベンチマークはより高い制御性を提供しているが、通常は最終的な回答のみをスコア化するため、モデルがイベントを見落としたのか、タイミングを混同したのか、シーケンスの追跡を失ったのか、あるいは集計時のみ誤ったのかを監査することができない。その結果、最終回答の正確性指標は、一時的なアクセス能力の弱さや脆弱な推論を隠蔽し、時間的負荷が増加するにつれてモデルが初歩的なイベント・ブックキーピング（記録・管理）に失敗しているという事実を覆い隠してしまう可能性がある。

メソドロジー

著者らは、視覚的複雑性から時間的推論能力を分離するために設計された制御された評価フレームワークである、**トレースに基づいたパラメトリック・プロファイリング（trace-grounded parametric profiling）**を導入している。

制御されたタスク空間

本研究では、空間的な軌跡とタイミングをフレーム単位で正確に制御するために、Manimアニメーションエンジンを用いたプログラム生成ビデオを利用している。以下の3つの異なるドメインが評価される：

1. バウンドボール（Bounce Ball）: 跳ねるボールの壁への接触回数を数える。
2. ブリンキング（Blinking）: 視覚的オブジェクトのオン・パルス（一過性のイベント）を数える。
3. ステートマシン（State Machine）: カテゴリカルな状態遷移（持続的なイベント）を数える。

実験パラメータ

レンダリング、意味論、およびタスクのルールを固定したまま、2つの直交するパラメータを系統的に変化させる：

• イベント数 ($N$): 0から12まで。
• イベント周波数 ($F$): 0.5 Hzから4.0 Hzまで。
• 持続時間: すべてのクリップは24秒に固定。アクティブなイベントシーケンスは約 $N/F$ 秒間であり、残りの部分は静止フレームで構成される。

グラウンドトゥルース（正解）と指標

すべてのビデオには、イベントのタイムスタンプ、状態変化、および累積カウントを含む実行可能なグラウンドトゥルース・トレースがペアリングされている。これにより、単純な最終回答の正確性を超えた粒度の高い評価が可能となる。主な指標は以下の通り：

• 最終回答完全一致（Acc）: 報告されたカウントが $N$ と一致するかどうか。
• トレース精度（Precision, $P$）および再現率（Recall, $R$）: モデルが報告したタイムスタンプと、レート相対ウィンドウ $\delta(F) = 1/(2F)$ 内でのグラウンドトゥルースとの整合性。
• 視覚的観察比（Visual Observation Ratio, VOR）: 報告されたイベント数と真のイベント数の比 ($M/N$)。過剰報告または過少報告を示す。
• 偶然の正解率（Accidental Correctness Rate, ACR）: 低忠実度のトレースにもかかわらず、最終的なカウントが正しいケース。
• 推論失敗率（Reasoning Failure Rate, RFR）: トレースは忠実（高F1）であるが、最終的なカウントが誤っているケース。

評価対象モデル

主な評価は、Gemini 3.6 Flash（約1 FPSの入力を受信）および Qwen3-VL-235B（2 FPSの入力を受信）に焦点を当てている。補足的なクロスシステムチェックには、様々なスケールのQwen3-VLおよびInternVL3.5が含まれる。

主な貢献

1. 制御された評価フレームワーク: 単一の集計スコアを、イベント数 ($N$) と周波数 ($F$) にマッピングされた能力表面（capability surfaces）に置き換える。
2. トレースに基づいたベンチマーク: モデルが報告したイベントを実行可能なグラウンドトゥルースと比較することで、サポートされた正しいカウントと、忠実なイベント復元を区別する。
3. 標的を絞った介入: 高密度サンプリング、イベント中心のキーフレーム（オラクル証拠）、および様々なプロンプティング戦略（Chain-of-Thoughtなど）を通じて、エラー源を診断する。
4. 自然ビデオへの転移: 制御された設定で観察された失敗パターンが、実世界の反復イベントビデオ（TransRACデータセット）においても持続するかを検証する。

結果

ステージ化された時間的失敗

結果は、イベントの表現形式（持続的 vs 一過性）に依存する「ステージ化された」失敗パターンを明らかにしている：

• 持続的イベント（ステートマシン）: Gemini 3.6 Flashは、0.5 Hzおよび1.0 Hzにおいて $N=12$ まで確実にカウントできる。周波数が増加すると性能は低下し、1.5 Hzでは $N=2$ まで落ち込む。
• 一過性イベント（ブリンキング）: 信頼できる正のカウント領域は存在しない。モデルは、低いカウントや周波数であっても、一過性のイベントに一貫してアクセスできていない。
• 高負荷レジーム: 高カウント・高周波数の条件下では、最終カウントが正しいのはわずか 0.2% であり、モデルは真のイベントの 18.1% しか復元できていない。

視覚的アクセス vs 推論の役割

• サンプリング密度: サンプリングレートを1 FPSから4 FPSに上げると、Bounce Ballの精度は19.6%から29.3%に向上した。しかし、報告されたシーケンスがグラウンドトゥルースと一致したのはわずか 3.7% であった。これは、追加のフレームが（偶然の正解を通じて）最終スコアを膨らませることはあっても、忠実なイベント復元を生み出すわけではないことを示している。
• オラクル・キーフレーム: イベント中心のキーフレームを提供して（探索の負担を取り除く）も、精度は $N \le 5$ で68.6%に上昇したが、$N \ge 6$ では崩壊した。これは、視覚的アクセスがボトルネックではあるものの、イベントが完全に局在化されていても、保持および蓄積が依然として制限要因であることを示唆している。
• プロンプティング戦略: 様々なプロンプティング技術（Direct Answer, Structured Trace, Multi-Turn, CoT, Role Prompting）は、同様に限定的な効果しか示さず、信頼できる動作領域を拡大させることはできなかった。

トレースレベルの診断

• 低負荷時: モデルはしばしば過剰報告（VOR > 1）および偶然の正解を示しており、タイムスタンプが欠落したり捏造されたりしているにもかかわらず、最終的なカウントが正しい状態にある。
• 高負荷時: 主要な失敗モードは過少報告（VOR < 1）および脱落へとシフトする。モデルは発生したイベントよりも少ないイベントを報告し、報告された数少ないイベントは時間的には正確であるが不完全であることが多い。
• 集計エラー: 非ゼロの推論失敗率（RFR）は、モデルがイベントシーケンスを正常に復元できた（高F1）としても、それらを正しく集計して最終的なカウントを得ることに失敗する場合があることを示している。

自然ビデオへの転移

TransRACデータセットを用いた評価により、カメラの動きやクラッター（雑然とした背景）がある自然ビデオにおいても、低イベントカウント（$N \le 4$）に成功が集中するという性質が維持されることが確認され、この失敗パターンがドメインを横断して堅牢であることを裏付けている。

意義と主張

本論文は、最終回答の正確性だけでは、時間的推論を正しく特徴付けることはできないと主張している。モデルは、捏造されたイベントを推測したり集計したりすることで正しい数字に到達している可能性があり、それが基礎的な時間的シーケンスの追跡能力の欠如を隠蔽してしまう。

著者らは以下のことを主張している：

1. イベントの表現が重要である: イベントが持続的なものか一過性のものかによって、証拠への初期アクセスが決定される。
2. 視覚的アクセスは必要条件であるが十分条件ではない: フレーム密度を高めたり、オラクル・キーフレームを提供したりすることは性能を向上させるが、シーケンスの長さと保持によって課される境界を取り除くことはできない。
3. ステージ化された失敗: 失敗のプロセスには明確な段階がある：第一にイベントへのアクセス、第二にシーケンスの保持、そして第三にカウントの集計である。
4. 評価の転換: トレースに基づいたプロファイリングは、ビデオ評価を、集計的な指標から、「どこで」時間的推論が失敗するのか（アクセスか、保持か、集計か）、および報告された証拠が実際に最終回答を支持しているのかという詳細な診断へとシフトさせる。

本研究は、現在のVLMは、高度なプロンプティングや視覚的サンプリングの増加を用いても、時間的負荷が増加するにつれて、初歩的なイベント・ブックキーピングに苦戦することを結論づけている。