技術概要：PRISM - プログラムによる時空推論のためのベンチマーク

1. 問題定義

大規模言語モデル（LLM）の最近の進歩により、自動コンテンツ作成が動画分野へ拡大されたが、既存のアプローチはプログラムによる動画生成において重大な限界に直面している。現在の手法は一般的に以下の 2 つの経路をたどる：

• ピクセルレベル生成（拡散モデル）： これらは高い視覚的忠実度を達成するが、明示的な幾何学的制約の欠如により、空間的一貫性、正確な記号の描画、長期的な論理的整合性に苦慮している。
• プログラムによる生成： このアプローチは、Manim などのスクリプトを実行してオブジェクト、レイアウト、時間的ダイナミクスを定義し、優れた幾何学的精度と制御可能性を提供する。

しかし、LLM が実行可能であるだけでなく、空間的・時間的に正しい動画プログラムを合成できるかどうかを評価する上で、決定的なギャップが残されている。既存のベンチマークは不十分である。なぜなら：

1. 一貫したオブジェクト関係が求められる連続的な時系列ではなく、静的な出力（チャート、ウェブページ）に焦点を当てているため。
2. 小規模であり、多様な現実世界のシナリオを網羅できていないため。
3. 粗粒度の「VLM による判定」評価や単純な実行チェックに依存しており、特定のフレームでのみ現れるレイアウトの不一致や範囲外オブジェクトといった、微細な描画失敗を見逃しているため。

核心的な課題は**「実行 - 空間ギャップ」**である：成功裡に実行されるコードと、視覚的に整合性があり空間的に正しいアニメーションを生成するコードとの間の乖離。

2. 手法

2.1 PRISM ベンチマークの構築

著者らは、PRISM（Programmatic Reasoning In Spatial Modalities：空間モダリティにおけるプログラム推論）を導入した。これは、10,372 組の人間による較正済み指示 - コード対を含む大規模なバイリンガル（英語/中国語）ベンチマークである。

• 規模と範囲： 既存のプログラム動画ベンチマークの 20 倍規模であり、教育用アニメーションや科学デモンストレーションなど、現実世界の知識可視化に基づいた 437 の主題カテゴリにわたる。
• データ選定フレームワーク： 3 万を超える生の候補をフィルタリングするために、階層的な人間介入パイプラインが採用された：
  1. 決定論的ハードフィルタリング： 自動化スクリプトが Manim レンダリングパイプラインを解析し、幾何学的違反（座標閾値など）を検出して、レイアウト欠陥のあるサンプルを除去する。
  2. 境界較正： 3,000 件の専門家による注釈付き例からなるゴールドサブセットを用いて、免除ルールと許容閾値を精緻化し、偽陽性を最小限に抑えた。
  3. 人間によるスポットチェック： 最終的な意味レビューにより、アニメーションが教育コンテンツと一致し、教育的に適切であることを保証する。
• タスク定義： このタスクは、自然言語指示（教育用アウトライン）を Manim プログラム（$C$）とそのレンダリングされた動画（$V$）にマッピングする、制約付きコード生成問題 $f_\theta: I \to O$ として定式化される。

2.2 評価フレームワーク

PRISM は、4 つの相補的指標を持つファネル型評価フレームワークを提案する：

1. コードレベルの信頼性： 実行の堅牢性を測定する。基本のパス率（初回試行での成功）、微細なエラー分類（API の幻覚、誤用、テキスト描画エラーなど）、および実行の複雑さ（平均レンダリング時間）を含む。
2. 空間推論： 完全なアニメーションシーケンスにおけるレイアウト計画を評価する主要なエンドツーエンド指標である。以下の 3 つの失敗モードを検出する：
   • レイアウトの重なり： 視覚要素の意図しない遮蔽。
   • 範囲外（OOB）： 可視フレームを超えて延びる要素。
   • レイアウトの漏洩： 局所領域を超えて幾何学的に延びるもの（例：ボックスから飛び出すテキスト）。
   • メカニズム： 重要なスナップショットを捕捉し、オブジェクトの点集合とバウンディング範囲を抽出して、決定論的チェックを適用する自動化監査パイプラインを使用する。
3. プロンプト意識型動的視覚複雑性（PADVC）： 入力に関連する動的な豊かさを定量化する。ほぼ静的な出力（動的不足）と過度の装飾的動き（動的過多）を区別する。プロンプトの視覚密度に対する非テキストオブジェクトの幾何学的進化エネルギーに基づき、「中心化」されたスコア（$PADVC_c$）を計算する。
4. 時間的密度（TD）： フレームレベルの視覚変化の割合（時間的活動）を測定する。PADVC と同様に、中心化されたスコア（$TD_c$）を用いて、静止しすぎているか冗長な遷移に悩まされている動画を特定する。

3. 主要な結果

著者らは、7 つの主要な LLM（クローズドソース 4 種：GPT-5.4、Gemini 3.1 Pro、Kimi K2、Claude Sonnet 4.6；オープンソース 3 種：Qwen3.5、GLM-5、DeepSeek-V3.2）をこのベンチマークで評価した。

• 実行 - 空間ギャップ： 驚くべき発見は、実行成功率から空間パス率への平均的な低下が**約 41%**であることだ。例えば、GPT-5.4 は英語で 94.5% の実行率を達成したが、空間パス率は 30.8% に留まった。これは、実行可能なコードが空間的整合性を保証しないことを確認している。
• モデルの性能：
  • クローズドソースモデルは一般的にコードレベルの信頼性（実行成功）で先行したが、「視覚的に野心的」な出力が制約に違反することで、高い空間失敗率に苦しむことが多かった。
  • Gemini 3.1 Pro Previewは最も優れた整合性を示し、最も小さい実行 - 空間ギャップのいずれかを持ちながら、最高の空間スコアを達成した。
  • オープンソースモデルは性能がばらついていた。GLM-5 が最もバランスが取れていたが、他は API の誤用（Qwen3.5）や境界制御（DeepSeek-V3.2）に苦慮していた。
• 動的性と空間性のトレードオフ： 高い動的強度（高い PADVC または TD）は、低い空間的品質と相関する。過度の動きやテキストの拡大を生成するモデルは、しばしばレイアウト違反を誘発した。
• 思考モードの除去実験： 「思考」モードを有効にしても、空間的組織化は確実に向上しなかった。場合によっては（例：Claude Sonnet 4.6）、思考はより大胆なレイアウト変更をもたらし、最終的な空間パス率を向上させることなく、空間エラー（重なり/OOB）を増加させた。

4. 意義と主張

本論文は、PRISM が空間的に整合したコード生成を進展させるための原理的なベンチマークを提供すると主張しており、現在の評価手法の限界を超えている。

• 実行可能性の超越： この研究は、プログラムによる動画生成の評価が、単純なコード実行を超えて、厳密な空間的および時間的推論指標を含む必要があることを確立している。
• ボトルネックの特定： 結果は、基本的なコード生成能力ではなく、長期的な空間推論が現在の LLM における主要なボトルネックであることを浮き彫りにしている。
• リソースの提供： 大規模で高品質なデータセットと決定論的評価フレームワークを公開することで、PRISM は、空間的基盤を持つプログラムによる動画生成に関する将来の研究のための標準化されたテストベッドを提供する。

著者らは結論として、LLM は実行可能なコードを生成できるが、現在、拡張されたアニメーションシーケンス全体にわたって幾何学的整合性を維持する堅牢性を欠いており、PRISM はこのギャップを測定し、埋めるために設計されていると述べている。