テクニカルサマリー：複雑な科学的図表を説明する、論文に基づいたビデオ生成

問題提起

科学的な図表、特にアーキテクチャのダイアグラムやパイプラインは、複雑な手法を単一の視覚的キャンバスへと圧縮している。しかし、これらの図表を理解するには、静的な解釈以上のものが必要である。すなわち、図の特定領域と視覚的なハイライトを一致させた、論文に基づいたステップ・バイ・ステップのナレーションが求められる。現在のビデオ生成システムやベンチマークは、この能力を提供できていない。既存のアプローチは、図をキャプション作成のための静止画像として扱ったり、孤立した質問応答を行ったりするか、あるいは抽象的な概念（コードや定理など）からアニメーション化された説明を生成したりするが、特定のソース図へのグラウンディング（接地）を行わない。さらに、プレゼンテーション生成システムは、図を不透明な挿入物として扱い、論理的な順序や構成要素の科学的な重要性を考慮することなく、領域を横切るカーソルを動かすだけである。拡散ベースのビデオ生成器は、支持されていない詳細を幻覚（ハルシネーション）として生成することが多く、元の科学的ダイアグラムの忠実性を維持することに失敗する。

核心となる課題は、以下の条件を満たすビデオを生成することである：

1. 周囲の科学論文に基づき、図をステップ・バイ・ステップでナレーションすること。
2. 各ナレーションのステップを、元の図の検証された特定の領域にグラウンド（接地）させること。
3. マルチメディア学習の原則（時間的連続性、シグナリング、セグメンテーション）に従い、音声による説明と視覚的なハイライトの間の時間的な整合性を維持すること。

手法：MINARD

これらの制限に対処するため、著者らは MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition) を導入する。MINARDは、タスクを「何を言うか」、「何に指し示すことが妥当か」、「どこを指し示すか」という決定を分離した、3つの専門的かつ協調的なチームへと分解するパイプラインである。

1. ナレーション・チーム ($\mathcal{N}$)

このチームは、ソース論文全体と対象となる図を読み込み、順序立てられたステップ・バイ・ステップのナレーションを生成する。これはマルチエージェント・ワークフローを採用している：

• 検索 ($A_{ret}$): 図のキャプション、本文中の参照、図の各段階を説明する関連段落、および貢献に関する文章を含む、図固有のエビデンス・バンドル ($K_F$) を組み立てる。これにより、LLMの事前知識ではなく、論文のテキストにナレーションを接地させる。
• プランナーとドラフター ($A_{plan}, A_{draft}$): $K_F$ と図の構造に基づき、教育的な概念のシーケンス（例：入力 $\to$ モジュール $\to$ 出力 $\to$ テイクアウェイ）を復元する。ドラフターは、このプランを自然言語のナレーション・セグメントに変換する。
• クリティックとリバイザー ($A_{crit}, A_{rev}$): 4つの特化したクリティックが、$K_F$ と照らし合わせて、忠実性（存在しないモジュールの捏造がないか）、網羅性（省略された分岐がないか）、一貫性（論理的な走査順序）、および顕著性（主要な貢献を強調しているか）をチェックする。リバイザー・エージェントはフィードバックを統合し、最終的なナレーションを作成する。

2. パーセプション（知覚）チーム ($\Phi$)

このチームは、図のどの部分がハイライトの有効なターゲットであるかを決定し、システムが場所を幻覚することを防ぐ。これはナレーションとは独立して動作する：

• テキストとビジョン ($A_{ocr}, A_{vis}$): OCRを使用してテキスト領域 ($T$) を抽出し、オープンボキャブラリーの検出・セグメンテーション（例：SAM3）を使用して、アイコン、ブロック、矢印などの視覚的領域 ($V$) を抽出する。
• クラスタリング ($A_{clus}$): 視覚的に近い検出結果（例：ラベルを対応するダイアグラム・ブロックに結合する）を、単一のユニットとしてハイライトするためのクラスター ($C$) にグループ化する。
• ビルダー ($A_{reg}$): 安定したIDとバウンディングボックスを割り当て、有効なターゲットのホワイトリスト $U = T \cup V \cup C$ を作成する。このインベントリは、図の画像のみから派生する。

3. グラウンディング・チーム ($\mathcal{G}$)

このチームは、段階的かつ意味的に制約された選択プロセスを通じて、各ナレーション・ステップ $s_i$ をホワイトリスト $U$ 内の領域に整合させる：

• ステージ1 (ナレーションからテキストへ): ナレーションのステップを、まずOCRから派生したテキスト領域にグラウンドさせる（例：「STANZA」というテキストを、STANZAモジュールのラベルにリンクさせる）。
• ステージ2 (候補となる視覚的グラウンディング): 空間的な近接性とクラスターへの所属関係を利用して、グラウンドされたテキストに基づき、視覚的領域への候補となるナレーション・ステップを継承させる。
• ステージ3 (制約付き視覚的選択): ビジョン言語モデルが、制限された候補セットの中から、ハイライトされる領域に対する正しいナレーション・ステップを選択し、広範囲すぎるハイライトを防ぐ。
• 検証とレンダリング: 決定論的なバリデータが、$U$ の外にある無効なバインディングを除去し、不完全な選択を修復する。レンダラーは、ハイライトを元の図にオーバーレイさせ、TTS（テキスト読み上げ）オーディオと同期させてビデオを合成する。

ベンチマーク：FigTalk

著者らは、学会発表から派生した、ナレーション付きのアーキテクチャ図のウォークスルーに関する初のベンチマークである FigTalk を導入する。

• 構成: 114組の図とビデオのペア。FigTalk-Gold (49ビデオ) は、完全に検証された人間のナレーションと正確なグラウンディング・トレースを含む。FigTalk-Extended (65ビデオ) は、検証されたアーキテクチャの説明を含むが、グラウンディング・トレースは弱い、または不完全である。
• 層別化: 図は、画像サイズではなく、構造の複雑さ（コンポーネント数、DAGの深さ、サブ図の数）に基づいて、Easy, Medium, Hard のティアに分類される。
• 指標:
  • ナレーション: オーダー・マッチング、内部/外部の忠実性、コンセプト・カバレッジ、およびテイクアウェイ・リコールによって評価される。
  • グラウンディング: Soft-DTW（VLM判定器によるフレームレベルの類似性、すべてのシステムに適用可能）および IoUベースのDTW（明示的な領域を出力するシステム向けの厳密な領域レベルの適合率/再現率）を使用する。Extendedセットについては、コンポーネントの忠実性、コンセプトの網羅性、過剰ハイライト率を評価するルーブリックを用いる。

主な結果

FigTalkにおける実験は、MINARDが既存のベースライン、特に複雑な図において、大幅に優れた性能を示すことを証明している。

• ナレーションの質: 紙に基づいたナレーション（MINARD）は、図のみのナレーションと比較して、コンセプト・カバレッジとテイクアウェイ・リコールを大幅に向上させる。図だけでは見えない科学的な意図（例：メソッド名、設計の根拠）を復元する。
• グラウンディングの性能:
  • FigTalk-Gold において、MINARDはすべてのバックボーン（GPT-5, Claude, Gemini）の中で、Soft-DTWとIoUベースのDTWの両方で最高のスコアを達成している。
  • 複雑性のスケーリング: パフォーマンスの差は、Hard な図において顕著に拡大する。制約のないVLMグラウンディングや拡散ベースの生成器（例：Veo, CogVideoX）は、複雑な構造において崩壊する（しばしば幻覚を起こしたり、因果関係の順序を維持できなかったりする）が、MINARDは高い忠実度を維持する。
  • 人間による嗜好性: ヒューマンスタディにおいて、MINARDはナレーションの比較で74%、グラウンディングの比較で63%、ベースラインよりも好まれた。特に忠実性と過剰なハイライトの欠如において顕著であった。
• アブレーション研究:
  • 検索 (Retrieval) が科学的な忠実性の主要な推進力であり、これを除去するとコンセプト・カバレッジとテイクアウェイ・リコールが急落する。
  • 構造化された分解: ステージ化されたグラウンディング・プロセス（パーセプション $\to$ グラウンディング）が極めて重要である。制約を取り除くと、過剰なハイライトや時間的一致の喪失につながる。

意義と主張

本論文は、MINARDが、図を不透明な画像として扱うことから、説明可能なコンポーネントの構造化されたシーケンスとして扱うことへの転換を象徴していると主張している。

• モジュール性: ナレーション、パーセプション、グラウンディングを分離することで、システムは失敗を解釈可能にし、標的を絞った改善を可能にする。
• 忠実度: 再レンダリングを行うシステム（Manimベースや拡散モデルなど）が視覚情報を再生成して元の図から逸脱しやすいのに対し、MINARDは元の図のコンポーネントレベルの対応関係を正確に保持する。これは科学的コミュニケーションにおいて極めて重要である。
• 教育的価値: システムはマルチメディア学習理論に合致しており、注意を重要なコンポーネントへと導く、時間的に整合し、セグメント化された説明を提供することで、複雑な科学的パイプラインの理解を向上させる。

著者らは限界についても述べている。現在の範囲はアーキテクチャ型の図（パイプライン、システム図）に限定されており、チャートや統計グラフには適さないこと、また、洗練ループがあるため、シングルパスのベースラインよりも計算コストが高いことである。しかし、結果は、複雑な科学的図表に対しては、構造化され、論文に基づいた分解が、忠実で人間らしい説明を生成するために不可欠であることを示唆している。