技术摘要：基于论文驱动的复杂科学图表视频生成

问题陈述

科学图表（尤其是架构图和流程图）将复杂的逻辑方法论压缩在单一的视觉画布中。然而，理解这些图表不仅需要静态的解读，更需要一种基于论文、循序渐进的叙述，使视觉高亮与图表的特定区域保持对齐。目前的视频生成系统和基准测试未能提供这种能力。现有的方法要么将图表视为用于描述的静态图像，要么是孤立的问答任务，或者是在没有将其锚定到特定来源图表的情况下，根据抽象概念（如代码或定理）生成动画解释。此外，演示生成系统通常将图表视为不透明的插入物，仅在区域间移动光标，却不对组件的逻辑顺序或科学意义进行推理。基于扩散模型的视频生成器往往会产生不支持细节的幻觉，无法保持原始科学图表的保真度。

核心挑战在于生成一个能够：

1. 基于周围的科学论文，对图表进行逐步叙述。
2. 将每个叙述步骤锚定到原始图表中经过验证的具体区域。
3. 在语音解释与视觉高亮之间保持时间对齐，遵循多媒体学习原则（时间连续性、信号化和分段化）。

方法论：MINARD

为了解决这些局限性，作者引入了 MINARD（通过区域分解实现多模态叙述架构解读）。MINARD 是一个将任务分解为三个专门且协作的团队的流水线，分别处理“说什么”、“哪些部分是有效的指向目标”以及“指向哪里”的决策。

1. 叙述团队 ($\mathcal{N}$)

该团队阅读完整的源论文和目标图表，以生成有序的、逐步的叙述。它采用多智能体工作流：

• 检索 ($A_{ret}$)：组建一个特定于图表的证据包 ($K_F$)，包含标题、正文引用、描述图表阶段的相关段落以及贡献句。这使得叙述基于论文文本而非 LLM 的先验知识。
• 规划与起草 ($A_{plan}, A_{draft}$)：规划者根据 $K_F$ 和图表结构恢复教学序列（例如：输入 $\to$ 模块 $\to$ 输出 $\to$ 总结）。起草者将此计划转换为自然语言叙述片段。
• 批判与修订 ($A_{crit}, A_{rev}$)：四个专门的批判者根据 K_F} 检查草稿的忠实度（无幻觉模块）、覆盖度（无遗漏分支）、连贯性（逻辑遍历顺序）和显著性（强调关键贡献）。修订智能体整合反馈，生成最终叙述。

2. 感知团队 ($\Phi$)

该团队确定图中哪些部分是有效的指向目标，确保系统不会幻觉出不存在的位置。它独立于叙述运行：

• 文本与视觉 ($A_{ocr}, A_{vis}$)：使用 OCR 提取文本区域 ($T$)，并使用开放词汇检测/分割（如 SAM3）提取视觉区域 ($V$)，如图标、方块和箭头。
• 聚类 ($A_{clus}$)：将视觉上接近的检测结果分组（例如，将标签与其对应的图表方块绑定）为单个单元进行高亮。
• 构建器 ($A_{reg}$)：分配稳定的 ID 和边界框，以创建有效目标白名单 $U = T \cup V \cup C$。该清单完全源自图表图像本身。

3. 锚定团队 ($\mathcal{G}$)

该团队通过一个分阶段、语义约束的选择过程，将每个叙述步骤 $s_i$ 与白名单 $U$ 中的区域对齐：

• 阶段 1（叙述到文本）：首先将叙述步骤锚定到 OCR 衍生的文本区域（例如，将文本中的“STANZA”链接到 STANZA 模块标签）。
• 阶段 2（候选视觉锚定）：利用空间邻近性和聚类成员关系，基于已锚定的文本继承候选叙述步骤到视觉区域。
• 阶段 3（受限视觉选择）：视觉语言模型从受限的候选集中为高亮区域选择正确的叙述步骤，防止过度高亮。
• 验证与渲染：确定性验证器移除 $U$ 之外的无效绑定，并修复不完整的选择。渲染器通过在原始图表上叠加高亮并与 TTS 音频同步来合成视频。

基准测试：FigTalk

作者引入了 FigTalk，这是第一个针对会议演示中架构类图表漫游的基准测试。

• 组成：114 个“图表-视频”对。FigTalk-Gold（49 个视频）包含经过人工验证的完整叙述和精确的锚定轨迹。FigTalk-Extended（65 个视频）包含经过验证的架构解释，但具有较弱或不完整的锚定轨迹。
• 分层：根据结构复杂度（组件数量、DAG 深度、子图数量）而非图像大小，将图表分为 Easy（简单）、Medium（中等） 和 Hard（困难） 三个等级。
• 指标：
  • 叙述：通过顺序匹配、内部/外部忠实度、概念覆盖度和总结召回率进行评估。
  • 锚定：使用 Soft-DTW（通过 VLM 判断帧级相似度，适用于所有系统）和 基于 IoU 的 DTW（针对输出显式区域的系统，进行严格的区域级精确度/召回率评估）。对于扩展集，使用评分量表评估组件忠实度、概念覆盖度和过度高亮率。

关键结果

在 FigTalk 上的实验表明，MINARD 显著优于现有的基准模型，尤其是在处理复杂图表时。

• 叙述质量：与仅基于图表的叙述相比，基于论文的叙述（MINARD）大幅提升了概念覆盖度和总结召回率。它能恢复科学意图（例如，方法名称、设计原理），而这些信息在单纯的图中是不可见的。
• 锚定性能：
  • 在 FigTalk-Gold 上，MINARD 在所有骨干网络（GPT-5, Claude, Gemini）中，在 Soft-DTW 和 IoU-DTW 上均取得了最佳得分。
  • 复杂度缩放：在 Hard 级别的图表上，性能差距显著扩大。当无约束的 VLM 锚定和基于扩散的生成器（如 Veo, CogVideoX）在复杂结构上崩溃（通常会出现幻觉或无法维持因果顺序）时，MINARD 仍能保持高保真度。
• 人类偏好：在人类研究中，在叙述对比中，MINARD 在 74% 的情况下优于基准；在锚定对比中，在 63% 的情况下优于基准，特别是在忠实度和避免过度高亮方面。
• 消融实验：
  • 检索是科学忠实性的主要驱动力；移除检索会导致概念覆盖度和总结召回率大幅下降。
  • 结构化分解：分阶段的锚定过程（感知 $\to$ 锚定）至关重要。移除约束会导致过度高亮和时间对齐丢失。

意义与主张

论文声称 MINARD 代表了一种转变：从将图表视为不透明图像，转变为将其视为由可解释组件构成的结构化序列。

• 模块化：通过将叙述、感知和锚定分离，该系统使失败变得可解释，并允许进行针对性的改进。
• 保真度：与重渲染系统（如 Manim 或扩散模型，它们会重新生成视觉内容并经常偏离原图）不同，MINARD 保留了原始图表的精确组件级对应关系，这对于科学传播至关重要。
• 教育价值：该系统符合多媒体学习理论，通过提供时间对齐、分段的解释并引导注意力至显著组件，从而提高对复杂科学流程的理解。

作者指出了一些局限性：目前范围仅限于架构类图表（流程图、系统图），而非统计图表或数据图；由于存在精炼循环，该流水线的计算成本比单次传递的基准模型更高。然而，结果表明，对于复杂的科学图表，结构化的、基于论文的分解是生成忠实的、类人解释的关键。