技术摘要：X+Slides：面向受众条件的幻灯片生成基准测试

1. 问题定义

本文指出，现有的自动化幻灯片生成基准测试存在一个关键缺陷：它们主要评估源文档完整性、布局和视觉连贯性，同时隐含地假设了一种“一刀切”的范式，即认为所有源文档中的事实都具有同等价值。实际上，幻灯片生成是一个受众条件驱动的任务。同一个源文档（例如一篇研究论文）需要根据目标受众进行截然不同的信息选择：

• 专家需要严谨的证明、假设和消融实验。
• 学习者需要核心概念、动机和示例。
• 决策者则优先考虑可操作的结论、风险和高层级的启示。

现有指标无法区分一份能够忠实总结源文档的幻灯片与一份能够针对特定受众进行策略性信息选择的幻灯片。此外，目前的评估往往将“源对齐度”与“受众效用”混为一谈，导致难以隔离系统失败究竟是由于生成质量差，还是由于受众适配能力弱。

2. 方法论：X+Slides 框架

X+Slides 引入了一个旨在解耦源覆盖度与受众效用的基准测试及评估流水线。其核心创新在于使用一个共享的、与受众无关的探测库（probe bank）进行两步评估过程。

2.1 基准构建

• 语料库： 该数据集涵盖了 113 个多样化主题（50 篇学术论文，63 份涉及政策、商业、健康等的非学术报告），跨越 7 种演示场景。
• 探测生成： 利用大语言模型（LLM）从源文档中生成了 8,133 个去重且基于源文档的探测项（包含证据范围的问答对）。这些探测项是受众无关的，这意味着它们在生成时并不知晓目标受众，以确保具备一致的事实基准。
• 探测属性： 每个探测项都带有以下标签：
  • 深度等级 (1–4)： 从背景/动机（等级 1）到实现细节/超参数（等级 4）。
  • 信息领域： 背景、方法、证据、局限性、实现、启示。
  • 证据模态： 文本、表格、图表、图像、等式或多模态混合。

2.2 受众条件评分

X+Slides 并非为不同受众生成不同的问题，而是根据受众画像（专家、学习者、决策者）和演示场景，为同一组探测项分配受众特定的效用权重 ($w_j$)。

• 效用阈值 ($\tau_A$)： 权重高于阈值（例如 $\tau_A = 0.7$）的探测项被视为该特定受众的“核心要素”。
• 评估逻辑： 生成的幻灯片集根据以下标准进行评分：对于特定受众而言，其核心要素探测项是否能通过可见的幻灯片内容得到回答，且该内容是否由源文档证据所支持。

2.3 评估指标

该框架报告了四个互补的指标：

1. 受众覆盖度 (Audience Coverage)： 成功传达的受众核心要素信息的加权比例。
2. 领域覆盖度 (Domain-wise Coverage)： 在六个信息领域（如“方法”细节在专家与学习者之间的覆盖差异）进行的细粒度分解。
3. 效率 (Efficiency)： 每单位注意力成本（通过幻灯片数量和字数衡量）所交付的有用信息密度。
4. 正确性 (Correctness)： 一种护栏指标，用于验证幻灯片中的主张是否得到源文档的事实支持，从而防止奖励看似合理但属于幻觉的内容。
5. 安全效率 (SafeEfficiency)： 效率与正确性的乘积，代表了既有用的又具备事实依据的效用。

3. 核心贡献

1. 形式化概念化： 将幻灯片生成定义为条件映射 $f: S \times A \times C \to T$，明确将受众适配界定为一个可衡量的信息选择问题，而非模糊的提示词目标。
2. 解耦探测库： 开发了一个有证据支撑的、受众无关的探测库，并随后对其进行加权。这使得可以使用相同的客观事实基准在不同受众之间进行公平比较。
3. 全面的指标体系： 引入了一个四维评估框架（覆盖度、领域覆盖度、效率、正确性），区分了忠实适配、通用总结与幻觉。
4. 可复现的基准： 发布了一个包含 113 个主题、8,133 个探测项、三种受众画像以及完整可复现评估流水线的数据集。
5. 实证评估： 对当前最先进的系统（DeepPresenter, SlideTailor）进行了深入分析，并对 NotebookLM 进行了针对性的消融研究。

4. 实验结果

作者在受众无关和受众条件设置下，对 DeepPresenter、SlideTailor 和 NotebookLM（作为消融实验）进行了评估。

• 核心信息的局部恢复： 当前系统能够恢复相当一部分但并不完整的受众核心信息。
  • 在 $\tau_A = 0.7$ 时，DeepPresenter 在学习者场景下实现了最高的受众覆盖度，为 0.714。
  • SlideTailor 的覆盖度为 0.594（针对学习者）。
  • NotebookLM（在无关设置下）针对决策者的覆盖度达到了 0.853，但其基于图像的输出限制了直接的效率比较。
• 受众条件化效应：
  • 条件化提示通常能提高受众覆盖度（例如，DeepPresenter 的专家覆盖度从 0.413 提升至 0.496）。
  • 领域覆盖度显示，条件化成功实现了关注点的转移（例如，专家接收到更多的“方法”和“证据”覆盖，而决策者接收到更多的“启示”和“背景”覆盖）。
• 正确性 vs. 效率：
  • 各系统的正确性得分保持在较高水平（约 0.82–0.85），表明大多数主张都有源文档支持。
  • 然而，安全效率差异显著。例如，在生成 PPTX 的系统中，SlideTailor 的条件化学习者幻灯片集拥有最高的 SafeEfficiency，而 DeepPresenter 的条件化学习者幻灯片集则拥有最高的受众覆盖度。
• 权衡关系： 论文指出，优化某一指标（如广泛的覆盖度）并不保证能优化其他指标（如效率或正确性）。受众提示虽然成功改变了信息选择，但并不一定会自动提升所有维度的质量。

5. 重要性与主张

本文主张 X+Slides 代表了从文档对齐向受众效用最大化的根本转变。

• 差异化： 它证明了视觉质量和广泛的主题覆盖不足以作为幻灯片质量的代理指标；如果没有基于源文档且受受众条件驱动的评估，系统可能会在表现出色的同时，却遗漏了关键的受众需求或包含了未经支持的主张。
• 局限性： 作者坦诚地承认了当前的局限性，包括 LLM 生成的探测项在处理高度视觉化文档时可能存在差距、三个受众画像过于宽泛，以及依赖文本评分导致无法直接评估图表或基于布局的解释。
• 未来影响： 该框架旨在支持研究交流、教育、政策简报和商业决策支持，并敦促业界将受众适配视为一项严谨的信息选择挑战，而非仅仅是一种风格化的调整。