技术摘要：ReadingMachine

1. 问题：阅读瓶颈

现代机构生成的书面材料规模已超过了人类进行全面阅读、解读和综合的能力。虽然获取信息的不再是限制因素，但系统性地处理大规模语料库的能力已成为瓶颈。现有的计算方法未能解决这一结构性失衡：

• 检索增强生成 (RAG)： 通过基于查询选择语料库的子集来运行。这引入了“沉默遗漏”（silent omission），即未被检索到的材料从未被分析，且系统无法感知被排除的内容。
• 层级化摘要 (Hierarchical Summarization)： 在流水线的早期阶段压缩信息（文档 $\to$ 摘要 $\to$ 摘要）。这会导致早期的信息丢失、分歧的平滑化，以及对少数派或低频主张的丢弃。
• 智能体研究工作流 (Agentic Research Workflows)： 依赖于迭代搜索和优化，但具有路径依赖性。提示词或轨迹的微小变化会导致不同的结果，且遗漏仍然是隐性的且难以检测。

其结果是可用知识与系统化理解知识之间存在差距，这在政策、法律和研究等高风险领域引入了系统性风险。目前的语言大模型 (LLM) 应用旨在从选择性访问的材料中生成答案，而非系统地阅读并组织整个语料库的完整结构。

2. 方法论：结构化语料库阅读

ReadingMachine 将 LLM 重新定义为不仅是答案生成器，更是能够执行受限阅读操作的系统。其核心设计原则是将阅读与解释分离。该系统将大规模语料库分析分解为一系列受约束的、可检查的转换过程，将判断和综合推迟到后续阶段。

流水线架构

工作流如下进行：

1. 摄取与分块： 摄取文档并使用优先考虑段落/句子边界的贪婪策略将其拆分为语义块（约 3500 个字符）。
2. 洞察提取：
   • 块级 (Chunk-level)： 模型提取与用户定义的科研问题相关的原子主张、论点或发现。
   • 文档级 (Meta-insights)： 第二轮处理全文本，以识别跨越多个章节的高层论点，并将其与局部块洞察区分开来。
3. 聚类 (脚手架构建)： 将洞察向量化，通过 UMAP 进行降维，并使用 HDBSCAN 进行聚类。至关重要的是，聚类被用作组织洞察空间的语义脚手架，而非最终主题的决定因素。
4. 主题生成：
   • 根据嵌入空间中的最短路径距离确定顺序，生成聚类摘要。
   • 语言模型基于这些摘要生成主题模式 (Theme Schema)（包括标签、描述和分配规则）。
   • 该模式包含一个 Other（其他）类别用于处理少数派洞察，以及一个 Conflicts（冲突）类别用于显式保留不兼容的主张，从而对抗模型倾向于平滑分歧的特性。
5. 主题映射与填充： 将洞察映射到生成的主题中。综合发生在主题层面，即基于结构化的洞察集而非原始文档进行。
6. 孤儿处理 (覆盖率强制执行)： 这是用于自我修正的关键机制。系统会将分配的洞察与生成的主题摘要进行比较。任何被映射到某个主题但在摘要中未得到实质性体现的洞察都会被标记为“孤儿”。这些孤儿会被显式地重新插入，并重写主题摘要。
7. 迭代优化： 根据更新后的摘要重新生成模式。循环（模式 $\to$ 映射 $\to$ 孤儿处理）重复进行，直到模式趋于稳定。
8. 冗余处理与渲染： 可选步骤包括减少重复并进行风格化改写以提高可读性，随后进行最终输出生成（PDF/Markdown/Word）。

扩展调整

为了在有限的上下文窗口内运行，系统采用了特定的适配措施：

• 密度种子分区 (Density-Seeded Partitioning)： 如果某个聚类超过上下文限制，则使用 HDBSCAN 种子将其细分为更小的、具有语义连贯性的分区。
• 采样与批处理： 如果某个主题接收到过多洞察，则对其进行采样或分批处理。
• 孤儿批处理： 孤儿重插入按批次执行，以防止输出截断。
• 诊断性失败处理： 如果由于输出限制导致孤儿重插入失败，系统将其视为概念异质性的信号，从而触发模式拆分而非简单的截断。

3. 主要贡献

本文确定了四个主要贡献：

1. 方法论框架： 提出了“结构化语料库阅读”作为一种独特的知识生产模式，强调覆盖率、可追溯性和分歧保留，而非快速生成答案。
2. 开源实现： 发布了作为实验性框架的 ReadingMachine (GitHub)，使这种方法得以具象化。
3. 大规模演示： 将该系统应用于包含 152 份文档的异质工业政策语料库，生成了超过 17,500 条原子洞察和一个结构化的主题图谱。
4. 失效模式分析： 识别并解决了特定的扩展约束，包括“孤儿持久化”、“上下文压力效应”以及“后期重新膨胀”（即重新引入压缩材料的必要性）。

4. 结果与观察

系统在一个涉及工业政策文献的大规模单次运行中进行了评估。

• 输出特征： 输出比传统的 AI 摘要明显更长、更密集，类似于学术文献综述。它保留了细粒度的主张、具体机制和条件，而不是坍缩为高层级的概括。
• 覆盖率与可追溯性： 系统成功映射了语料库，保留了具体主张并显式表示了冲突。在内部审查中未发现明显的幻觉现象。
• 迭代稳定性： 主题模式在 5 次迭代后趋于稳定。在多次运行中，“失败主题”（即无法容纳所有分配洞察的主题）的数量从 4 个下降到了 0。
• 成本与时间： 完整的流水线耗时约 14 小时，成本约为 300 美元。与同等规模语料库的人工审查相比，这代表了一个到两个数量级的效率提升。
• 观察到的失效模式：
  • 高元洞察量 (Meta-Insight Volume)： 元洞察处理过程计算成本高昂且产生了显著的冗余，表明需要进行提示词调优。
  • 高孤儿计数： 孤儿计数保持在高位，表明综合过程往往会对主张进行抽象，以至于这些主张在摘要中不再被“实质性体现”，从而需要重新膨胀。
  • 引用漂移： 约有 1/3 的引用在综合过程中丢失。虽然实施了“引用修复”机制来缓解这一问题，但这仍然是一个挑战。

5. 重要性与主张

本文将 ReadingMachine 定位为现有 AI 工具的补充，而非替代品。其重要性在于：

• 转移瓶颈： 它将知识工作的约束从信息获取/阅读转向了理解与决策。
• 外部审计： 该系统作为迭代 LLM 综合过程的外部审计架构。它证明了不受约束的 LLM 综合并不会自然地保持覆盖率、溯源性和结构保真度；这些属性必须通过外部机制（孤儿追踪、模式修复、引用验证）来强制执行。
• 阅读与推理的分离： 通过将主张的提取/组织（阅读）与评价/结论（推理）解耦，系统提高了透明度。它产生的是关于语料库包含什么的结构化表示，而不是关于语料库意味着什么的单一综合论点。
• 认识论客观性： 中间表示（洞察、聚类、主题）作为显性的认识论对象，可以被检查、比较和质疑，从而实现更审慎的推理应用。

作者明确指出，这些结果是对大规模系统行为的演示，而非正式的性能评估。针对 RAG 或人工审查的正式对比评估仍是未来的工作。该系统作为一个实验性框架，旨在支持系统的定性综合及下游受限的推理。