技术摘要：文本块大小对检索增强生成（RAG）性能的影响

问题陈述

检索增强生成（RAG）系统通过检索外部知识来为大语言模型（LLM）提供事实依据，从而缓解幻觉和信息过时的问题。然而，RAG 流水线中一个关键但尚未得到充分研究的组件是文档分割的粒度（块大小）。虽然块大小在理论上会影响检索精度、上下文正确性、生成质量和计算效率，但在实际应用中，它往往是在缺乏严格评估的情况下被选定的。现有文献通常将文档分块视为一个静态的预处理步骤，或侧重于检索后的精炼，这导致在理解块大小这一主要变量——在将其与其他因素隔离的情况下——如何影响不同文本结构的整体系统性能方面存在研究空白。

研究方法

本研究采用受控实验设计，旨在将块粒度作为主要变量进行隔离，同时保持所有其他因素不变。

• 源材料： 研究人员使用了完全相同的长篇本科教科书（一本数学类，一本叙事类），以确保性能差异仅归因于分割策略而非内容差异。
• 分割策略： 文档被分割为四种不同的粒度：
  • 句子： 单个句子边界。
  • 段落： 段落级边界。
  • 页面： 页面级边界。
  • 章节： 章节级边界。
  • 关于实现的说明： 虽然某些策略使用了正则表达式，但本研究在段落和句子层级采用了智能体分割（使用 LLM 通过滑动窗口迭代提取片段），以确保生成的边界独立于原始格式伪影，更符合自然语义。
• 流水线架构：
  1. 预处理： 对原始文本进行清洗（去除换行符、页码、连字符）。
  2. 嵌入（Embedding）： 将每个块进行嵌入，使用预训练的稠密嵌入模型，并将其索引到针对每种粒度建立的独立向量数据库中。
  3. 检索： 对用户提示词进行嵌入，并通过余弦相似度搜索检索出前 $n$ 个最相似的块。
  4. 生成： 将检索到的块与用户提示词拼接，并输入给 LLM 以生成回答。
• 评估指标：
  • 检索有效性： 使用**倒数排名（Reciprocal Rank, RR）**进行衡量。通过相关性智能体（LLM）验证检索到的块是否包含回答提示词所需的必要信息。
  • 数据集： 使用 ChatGPT 生成的 100 个提示词（涵盖不同的范围、特异性和复杂度）对所有分块策略进行测试。

关键结果与分析

研究发现，最优块大小高度依赖于源文本的结构特性，没有任何单一策略能在所有媒介中都表现优异。

• 结构化/信息密集型文本（数学教科书）：
  • 最佳性能： 段落级分块实现了最高的平均检索得分。
  • 分析： 中等大小的块在检索精度和上下文完整性之间达到了最佳平衡。句子级块虽然精确，但偶尔缺乏足够的上下文；而章节级块引入了过多的噪声，降低了准确性。
• 叙事驱动型文本（叙事类教科书）：
  • 最佳性能： 句子级分块的表现显著优于所有其他方法（平均 RR 为 0.294）。
  • 分析： 在叙事语境下，相关的细节通常局限于特定的对话行或描述。较大的块（页面、章节、段落）会稀释这些具体的细节，使得检索系统难以隔离出有用的内容。
• 权衡关系：
  • 小块： 提高检索精度，但会增加存储需求、索引时间和嵌入数量。
  • 大块： 减少存储开销，但存在引入无关上下文（噪声）并降低检索质量的风险。
  • 智能体分块（Agentic Chunking）： 虽然能产生更有意义的边界，但它在预处理阶段引入了显著的计算成本，限制了可扩展性。

核心贡献

1. 变量隔离： 不同于以往经常将块大小与嵌入模型或特定领域结构混淆的研究，本研究通过使用相同的源材料隔离了变量，从而严格评估其影响。
2. 上下文相关的优化： 本文证明了“一刀切”的分块方法是次优的。研究提供了实证证据，表明理想的粒度会根据文本是结构化/信息密集型（倾向于段落）还是叙事/对话密集型（倾向于句子）而发生偏移。
3. 全面评估： 本研究不仅评估了上游的检索有效性（通过倒数排名），还评估了下游对生成质量的影响，提供了对分块权衡的全面视角。

意义与未来方向

论文指出，有效的 RAG 系统设计需要超越固定的分割参数。其意义在于确立了块大小应作为系统设计的一个可配置环节，并与源材料的具体结构相匹配，以平衡精度与上下文。

作者提出了几个基于这些发现的未来研究方向：

• 自适应/智能体分块： 开发能够根据文档结构、查询意图或检索反馈动态分割文本的系统（例如：对于事实类查询使用较小的块，对于推理类查询使用较大的块）。
• 混合方法： 探索结合多种块大小的方法，或从原子单元动态组装上下文，以缓解静态方案中固有的“精度-上下文”权衡问题。

研究结论认为，将分块方法与源材料结构相对齐，对于持续且高效地提升检索质量和生成性能至关重要。