💬 NLP

HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

本文介绍了 HistoRAG，这是一个通过整合史学原则（如时间窗口化、检索与生成的分离，以及透明的 LLM-as-judge 评估）来使检索增强生成（RAG）适应历史研究的框架，旨在解决标准 RAG 的事实偏差问题，并更好地支持解释性的学术实践。

原作者： Noah J. Kim-Baumann, Torsten Hiltmann

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Noah J. Kim-Baumann, Torsten Hiltmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位历史学家，试图了解 1950 年至 1979 年间德国人对计算机的看法。你拥有一个庞大的图书馆，里面存有 10 万多篇报纸文章。

如果你使用一种标准的 AI 工具（称为“RAG”）来帮助你，它就像一个速度极快但有点笨拙的图书管理员。你问：“人们是怎么看待计算机的？”图书管理员就会冲向书架，找出所有包含“计算机”这个词的书籍，然后把它们递给你。

问题在于，这个图书管理员有一些坏习惯，会破坏你的历史研究：

他们只说现代俚语。 如果你使用 170 年代的词汇来询问“计算机”，他们就会忽略所有的 1950 年代的书籍，因为在那个时代，人们称之为“电子大脑”。图书管理员因此错过了最重要的早期历史。
他们只抓取最响亮的图书。 如果某个话题在 1970 年被广泛讨论，图书管理员会抓取一大堆 1970 年的书籍，而忽略了那些虽然安静但同样重要的 1950 年的讨论。
他们不理解你为什么问这个问题。 他们只是抓取那些看起来与你的问题相似的书籍，即使这些书并不能真正回答你关于人类恐惧或希望的具体研究问题。

这篇论文介绍了 HistoRAG（历史性 RAG）。请不要把它看作是一个更快的图书管理员，而是一种尊重历史规则的新型研究助手工作方式。

以下是 HistoRAG 的运作方式，它使用了三个简单的技巧：

1. “两步舞步”（分离检索与生成）

在普通的 AI 系统中，你提出一个问题，它立即给出答案。这就像一个神奇 8 号球。
在 HistoRAG 中，过程被分为两个截然不同的步骤：

第一步：搜寻（Heuristik）。 AI 出发去收集大量的潜在来源。但它到此为止。它把这些资料放在桌上并说：“这里是候选资料。你，作为历史学家，必须查看它们并决定哪些值得阅读。”
第二步：分析（Interpretation）。 只有在你挑选出最好的来源之后，AI 才会帮助你撰写总结或寻找模式。

类比： 想象你是一名侦探。普通的 AI 就像一名侦探找到了嫌疑人，然后立即写下了结案陈词。而 HistoRAG 则是找出一份嫌疑人名单，把它交给你，并说：“你来决定要面谈谁。一旦你选好了正确的人，我再帮你写报告。”这确保了人类历史学家始终掌控着故事的主导权。

2. “时空旅行者的网格”（时间窗口化）

标准的 AI 工具对现在存在偏见。如果你询问“计算机”，AI 会抓取大部分近期的文章，因为语言匹配度更高。这就像试图通过仅搜索现代烹饪术语来寻找旧食谱；你会错过那些旧的术-项。

HistoRAG 强制要求 AI 保持公平。它将这 30 年的时期划分为小的时段（例如以 5 年为一个块）。然后它说：“无论 1970 年存在多少篇关于‘计算机’的文章，你必须从 1950 年、1955 年、1960 年等年份抓取相等数量的文章。”

类比： 想象你在制作一份水果沙拉。普通的 AI 会抓取一大桶草莓（因为现在到处都是），而忽略了上一季的蓝莓。HistoRAG 则是一位严格的厨师，他会说：“我们需要每年季节各取一杯水果，即使草莓现在更受欢迎。”这确保了你能品尝到完整的历史，而不仅仅是最流行的时代。

3. “像人一样的法官”（LLM-as-Judge）

即使 AI 抓取了正确的时间段，它可能仍然抓取了错误的类型的文章。它可能会抓取一份枯燥的技术手册，而你想要的其实是一封来自忧虑公民的信件。

HistoRAG 增加了第二层检查。在 AI 抓取文章后，它会将这些文章交给一个“法官”（另一个 AI）进行审核。这位“法官”会阅读文章并询问：“这篇文章真的在讨论恐惧或希望吗？”它会给文章评分并写出理由。

类比： 想象一场选秀节目。第一个 AI 是“选角导演”，负责寻找所有会唱歌的人。而“法官”则是“乐评人”，他会倾听并决定：“好吧，你会唱歌，但你唱的并不是我们要找的那种情感抒情曲。”法官不仅计算音符，还理解歌曲的情感。

结果：“中间文本”（Zwischentexte）

最后，论文讨论了 AI 究竟在写什么。在普通系统中，AI 试图给你一个最终答案。在 HistoRAG 中，AI 产生的是作者所称的 Zwischentexte（中间文本）。

类比： 认为这些不是完成的小说，而是草稿或素描。AI 会说：“这是关于 1964 年人们感受的一种可能的解读。这是我发现的一个模式。但我只是一个工具。你，作为历史学家，必须检查我的工作，验证我的来源，并决定我的素描是否准确。”

为什么这很重要

论文指出，对于历史和其他解释性领域，我们不应该只想要“最快”的答案。我们需要一个能够：

不仅仅因为语言的变化就忘记过去。
不让最流行的时代淹没那些安静的时代。
使其推理过程透明化，以便人类可以说：“我不同意那个结论。”

HistoRAG 是构建 AI 工具的蓝图，这些工具的作用是成为谦逊的研究助手，而不是全知的神谕，从而确保人类历史学家仍然是决定过去意义的人。

技术摘要：HistoRAG

问题陈述
检索增强生成（RAG）已成为将大语言模型（LLM）输出锚定在外部证据上的标准架构。然而，主流的 RAG 范式是针对事实性问答进行优化的，它们假设“相关性”是文档的一种固定属性，并认为相似性即等同于效用。对于历史研究等解释性学科而言，这些假设与学术实践相冲突。标准的 RAG 系统将来源发现与解释混为一谈，依赖于会引入时间偏差（由于词汇漂移和主题密度变化）的相似性度量，并将来源的选择视为一个不透明的自动化过程。这威胁到了研究者的认识论主体性（epistemic agency），而研究者必须能够审查、质疑并证明其来源选择和解释框架的合理性。

方法论：HistoRAG 框架
作者引入了 HistoRAG，这是一个通过三种具体的干预措施将历史学方法论嵌入到 RAG 架构中的框架，这些干预措施植根于批判性技术实践（Critical Technical Practice, Agre, 1998）以及“连续性假设”（Kontinuitätsannahme, Welskopp, 2008）的概念。这些干预措施在应用于 102,189 篇《时代周刊》（Der Spiegel，1950–1979）文章的 SPIEGELragged 系统中得到了实现。

分离检索与生成（启发式 vs. 分析）：
该框架在形式上将来源发现（Heuristik，启发式）与解释（Analyse，分析）解耦。在标准 RAG 中，一个查询会触发一个无缝的流水线以得出答案。在 HistoRAG 中，检索阶段基于描述性主题查询（而非询问性查询）生成一个经过策划的文本块语料库。人类研究者必须在任何 LLM 辅助分析开始之前，明确地审查、接受或拒绝这些来源。这恢复了“寻找来源”与“对来源进行提问”之间的区别，确保了历史学家能够控制哪些材料进入解释阶段。
时间窗口化（Temporal Windowing）：
为了对抗基于相似性的检索中固有的“词汇对齐偏差”和“主题密度偏差”，HistoRAG 强制执行研究期间内平衡的来源呈现。系统不是在全球范围内检索前 $N$ 个最相似的文本块，而是将语料库划分为时间窗口（例如，以五年为一个间隔），并从每个窗口中检索相等份额的资料。这确保了那些主题密度较低或具有独特历史词汇（例如，1950 年代的术语 Elektronenhirn 与 1970 年代的术语 Computer）的时期，不会因为现代查询表述而出现系统性的代表性不足。
LLM 作为评判者（LLM-as-Judge Evaluation）：
在检索和时间平衡之后，系统利用 LLM 根据研究者定义的明确标准（准则）对每个文本块进行评估。不同于依赖向量相似度得分的标准 RAG，这一层会产生一个相关性的数值得分和一段书面理由。这使选择过程从黑盒算法过滤转变为透明的、具有论证性的过程，使得相关性的基础是可质疑的。评估是独立进行的（而非比较性评估），以避免批处理排序偏差。

核心贡献

认识论的架构转化： 论文展示了特定的史学承诺（例如，对平衡时间采样和区分发现与解释的需求）如何转化为具体的软件设计决策。
Zwischentexte（中间文本）的概念：作者提出将 Zwischentexte 作为 LLM 输出的一个框架。与其将生成的文本视为最终发现或答案，不如将其定位为“解释性提案”或脚手架，需要历史学家的验证。这重新定义了 LLM 的角色——它不再是神谕，而是作为在有据可查的研究过程中进行假设生成和模式识别的工具。
多层检索架构： 系统集成了关键词搜索（带有经过语料库训练的词汇扩展）、语义检索以及基于 LLM 的解释性过滤作为互补层，而非竞争性的替代方案。

结果与评估
通过使用 SPIEGELragged 实现，作者实证验证了标准 RAG 的缺陷以及其干预措施的有效性：

时间偏差： 标准的相似性检索表现出严重的时间偏斜。使用 1970 年代术语的查询无法检索到任何来自 1950 年代的文本块，而 1950 年代术语检索到的结果中有 48% 来自 1950 年代（是语料库基准的两倍）。时间窗口化成功强制执行了平衡的呈现，尽管接受了较低的总聚合相似度得分，但也确保了对形成期的覆盖。
相关性度量的差异： 向量相似度得分与 LLM 评估的相关性之间存在弱相关性（Spearman $\rho = 0.275$ ）。与查询高度相似（例如使用“Computer”一词）的来源，其在解释相关性方面往往被 LLM 评定为低分；而使用不同词汇（例如“Rationalisierung”）但涉及核心研究问题（对自动化的恐惧）的来源，则获得了高相关性得分。
不相交的来源池： 基于关键词的检索和基于语义的检索所呈现的资料集在很大程度上是不重叠的。在 Der Spiegel 测试案例中，两种方法之间的重叠文章仅占 12.9%。语义层成功捕捉到了关键词过滤器遗漏的通俗文本（读者来信），但这引入了噪声，需要通过 LLM-as-judge 层进行有效过滤。
模型鲁棒性： 虽然绝对得分校准在不同 LLM（如 Mistral 与 Claude）之间存在显著差异，但来源的相对排名保持高度一致（ $r > 0.96$ ）。这表明，虽然绝对阈值取决于模型，但相关性的相对排序是可移植的。

意义与主张
论文声称，HistoRAG 提供了一个关于领域特定认识论承诺如何在 AI 系统中操作化的模型。它认为，对于解释性学科而言，目标不仅仅是检索出针对事实性查询的“最佳”段落，而是构建一个透明、可质疑且在时间上平衡的语料库以供解释。

作者谦逊地将他们的工作定位为不是一个最终解决方案，而是开启关于 AI 在历史研究中应用对话的一个切口。他们强调，该架构的设计旨在保留认识论主体性，确保历史学家仍然是来源选择和论证的责任承担者。该系统并非取代历史学家，而是增强其处理大规模语料库的能力，同时保持进行诠释学研究所需的批判性距离。论文总结道，工具不应决定问题；相反，问题（以及历史学家）应当决定工具。