Evaluating and Mitigating Hallucinations in Retrieval-Augmented Question Answering over Uzbek School Textbooks

在现代课堂中，学生越来越多地转向人工智能来解释难懂的概念、总结章节或准备考试。这些数字助手基于大语言模型构建，这类系统通过海量文本训练，能够生成流畅、自信且往往极具说服力的答案。然而，当学生提出一个他们尚未掌握答案的问题时，会出现一种明显的风险：他们缺乏验证回复的能力。如果系统捏造了一个事实，错误就会被忽视，学生也会因此学到错误的内容。为了解决这个问题，研究人员开发了一种称为“检索增强生成”（retrieval-augmented generation）的方法。该系统不再仅仅依赖模型的内部记忆，而是先搜索特定的、可信的文档（如学校教科书）以找到相关的段落，然后再进行回答。这使响应内容立足于现实，但并不能保证完美。系统仍可能无法找到正确的段落，或者找到了正确的段落却忽略了它，亦或是误解了所找到的内容。

这种不确定性在乌兹别克语中尤为突出。乌兹别克语虽有数百万人使用，但在人工智能领域却被视为“低资源”语言。与占据训练数据主导地位的英语不同，乌兹别克语可用的数字文本较少。此外，乌兹别克语是一种黏着语，这意味着一个词根可以通过添加许多不同的后缀来创造出极其丰富的词形变化。一个询问“独立”的学生使用的词形，可能与教科书中使用的词形看起来完全不同，从而导致搜索系统完全错过答案。直到目前，还没有标准的方法来测试这些系统在处理乌兹别克历史方面的表现，也无法衡量它们编造内容的频率。

独立研究员鲁津博伊·霍尔穆罗托夫（Ruzimboy Kholmurotov）通过构建一个名为 UzHistQA 的特定测试集来填补这一空白，该测试集基于一本涵盖 1917 年至 1991 年官方十年级历史教科书。研究人员分析了该教科书，发现了一个显著的语言障碍：在书中近 31,000 个单词中，超过一半的独特词形仅出现过一次。这种极高的多样性意味着，简单的精确词汇匹配搜索很可能会失败。为了测试如何克服这一问题，该研究创建了 56 个问题（其中包括教科书根本无法回答的问题），以观察系统是会承认自己的无知还是会编造响应。随后，研究人员比较了运行系统的四种不同方式：一种仅依赖其内部记忆；一种使用标准的语义搜索来检索教科书；一种将语义搜索与关键词搜索相结合；以及最后一个版本——该版本被严格要求必须引用来源，并在证据缺失时拒绝回答。

结果非常悬殊。当系统仅依靠内部记忆而没有查阅教科书时，在其 91% 的回答中都出现了缺乏依据或捏造的说法。对于教科书未涵盖的问题，它会自信地伪造日期、姓名和列表。当系统被强制要求先查阅教科书时，这类缺乏依据的说法率大幅下降至仅 9%。这证实了将答案锚定在实际文本中对于可靠性至关重要。然而，研究也揭示了一个令人意外的复杂情况。使用最先进搜索方法（结合了语义理解与关键词匹配）的版本，虽然比简单搜索找到正确段落的频率更高，但尽管找到了更好的证据，这个先进系统产生的缺乏依据的说法却比简单版本更多。这似乎表明，当系统检索到更大、更多样化的段落集时，多余的信息干扰了模型，导致即使事实就在眼前，模型也会做出错误的推论或计算。

对于安全性而言，最有效的配置是执行严格规则的方案：系统必须为每一项主张标注具体的页码，并被指示在教科书不包含答案时回答“我不知道”。这种方法消除了针对教科书无法回答的问题的所有捏造回答。代价是，系统拒绝回答了 14% 本可以回答的问题，有时甚至在检索文本中存在答案的情况下也是如此。研究人员得出结论，对于教育环境而言，这种拒绝是一种必要的特性。收到“我不知道”的学生可以向老师寻求帮助，但收到自信且捏造的答案的学生则会学到谬误，并且无法察觉其错误。这项研究确立了虽然检索增强生成使这些系统在乌兹别克教育中变得可行，但它需要精心的设计以防止系统产生“幻觉”，并强调了寻找正确信息与撰写正确答案是两个必须独立衡量的不同挑战。