Evidence-Aware Abstention in Low-Resource Scientific RAG: A Persian Retrieval-Stage Study
本研究建立了一个可复现的 BM25 检索基准，并证明了一种轻量级、证据感知的逻辑选择器通过利用词汇和语言组成特征来实现选择性弃权，从而显著降低了低资源波斯语科学问答中的无依据回答率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界里，计算机越来越多地被要求通过阅读大量的文档库来回答复杂的问题。这个过程被称为检索增强生成（retrieval-augmented generation），其原理是让计算机先搜索相关的文本，然后利用这些文本来构建答案。其目标是阻止机器仅仅依赖其内部记忆（因为内部记忆可能过时或错误），而是将其响应建立在真实的、有引证的证据之上。然而，一个关键问题仍然存在：仅仅因为计算机找到了一个文档，并不意味着该文档确实包含了答案。如果证据薄弱、缺失或无关，系统理想情况下应该知道停止并承认自己不知道，而不是进行猜测并提供虚假或无根据的回答。这在科学等对精确度要求极高的领域，以及在数字资源较少、用于检查信息质量的工具往往不够发达的语言中，显得尤为困难。
来自巴哈瓦尔布普伊斯兰大学的研究员阿斯加尔·侯赛因（Asghar Hussain）致力于为波斯语领域的科学问答解决这一特定问题。团队专注于一个名为 PersianSciQA 的数据集，该数据集包含数千个科学问题及其对应的研究论文摘要。他们的工作并非关于构建一个能够撰写长篇论文的完整端到端系统，而是关于至关重要的第一步：决定计算机是否应该回答问题。他们提出了一个简单但深刻的问题：一个系统能否学会识别它所找到的证据是否足够强大到足以支持一个答案，以及何时由于证据过弱而促使系统选择弃权？通过将此视为一个两步走的过程——首先寻找信息，然后决定信息是否足够好——研究人员创建了一种安全机制，以防止计算机自信地陈述它无法证明的事情。
为了开始这项工作，团队必须确保其基础是稳固的。他们审计了可用数据，检查是否存在可能导致结果偏差的错误和不一致之处。他们发现，虽然数据在很大程度上是干净的，但不同版本的数据库之间存在显著差异，数千条记录被分配到了与其来源文档建议不同的训练或测试组中。他们还发现少量记录中的计算机生成答案被标记为错误。通过仔细清洗和组织这些数据，他们建立了一个可靠的基准。随后，他们测试了一种被称为 BM25 的标准搜索方法，这是一种用于寻找文本匹配的经典算法。结果显示，对于那些与源文本联系非常紧密的问题，该搜索方法表现得异常出色，在近 98% 的案例中都能在前十个结果中成功找到正确的文档。然而，对于联系较弱的问题，成功率下降到了约 78%，这凸显了“找到相关文档”与“找到正确文档”之间的差距。
在建立了搜索基准之后，研究人员转向了他们研究的核心：构建一个轻量级的决策器。该系统旨在观察搜索结果并决定是回答还是保持沉默。他们没有依赖需要巨大计算能力的复杂、重型模型，而是使用了一个简单的统计模型来分析特定的线索。这些线索包括搜索引擎给出的文档评分、问题与所找文本之间共享的词汇数量，以及文档的语言构成。其目标是观察添加这些额外的层级信息是否能帮助系统区分出是一个可靠的答案还是一个不靠谱的猜测。他们在已知可回答性的问题集上进行了测试，衡量了系统在缺乏足够证据的情况下错误尝试回答问题的频率。
研究结果表明，系统确实可以学会变得更加谨慎和准确。当研究人员仅使用原始搜索评分来进行决策时，系统仍然会尝试回答那些不该回答的问题，当系统被设定为回答约四分之一的问题时，其无根据回答率约为 40%。然而，当他们加入了词汇证据特征——即本质上观察问题中的词汇与找到的文本中的词汇匹配程度时——性能得到了显著提升。在使用这种增强后的模型时，在相同的活跃水平下，无根据回答的比例降至约 31%。这种改进在统计学上是显著的，这意味着它不太可能是随机的偶然现象。研究人员发现，词汇匹配特征是这一成功的核心驱动力，而其他基于语言的特征提供的提升则相对较小。
至关重要的是，这项研究也明确了其局限性。研究人员透明地指出，他们的工作仅限于检索阶段；他们并未接触到在这一特定环境下生成完整、类人化答案所需的大型语言模型。因此，他们的结果衡量的是“做出回答”这一决策的质量，而非生成的段落的实事准确性。他们还指出，他们的语言分析并不是对多语言能力的真正测试，因为数据绝大部分是波斯语，几乎没有其他语言的存在。尽管存在这些界限，这项工作仍为下一阶段的研究提供了一个清晰且可复现的框架。它证明了即使在低资源的科学环境下，系统也可以被教会识别自身证据的局限性。通过学习在证据薄弱时选择弃权，系统变得更加可靠，从而确保当它开口说话时，其内容是有据可查的。这种方法为在数据匮乏的语言和领域中构建更值得信赖的人工智能提供了一条切实可行的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。