Bilingual Retrieval-Augmented Access to ANVISA Regulatory Documents: A Technical Evaluation Using Drug-Development and Health-Product Questions
本研究评估了一个基于 ANVISA 监管文档构建的双语检索增强生成系统，该系统在定位、引用和总结葡萄牙语及英语药物研发监管要求方面表现出极高的准确性，同时在经过校准后能有效处理无法回答的查询。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
监管科学是确保公众使用的药品、疫苗和医疗器械安全的无声引擎。在一种新药到达药店货架之前，公司必须穿越由政府卫生部门制定的规则迷宫。在巴西，这一权威机构是 ANVISA，它发布了数千页的葡萄牙语法规。这些文件规定了从临床试验如何开展到公司必须如何报告副作用的一切细节。对于使用英语工作的科学家和监管人员，或者对于需要处理多种语言的团队来说，这些规则构成了一个显著的障碍。信息就在那里，但要找到回答特定问题的确切句子，感觉就像是在一堆干草堆中寻找一根针，尤其是当这根针是用与问题不同的语言编写的时候。
为了解决这个问题，研究人员开始测试一种像高级图书管理员一样的计算机系统。该系统并非仅仅根据以前读过的内容来猜测答案，而是首先前往特定的文档库，找到包含答案的确切页面，然后利用这些页面来撰写回复。这种被称为“检索增强生成”（retrieval-augmented generation）的方法旨在防止计算机凭空捏造。其目标不是取代人类专家，而是帮助他们快速、准确地找到正确的规则，并确保每一个答案都能追溯到其原始出处。
一支研究团队最近利用六项关键的巴西卫生法规测试了这个想法。他们构建了一个原型系统，该系统可以理解用英语或葡萄牙语提出的问题，并能搜索官方的葡萄牙语文档以寻找答案。挑战在于两个方面：系统必须弥合语言鸿沟，并且必须足够精确，以处理那些缺少一个词就可能改变含义的复杂法律细节。研究人员想知道，一台机器是否不仅能找到正确的条款，还能正确地总结它、引用其来源，并且至关重要的是，在不知道答案时能够承认。
研究人员首先对法规的原始文本进行了清洗和整理。他们并没有将文档作为巨大的文本块直接喂给计算机。相反，他们将文档分解为它们的自然构建模块：单个条款。这是一个深思熟虑的选择，因为监管规则往往取决于单个条款内的特定条款。通过将每个条款视为一个独立的单元，系统可以精准定位规则所在的位置。随后，他们教会了计算机识别英语和葡萄牙语的关键术语，建立了一座桥梁，使英语问题能够找到葡萄牙语的答案。该系统的设计是在一个封闭的图书馆内工作；它被严格禁止搜索实时互联网或猜测文档中不存在的事实。
当研究人员使用 200 个不同的问题对系统进行测试时，结果令人鼓舞，但也揭示了重要的界限。对于那些答案在文档中有明确记载的问题，系统的表现非常出色。它成功地定位了正确的条款，进行了妥当的引用，并用用户提问所用的语言总结了规则。无论是关于临床试验安全性报告的时限，还是关于生物制品注册的规则，系统几乎每次都能找到正确的证据。在这些情况下，计算机充当了一个可靠的向导，缩小了搜索范围，并呈现了清晰且可验证的摘要。
然而，这项研究也强调了系统需要谨慎对待的地方。当系统被问及一些听起来应该在文档中有答案、但实际上并没有的问题时，最大的挑战就出现了。例如，如果用户询问特定电子表格的当前版本或监管机构的电话号码，系统有时会尝试利用文本中相关但不完整的规则来进行回答。在监管背景下，这是一种危险的错误，因为不完整的答案可能会导致公司做出代价高昂的错误。研究人员发现，在面对缺失特定事实的情况时，系统最初难以表达“我不知道”。
为了修复这个问题，团队调整了系统的指令，使其更加谨慎。他们教会了系统，只要确切信息没有明确存在，即使存在相关的规则，也要拒绝回答。经过这次调整后，系统变得更擅长了解自己的局限性。它能够正确地拒绝回答几乎所有超出其知识库范围的问题，同时仍能高精度地回答有效问题。这种权衡是必要的：对于监管工具而言，说出它无法提供帮助，比提供一个部分或误导性的答案要安全得多。
研究人员得出结论，只要使用得当，这种双语系统就是导航复杂卫生法规的强大工具。它不是一个可以解决所有问题或提供法律建议的神谕。相反，它是一个专门的助手，帮助用户在定义的文档集内定位并总结证据。研究表明，当答案存在于文本中时，系统可以找到它并用多种语言清晰地解释。但它的真正价值在于能够识别答案缺失的情况，并停在那里，将最终决定留给能够验证引用的专家。在药物研发和公共卫生这一高风险领域，清楚地知道自己不知道什么，与找到正在寻找的东西同样重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。