Reliability by Design: A Shared Schema-Metadata Grounding and Catalogue-Constrained Extraction Architecture for Safe Natural-Language Access to Legacy Enterprise Systems
本文提出并验证了一种用于实现对遗留企业系统进行安全自然语言访问的生产级架构，该架构通过利用模式元数据导航图（Schema-Metadata Navigation Graph）和目录约束提取来取代自由形式的 SQL 生成，从而通过架构设计而非模型规模来消除幻觉和安全风险，确保了可靠性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代机构（从大学到医院）那庞大而静默的运作机制中，数据被锁在巨大的数字档案库中。这些被称为企业资源计划（ERP）平台的系统，保存着关于招生、考试、研究资助和治理的记录。多年来，需要就这些数据提出问题的人员——管理人员、质量控制员和协调员——一直无法直接进行提问。他们不懂数据库的语言，即一种被称为 SQL 的复杂代码，因此必须依赖一小群技术专家将他们的疑问转化为查询语句。这造成了瓶颈，减缓了决策速度，并使非技术人员依赖于中间人。最近，一种被称为大语言模型的全新计算机程序承诺解决这一问题，它允许任何人使用自然语言提问并立即获得答案。然而，当这些强大的模型直接连接到实时且关键的业务系统时，它们会变得非常危险。如果没有严格的护栏，它们可能会在不存在的数据表之间虚构联系，猜测编码值的含义，或者意外泄露敏感信息。其结果是一个听起来很有帮助、但会产生错误答案，甚至更糟——破坏安全与隐私规则的系统。
德沙·巴加特大学（Desh Bhagat University）的一个研究小组构建了一种将自然语言连接到这些遗留系统的新方法，该方法将安全性置于计算机模型的原始能力之上。他们认为，在这种环境下，可靠性不在于让人工智能变得更聪明或更大，而在于改变系统的架构。研究人员并没有让语言模型直接编写数据库查询语句，而是创建了一种结构，使模型只能从一份预先批准的选项列表中进行选择。研究人员在一个包含约 800 张数据表的真实大学系统中测试了这种方法，该系统缺乏现代数据库中常见的标准安全标记。他们的研究结果表明，通过严格控制模型的行为，无论语言模型的大小如何，他们都能实现最终数据库指令的零错误。该系统的运作并非依靠猜测，而是通过在对话开始前，将每一次请求都锚定在了一份现有的、经过策划的数据地图中。
这一解决方案的核心在于一种组织软件隐藏结构的新方式。在许多旧有的企业系统中，数据库并不会明确说明不同信息片段之间的关系；这些联系仅存在于应用程序的代码之中。为了解决这个问题，研究人员构建了一个“模式-元数据导航图”（Schema-Metadata Navigation Graph）。可以将它想象成一张详细的、机器可读的地图，将软件中混乱且隐性的连接转化为清晰、结构化的指南。这张地图将系统的宏观功能领域（如“招生”或“研究”）向下链接至具体的页面、列以及实际的数据表。至关重要的是，这张地图还包含了一份经批准的报告模板列表以及检索每种报告所需的精确、预写代码。它充当了缺失的安全标记的替代品，确保计算机能够准确了解如何连接不同的信息片段，而不必进行猜测。
当用户提出问题时，系统并不会让语言模型从零开始编写新的数据库命令。相反，模型扮演的是一个“选择器”的角色。它倾听用户的请求，并利用用户当前在软件中所处位置的上下文信息，识别出与地图中最相关的部分。随后，模型会提取出一个结构化的规范，本质上是从一份已知的、安全的报告模板白名单中进行选择。它永远不会生成实际的数据库代码。一旦模型完成了选择，一个独立的、受信任的部分就会接管工作。这段确定性的代码会利用地图中存储的固定、经过验证的代码片段来组装最终的查询语句。由于代码是由已知且安全的部件组装而成的，而非即时生成的，因此系统不可能产生注入恶意代码、引用不存在的列或以错误方式连接数据表从而返回错误数据的命令。
研究人员将这种架构部署在一个服务于五种不同认证框架的实时高等教育系统中。他们对该系统进行了严格测试，包括一项试图诱导模型出错的基准测试。结果是决定性的：系统产生了零条无效的数据库命令。无论使用的是小型开源语言模型还是大型商业模型，这种安全性都保持不变。事实上，最小的模型表现得与最大的模型一样出色，这证明了安全性来自于系统的设计，而非其背后的“大脑”规模。在实际应用中，利益相关者反馈该系统返回正确报告的比例约为 85%。剩余的请求被安全地拒绝了，而不是被草率地猜测，从而防止了困扰其他系统的“沉默错误”。
这种方法还解决了成本和维护的问题。因为它依赖于一份经过策划的用户实际需求清单，而非试图理解整个数据库模式，因此维护所需的工作量要低得多。研究人员发现，他们只需在地图中添加一个单一的条目，即可增加新的报告功能，而无需重新训练人工智能或重写复杂的代码。此外，他们将系统设计为两个层级：一个用于回答用户问题的响应层，以及一个自动监控合规指标的主动层。这两个层级共享同一个底层地图，这意味着机构不需要构建两个独立的系统，就能同时获得对话式辅助和自动化安全检查。
该研究得出结论：对于关键的企业系统而言，实现可靠自然语言访问的路径，不是去构建能够推理复杂数据的更大模型，而是构建能够将模型约束在安全、验证路径上的架构。通过将生成数据库任务从语言模型转移到受信任的确定性过程，研究人员创建了一个既安全又实用的系统。这种设计提供了一种方法，让机构能够在不冒记录完整性风险的前提下释放数据价值，证明了在企业数据领域，安全性是结构的属性，而非规模的属性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。