Optimizing Retrieval-Augmented Generation for Privacy-Preserving Local Cognitive Agents Using Small Language Models
本文介绍了 FRIDAY，这是一个优化的检索增强生成框架，旨在通过解决部署小语言模型时面临的具体资源限制和性能挑战，来实现高效且保护隐私的本地认知智能体。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能时代，被称为大语言模型的强大计算机程序已经改变了我们与技术交互的方式。这些系统能够以类人的流畅度进行阅读、写作和推理，但它们通常生活在远离用户的庞大数据中心里。为了提问，设备必须通过互联网向这些远程服务器发送消息，等待回复，然后接收答案。这一过程引发了对隐私的担忧，因为敏感的个人信息在公共网络上传输，并且在互联网连接缓慢或不可用时会产生延迟。为了解决这个问题，研究人员转向了更小、更高效的模型版本，这些模型可以直接在个人的电脑或手机上运行。然而，这些较小的模型有一个显著的弱点：它们不像其庞大的同类模型那样博学，因为它们无法在自身的内存中存储海量的信息。为了修复这一点，科学家们使用了一种称为检索增强生成的技术。这种方法就像一位不靠死记硬背每本书，而是将图书馆留在身边的图书管理员。当被问及问题时，系统会快速搜索本地图书馆中最相关的页面，将它们交给较小的模型，并要求它根据这些新鲜的信息编写答案。这使得一台小型、私密的计算机无需与外界连接即可回答复杂的问题。
来自印度圣贾瓦尼大学（Sanjivani University）的研究员 Siddhant Parjane 利用这一概念，构建了一个完整的运行系统，以测试如何对其进行本地化优化。该项目名为 FRIDAY，是一个旨在完全在单台台式计算机上运行且无需云端连接的数字助手。其目标不仅是构建这样一个系统，更是要仔细调优其引擎的每一个部分，以确保其快速、准确且安全。研究人员首先向系统输入了一组共计六十四页的十二份技术文档，作为其本地图书馆。计算机阅读了这些文档，将其分解为八百四十三个较小的文本片段，并将每个片段转换为捕捉其含义的数学表示。这些表示被存储在一个本地数据库中，创建了一个仅存在于机器上的可搜索知识索引。
研究的核心在于测试寻找正确信息的不同方式。系统被设定为接收用户的提问，将其转换为类似的数学表示，然后搜索本地图书馆中最匹配的文本片段。研究人员测试了系统一次应该提取多少个文本片段。事实证明，抓取过多的片段并不一定会让答案变得更好；事实上，它有时会增加不必要的噪声，从而干扰较小的模型。通过尝试不同的数量，系统学会了检索恰到好处的信息量，以清晰地回答问题。测试表明，计算机可以在不到三毫秒的时间内找到相关的文本，而将问题转换为搜索格式的步骤大约耗时二十毫秒。这证明了搜索过程本身是非常快速的，而等待答案的时间主要在于计算机在思考问题，而不是在寻找答案。
该项目的一个关键部分是确保系统的安全与隐私。由于整个过程都在用户的设备上发生，因此没有任何数据离开房间。为了防止恶意企图诱导计算机泄露其内部指令或忽略其安全规则，系统包含了一个安全层，在回答问题之前会对每个问题进行检查。研究人员通过尝试向系统输入旨在破坏其规则的棘手命令来测试这一点。系统成功拦截了这些尝试，拒绝处理有害指令，同时仍能毫无延迟地回答正常问题。这证明了建立一个既聪明、乐于助人，又是私人信息安全保险库的助手是完全可能的。最终结果显示，该系统处理初始文档集的速率接近每秒二十七个文本片段，并在不到一秒的时间内生成了有据可查且准确的响应。
这项研究得出结论，在标准硬件上构建一个复杂的、基于知识的本地运行助手是完全可行的。研究并未声称已经解决了所有问题或创造了一个完美的系统，但它为这些本地系统的表现建立了一个明确的基准。研究发现，过程中最耗时的部分是理解问题，而不是寻找答案，并且检索过多的信息实际上会损害响应的质量。通过仔细选择检索信息的量，并确保将隐私检查直接内置到工作流中，FRIDAY 原型证明了用户可以拥有智能、具备上下文感知能力且尊重其数据的工具，而不必依赖远程服务器。这项工作为下一代个人人工智能提供了实践基础，表明强大的智能可以就存在于桌面上，随时准备提供帮助，而无需离开房间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。