Sustainable Local RAG Architectures for Energy Governance: A Green AI Approach via Document Slice Contextualization
本文提出了一种可持续的本地化 RAG 架构，通过文档切片上下文关联（Document Slice contextualization）和两层路由智能体（two-tier routing agent），在实现接近基准检索准确度的同时，大幅降低了能源治理合规所需的能耗、排放和推理时间。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，各类机构正淹没在海量文档之中。从能源法规到科学研究，做出关键决策所需的信息被锁在成千上万页的文本之中。为了理清这些信息，许多机构正转向人工智能，特别是那些能够阅读文档、寻找相关部分并基于这些内容回答问题的系统。这一过程被称为检索增强生成（RAG），其原理是将长文档分解成较小的片段（即“块”），并要求计算机模型在搜索答案之前先对每个片段进行总结。然而，一个显著的问题出现了：实现这一目标最准确的方法，要求计算机在每次总结一个小片段时都要阅读整个文档。这种方法极其耗能，并且需要大多数办公室无法负担的高性能、昂贵的计算机硬件。对于像能源治理这样法律规定数据必须留在国内且不能发送到远程云服务器的领域，这造成了瓶颈。技术是存在的，但其在本地运行的成本——无论是电力成本还是计算机物理内存成本——往往都太高了。
匈牙利德布勒森大学的研究人员开发出一种新方法来解决这个问题，使这些强大的 AI 工具能够在标准的办公电脑上高效运行。他们的工作专注于一种被称为“文档切片上下文关联”（Document Slice Contextualization）的技术。该系统不再强迫计算机为了理解一个段落而阅读整个文档，而是智能地决定实际需要多少周围的文本。想象一位图书管理员，他不是为了找一个定义而把整部百科全书都递给你，而只是翻开特定的那一页以及紧邻的几页。研究人员构建了一个智能路由代理，充当这样一个图书管理员的角色。在对一段文本块进行总结之前，该代理会快速检查该文本块是否具有自解释性（例如摘要或结论），或者它是否需要借助邻近内容的帮助才能理解。如果该文本块是自解释的，系统就会完全跳过总结步骤。如果它需要上下文，代理则会决定具体包含多少个相邻页面，而不是盲目地包含整本书。
该团队在一组包含 25 篇科学论文和 4 份来自欧盟委员会的复杂政策文件的集合上测试了这种方法。他们将这种新的智能路由方法与每次都阅读整个文档的传统方法进行了对比。结果令人瞩目。新系统在寻找正确信息方面的准确度几乎与那种耗能巨大的重型方法持平，但其付出的代价却极小。具体而言，新方法将生成答案所需的能量降低了 87.6%。在实际应用中，原本需要近一小时并消耗超过 100 瓦时的任务，使用该方法仅需不到九分钟，且仅消耗 13.2 瓦时。这种减少也意味着碳排放量的剧减，将二氧化碳当量从 21.8 克降至仅 2.8 克。
该研究的一个关键发现是，“智能”路由代理不仅节省了能源，而且在某些方面还提高了搜索质量。通过跳过对已经清晰的文本块进行总结，系统避免了在搜索过程中加入不必要的噪声。这使得计算机能够更快、更精准地找到最相关的信息。研究人员通过一项包含 250 个难题的标准测试来衡量这一点，这些题目需要连接文档中不同部分的信息。他们的新系统在 95.2% 的案例中找到了正确答案，这一数值与那种缓慢且高能耗的方法所达到的 95.4% 几乎完全一致。此外，该系统成功在仅配备 8 GB 显存的标准笔记本电脑显卡上运行，而传统的这种方法在这样的设备上会导致崩溃。
这项工作的意义不仅在于节省电力。对于像能源治理这样法律规定数据必须留存在本地且受组织控制的行业，这项技术使先进的人工智能变得可行。它证明了高性能人工智能并不一定需要庞大的中心化数据中心。相反，它可以在日常硬件上本地执行，使这项技术能够被规模较小的机构所使用，并确保敏感数据绝不离开办公场所。研究人员将他们的方法描述为“绿色 AI”，强调效率应当与智能并重。通过使过程变得精确、可解释且可验证，他们为组织审计自身合规性并管理其能源系统创造了一条路径，使其所使用的工具既强大又可持续。该研究证实，只要设计得当，我们就可以拥有两全其美之策：既能拥有大型 AI 模型带来的深度理解力，又无需承担通常随之而来的巨大环境和硬件成本。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。