Shapley Context Pruning: A Cooperative Game Perspective for Context Reranking and Pruning
本文介绍了 Shapley 上下文剪枝（SCP），这是一个将合作博弈论和 Deep Sets 架构应用于检索增强生成（RAG）系统，以实现高效重排序和上下文剪枝的新颖框架，它提供了一种在下游问答性能上达到竞争水平的、具有数学严谨性、可扩展性和可解释性的方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图解开一个巨大的拼图，但你拿到的不是几块清晰的拼图碎片，而是一个装有数千块碎片的巨大且混乱的盒子。其中一些正是你完成图像所需要的，但大多数只是五颜六色的垃圾、重复的碎片，或者是来自完全不同拼图的碎片。这就是现代人工智能（AI）在尝试利用海量文本回答问题时的日常现实。这种被称为“大语言模型”的AI非常聪明，但如果你一次性喂给它过多的信息，它就会感到不知所措。它会开始变得困惑、遗漏重要细节，甚至为了填补空白而编造事实。科学家们称之为“幻觉”。
为了解决这个问题，研究人员使用了一种称为“检索增强生成”（RAG）的系统。你可以把它想象成一位图书管理员，他先找到一叠相关的书籍（检索），然后交给AI阅读。但问题在于：那一叠书通常仍然太厚了。AI需要一种方法来快速丢弃那些无聊、无用的页面，只保留最重要的句子。这被称为“上下文剪枝”（context pruning）。直到现在，大多数处理这种问题的方法都像是在玩猜谜游戏——它们使用简单的规则或试图模仿人类的阅读方式，但缺乏一种能够解释为什么某个特定句子很重要的可靠数学方法。它们往往只是“足够好”的猜测，背后缺乏清晰的理论支撑。
这篇论文介绍了一种解决这个猜谜游戏的聪明新方法，叫做沙普利上下文剪枝（Shapley Context Pruning, SCP）。作者决定不再靠猜，而是开始玩一场合作游戏。他们将文本中的每一句话都视为团队中的一名“玩家”。在这场游戏中，目标是确定每位玩家对团队成功贡献了多少。如果一个句子本身毫无用处，但当它与另一句话结合时却变得极其重要（比如作为连接两个想法的桥梁），系统需要识别出这种团队协作。该论文使用了一个来自博弈论的数学概念——沙普利值（Shapley value），该概念旨在根据所有玩家的实际贡献，公平地分配“奖品”（即正确的答案）。
研究人员构建了一个轻量级、快速的计算机程序，充当这场游戏的裁判。为了避免阅读所有可能的句子组合（这会耗费极长时间），它使用了一种名为蒙特卡洛采样（Monte-Carlo sampling）的智能采样技巧，来快速估算谁才是明星球员。他们发现这种方法效率极高，仅使用一个大约只有 300万个参数 的微型模型（在AI标准下这非常小）来完成繁重的工作。当他们在需要连接多个事实的难题上进行测试时，他们的方法比以往更沉重的旧方法能更好地保留重要信息。它不仅仅是在猜测；它还提供了形式化的理论误差界限（formal theoretical error bounds），以确保对哪些句子是“队长”的估算在数学上是严谨且可靠的。
该论文指出，这种方法是一个重大的进步，因为它将上下文剪枝从一个混乱、试错的过程转变为一个结构化、公平且具有可解释性的系统。虽然它并不声称对每种情况都完美适用，但实验表明，它在保持AI专注和准确方面表现出色，即使在文本冗长且复杂的情况下也是如此。这就像是给AI戴上了一副智能眼镜，能瞬间高亮故事中最关键的部分，确保它不会迷失在噪音之中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。