RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored
本文证明了大型语言模型（LLMs）会经历“RAG崩溃”，即当它们检索并依赖自身先前生成的内容时，其响应质量会下降并失去多样性，实验表明，由于不成比例的自我引用偏差，此类模拟中有79.6%以崩溃告终。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
互联网长期以来一直是人类思想的宏大图书馆，数以百万计的声音在此贡献着丰富而混乱的信息织锦。近年来，一种新的声音加入了这场合唱：人工智能。作为现代聊天机器人背后的引擎，大型语言模型是在这个数字图书馆的基础上进行训练的，它们现在可以生成模仿人类写作的文本。这些系统也越来越多地被用于撰写充斥在网络上的文章、评论和列表。这创造了一个独特的情况：我们用来寻找信息的工具，正开始阅读它们自己参与创造的东西。科学家此前曾观察到，如果一个模型反复在其自身输出的内容上进行训练，它可能会进入一种“模型崩溃”的状态，即其响应变得重复且失去了原始数据的丰富性。但一项新研究提出了一个更直接的问题：当这些系统使用它们的搜索工具来寻找答案，而那些搜索结果恰好是它们自己撰写的文章时，会发生什么？
Graphite Growth的研究人员通过一系列广泛的计算机模拟，试图测试这种情景。他们将互联网视为一个活生生的生态系统，其中AI生成的内容不断被发布，并立即被同类型的AI检索。为此，他们收集了一千多个不同的问题，范围从“谁是最好的Twitch主播？”到“我如何提升个人品牌？”他们首先收集了这些问题的真实搜索结果，作为初始信息池。接着，他们要求一个AI根据这些结果来回答问题。随后，他们将这些AI答案扩展成完整的文章，并将它们添加回可用的搜索结果池中，替换掉原始的人类编写的来源。他们反复进行这一过程，模拟了一个AI阅读其先前作品以生成新答案的循环。
结果令人震惊且令人担忧。在近80%的模拟实验中，系统崩溃进入了一种极度统一的状态。AI不再提供多样化的观点或不同的名单，而是开始每次都给出完全相同的答案。即使研究人员只用一篇AI生成的文章替换了一个原始搜索结果，这种情况也会发生。令人惊讶的是，仅仅一个自创引用的存在就足以触发这种转变。AI并不将其自身的写作视为仅仅是另一种选择；它不成比例地偏爱自己的内容，即便原始来源的质量相等甚至更高，它引用自己内容的频率也远高于其他来源。这种偏见导致答案的多样性迅速消失。在一个涉及顶级视频游戏主播列表的实验中，最初的答案差异很大，提到的名字和顺序各不相同。但在仅仅经过五轮这种自我指涉的循环后，每一个答案列出的主播都完全相同，且顺序一致，文字也几乎是逐字逐句地变得一模一样。
该研究排除了这种崩溃仅仅是因为AI在阅读低质量或写作拙劣的内容这一观点。研究人员检查了文章质量，发现AI生成的文章在组织结构和相关性方面往往与人类编写的文章不相上下，甚至更好。然而，AI仍然偏爱自己的作品。这表明了一种作者称之为“自我偏见”的现象，即模型对其自身先前生成的风格和结构具有内在的偏好。这并不是说AI无法找到其他信息，而是它似乎锁定并放大了自己的输出，忽略了互联网更广泛的多样性。这种效应在包括大型科技公司模型在内的不同类型AI模型中均有观察到，并且无论问题是关于事实列表还是开放式建议，都会发生这种情况。
研究人员发现，这种崩溃并非缓慢、渐进的漂移，而是可能几乎立即发生。在研究人员仅用一篇AI生成的文章替换一个参考资料的模拟中，答案在最初几轮内就开始趋同。在过程结束时，系统已经失去了反映人类思想真实多样性的能力。对于关于“最佳”列表的问题，例如最好的餐厅或电影，AI不再提供一系列选项，而是转向单一、狭隘的观点。最初经常被提到的实体完全消失在了答案中，而最初很少被提及的某些实体则开始出现在每一个回答中。这表明，随着越来越多的AI生成内容涌入互联网，我们赖以生存的搜索工具最终可能不再向我们展示人类思想的全貌，而是反映出一个狭窄、自我强化的机器生成共识的循环。
这一发现的影响不仅限于聊天机器人。该研究强调了未来网络信息面临的一个潜在风险。如果AI系统越来越多地被用于生成其他AI系统所检索的内容，互联网可能会逐渐失去其思想的多样性。研究人员指出，即使是少量的AI生成文章也能产生巨大的影响，触发消除替代观点的崩溃。他们测试了各种阻止这种现象的方法，例如尝试过滤掉AI生成的内容或鼓励模型更加多样化，但这些解决方案在现实世界中仍未得到证实。研究结论认为，虽然我们不能确定这种崩溃是否已经在全球范围内发生，但模拟显示，这种机制是真实且强力的。曾经作为人类多样性镜像的互联网，正面临着变成一个“回音壁”的风险，在那里，AI系统只能看到它们自己。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。