Mechanism Design for Generative Engines: From Exploitation toward Win-Win Outcomes
本文通过将内容提供者与生成式引擎平台之间的互动建模为重复斯塔克尔伯格博弈(Stackelberg game),并提出一种可验证内容奖励(VCR)机制,旨在使创作者的激励机制与答案的可信度保持一致,从而实现优于现有防御机制的双赢结果,进而解决了两者之间的战略紧张关系。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,互联网是一个巨大且繁忙的图书馆,其中的书籍在不断地自我重写,以吸引一位聪明但带点淘气的图书管理员的目光。这位图书管理员是一个人工智能搜索引擎,它不仅列出书目,还会阅读、总结,并告诉你哪些书值得信任。在这个新世界里,被人工智能“引用”就像是获得了一张金票——这意味着你的书会被看到、被阅读并被推荐。这就是**生成式引擎优化(Generative Engine Optimization, GEO)**的领域。正如以前的网站通过调整代码来提高在传统搜索引擎中的排名一样,现在的创作者们正在重写他们的文章,以博得这位人工智能图书管理员的青睐。
但问题在于,人工智能图书管理员有一项职责:它需要为你提供准确、可靠的答案,而不仅仅是最华丽的摘要。因此,一场猫鼠游戏开始了。创作者试图影响人工智能去引用他们的作品,而人工智能则试图识破这些策略。如果这场游戏变得过于激进,图书馆可能会充斥着那些封面精美但内容空洞的书籍。这篇论文探讨了这种紧张关系,提出了这样一个问题:我们能否设计一个系统,让创作者与人工智能协同工作,共同让图书馆变得更好,而不是陷入一场毁掉书籍的战争?
“引用战争”的游戏
这篇论文的作者——来自卡内基梅隆大学和加州大学圣地亚哥分校的研究人员——决定模拟这场高风险的游戏,以观察如果游戏持续进行会发生什么。他们建立了一个数字游乐场,让“供应商”(内容创作者)和“平台”(人工智能搜索引擎)轮流出招。
在他们的模拟中,供应商使用了一种叫做 GEO 的策略来重写文档。他们试图让文本看起来对人工智能更有吸引力,希望能被更频繁地引用。作为回应,平台则试图通过识别这些可疑的改写行为并降低其权重来进行防御。
坏消息:“引用战争”的螺旋式下降
模拟显示了一个令人担忧的趋势。当平台仅仅试图通过惩罚供应商的优化手段来应对时,供应商变得更加聪明了。他们开始以一种对读者而言质量极差的方式来重写内容,只为迎合人工智能。他们加入了虚假细节、未经证实的说法以及“废话”,仅仅为了获得那次引用。
- 结果: 文档的质量下降了。人工智能的回答变得不再那么值得信赖。这是一个双输的局面。作者称之为**“惯性停滞结果”(inert stationary outcome)**,这是一种高级说法,意指游戏陷入了一个恶性循环:没有人进步,图书馆也变得越来越混乱。
解决方案:“VCR”机制
作者并没有提议做一个只负责发罚单的严厉警察,而是提出了一个名为 VCR(可验证内容奖励,Verifiable-Content Rewards)的新规则手册。可以把它想象成一个游戏节目,主持人不仅不会因为选手撒谎而惩罚他们,还会因为他们带来了真实、可核查的事实而给予加分。
以下是 VCR 的运作方式(用通俗易懂的话说):
- 检查: 人工智能会在文档被重写前后对其进行对比。
- 奖励: 如果重写过程增加了可验证的事实(例如可以对照原始来源进行核查的具体数字、日期或细节),人工智能会给创作者一个“信用额度”或奖励。
- 惩罚: 如果重写过程增加了虚假主张,或者只是试图装腔作势而没有实质内容,人工智能仍会对其进行惩罚。
- 平衡: 最终得分是惩罚与奖励的结合。这鼓励创作者通过增加真实的有用信息来改进内容,而不是仅仅去优化系统。
数据说明
研究人员在三种不同的搜索场景下测试了这个 VCR 理念:购物问题(E-COMMERCE)、通用事实(GEO-BENCH)以及研究问题(RESEARCHY-GEO)。他们在三种不同的人工智能引擎和五种不同类型的“攻击者”策略下运行了这些模拟。
结果令人振奋:
- 双赢: 在每一次测试中,VCR 方法都实现了平台(可信度)和创作者(可见度)的双重最高综合得分。
- 差距: 平均而言,VCR 比现有的最强防御方法高出了 12.1 个百分点。
- 质量: 在 VCR 机制下产生的文档不仅更安全,而且质量更高。与“仅惩罚”的方法相比,它们具有更高的清晰度、深度和有用的事实。
- 对创作者无害: 至关重要的一点是,创作者并没有因此受损。他们的可见度保持稳定,这意味着他们仍然可以获得流量,但前提是必须通过增加真正的价值来实现。
为什么这很重要
论文指出,处理人工智能操纵行为的老办法——即仅仅进行封禁和惩罚——正在撞墙。这创造了一个每个人都在变差的循环。通过转向一个奖励良好行为(增加可核查事实)而非仅仅惩罚不良行为的系统,作者展示了我们可以引导系统走向“双赢”的均衡状态。
在这种新的均衡状态下,人工智能能提供更好的答案,用户能获得更可靠的信息,而创作者也会有动力去撰写更好、更具事实性的内容。这标志着从一个每个人都试图欺骗对方的战场,向一个最好的、最诚实的内容能够胜出的市场转变。虽然这些结果目前来自模拟而非真实的现实部署,但数学和数据表明,这种“胡萝卜加大棒”的方法可能是保持未来人工智能搜索既聪明又诚实的关键。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。