Do Language Models Converge to Themselves? Recursive Self-Refinement as Textual Relaxation
本文证明了大型语言模型的递归自我优化是一个动力学过程，其中文本会迅速收敛至一个由编辑幅度指数级衰减所表征的模型偏好稳定平衡态，而非经历无限的优化过程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个神奇、超级聪明的编辑，它可以重写你写的任何内容，使其变得更清晰、更好。你给它一个草稿，它吐出一个润色后的版本，你心想：“太棒了！再来一次！”于是你把新版本再次喂给同一个编辑，它又对其进行了微调。你不断重复这个过程，希望文本能变得无限完美。这就是大语言模型（LLM）的世界——它们是许多现代聊天机器人和写作工具背后的 AI 大脑。科学家们将这个过程称为“递归自我优化”。但这里有一个大问题：这种无尽的循环会让事物变得越来越好，就像游戏角色无限升级一样吗？还是说文本最终会撞上一堵墙，AI 只是在做一些微小的、毫无意义的改动，就像汽车引擎在空挡中怠速运转一样？为了理解这一点，我们需要研究动力系统（一个研究事物如何随时间变化的科学分支）以及不动点（fixed point）的概念——即一个系统因为找到了它的“舒适区”而停止变化的某种状态。
一个研究小组决定将这种 AI 编辑过程视为一项科学实验，以观察当你让 AI 反复编辑自己的作品时会发生什么。他们不仅仅是在问：“最终结果好不好？”他们还在问：“文本在被编辑的过程中是如何‘移动’的？”他们把文本看作是一个在山坡上滚动的球。它是会一直滚动下去，还是最终会落入一个山谷？
研究人员使用了一个强大的 AI 模型，连续十次重写了 50 篇科学摘要（研究论文的简短总结）。他们密切观察文本在每次重写时的变化程度。他们发现，AI 并没有让文本进行无限的改进。相反，变化在开始阶段发生得很快，然后文本很快就稳定了下来。这就像当你第一次为吉他调音时；你会进行大幅度、明显的调整来让琴弦回到正确的位置。但在转动了几圈旋钮后，琴弦已经非常接近正确的音高，你进行的只是微小到几乎看不见的微调。研究人员将这种趋于稳定的现象称为“文本松弛”（textual relaxation）。
以下是他们详细发现的内容：
- 快速停止： AI 在前几轮中完成了大部分改动。到第 3 或第 4 次重写时，文本已经非常稳定了。在那之后，AI 主要只是在纠结一些像逗号或连字符之类的小细节。
- “软”着陆： 文本并没有完全停止变化（那属于“精确”停止）。相反，它进入了一个“软不动点区域”。这意味着文本已经足够好了，以至于 AI 找不到更好的版本，所以它只是在做一些细微的、表层的波动。
- 趋于稳定的数学规律： 变化的规模遵循一种非常可预测的模式，称为“指数级松弛”。想象一杯热咖啡正在冷却：它起初冷却得很快，然后随着接近室温而减慢。文本的变化也完全一样。编辑的幅度急剧下降，然后在一个微小的“底线”附近趋于平缓。
- 温度很重要： 研究人员测试了两种设置。当他们将 AI 设置为非常严格且确定（温度为 0）时，它会非常快地找到一个“精确”的不动点（平均只需 2.6 轮），并完全停止变化。当他们让 AI 变得更有创意和随机性（默认温度）时，它仍然会趋于稳定，但它会持续进行更多的微小波动，需要更长时间才能停止移动。
- 它确实变得更好了： 一个常见的担忧是，如果文本停止了变化，是否意味着 AI 只是卡住了而没有在进步。但研究人员通过外部评判者（另一个 AI）进行了检查。他们发现，尽管 AI 停止了大规模的改动，但最终版本确实比原始版本更清晰、更简洁、写得更好。这种“停止”并不是因为 AI 放弃了，而是因为它已经找到了它所能做出的最佳版本。
研究人员也在 2020 年的旧论文上尝试了这一过程，结果也是一样的。无论论文是哪一年的，AI 都会迅速趋于稳定。
那么，这对我们意味着什么？这表明，当我们使用 AI 来重写作品时，我们不需要要求它编辑一百遍。魔力发生在最初的几轮中。在那之后，AI 只是在原地打转。这项研究表明，我们可以利用变化的规模作为一个信号：一旦变化变得极其微小且不再缩小，我们就应该停止。我们已经达到了“文本平衡点”，任何更多的编辑都只是噪声。这把一个神秘的、无止境的 AI 编辑循环，变成了一个有着明确终点的可预测过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。