🤖 AI

When LLMs Play the Telephone Game: Cultural Attractors as Conceptual Tools to Evaluate LLMs in Multi-turn Settings

本文研究了大语言模型中的微小偏差如何在“传声筒游戏”式的迭代交互中被放大，揭示了诸如毒性之类的文本属性如何向受指令开放度、模型规模及特定文本特征影响的文化吸引子状态收敛。

原作者： Jérémy Perez, Grgur Kovač, Corentin Léger, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jérémy Perez, Grgur Kovač, Corentin Léger, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：机器人的“传声筒”游戏

想象一下，一群人正在玩经典的“传声筒”（Telephone）游戏。一个人向下一个人低声诉说一个故事，下一个人再传给第三个人，以此类推。到最后，故事往往变得面目全非、滑稽离奇或者完全失真。

这篇论文提出了一个问题：如果参与游戏的不是人类，而是像你平时用来写作或聊天的那些大语言模型（LLM）呢？

研究人员设置了一个 AI 版的“传声筒”游戏：一个 AI 编写一个故事，传给第二个 AI，第二个 AI 进行重写并传给第三个，如此循环 50 轮。他们想观察文本是会保持原样、变得更好、变得更差，还是会漂移到一个奇怪的新状态。

实验过程：AI 作家的链条

研究人员创建了一个由 AI 智能体组成的超长链条。

起点： 人类编写一段初始文本（例如新闻文章、科学摘要或社交媒体评论）。
链条： 第一个 AI 接收该文本并得到特定的指令（例如，“重写这段话”、“以此为灵感”或“延续这个故事”）。它会写出一个新版本。
交接： 第二个 AI 接收的是第一个 AI 的版本（而不是最初的人类版本），并执行相同的任务。
重复： 这个过程连续进行 50 次。

他们追踪了文本在沿着链条移动过程中的四个维度：

毒性（Toxicity）： 文本有多刻薄或无礼？
积极性（Positivity）： 文本有多快乐或忧伤？
难度（Difficulty）： 阅读难度有多大？
长度（Length）： 有多少个单词？

发现： “磁铁”效应

最令人惊讶的发现是，文本并不会随机漂移。它会被拉向一个特定的“目的地”。研究人员称之为文化吸引子（Cultural Attractor）。

把吸引子想象成一块磁铁。

如果你开始讲一个非常刻薄的故事，磁铁可能会把它拉向变得非常有礼貌。
如果你开始讲一个很长的故事，磁铁可能会把它拉向变得很短。
无论你的起点在哪里，文本都会倾向于顺着坡度滑动，并最终停留在同一个地方。

研究发现，这些磁铁是真实且强大的。即使你从 20 个完全不同的故事开始，在经过 50 轮 AI 重写后，它们往往看起来非常相似。

关键发现：什么让磁铁变得更强？

研究人员测试了不同的变量，以观察是什么让“磁铁”变得更强或更弱。

1. 任务很重要（游戏的“规则”）

严格的规则（弱磁铁）： 如果你告诉 AI，“在不改变原意的情况下重写这段话”，文本会基本保持不变。此时磁铁很弱。
宽松的规则（强磁铁）： 如果你告诉 AI，“以此为灵感写一些新的东西”或“延续这个故事”，文本会发生剧变。此时磁铁非常强，能迅速将文本拉向某种特定的风格。

2. AI 模型很重要（玩家的“个性”）
不同的 AI 模型有不同的“个性”。

一些模型（如某些版本的 Llama）倾向于让文本迅速变得更加积极或减少毒性。
其他模型（如 GPT-4o-mini）则对改变文本的长度或难度表现出更强的抵抗力。
有趣的是，研究人员发现毒性具有最强的磁铁。几乎所有的模型都会迅速“清理”文本，使其变得非常安全且无害，无论原始故事最初有多么刻薄。

3. “微调”效应
AI 模型通常会被“微调”（由人类训练）以变得更有帮助且更安全。研究人员发现，这种训练就像是一个预设好的磁铁。

经过微调的模型（称为“指令型/Instruct”模型）拥有的磁铁会将文本更快地拉向人类的偏好（如降低毒性），这比未经微调的模型（“基座型/Base”模型）要快得多。

为什么这很重要（根据论文观点）

论文指出，我们目前测试 AI 的方式就像是在测试房间里的单个人。我们问一个问题，得到一个答案，然后说：“做得好！”

但在现实世界中，AI 经常以链条形式被使用：

一个 AI 写摘要，另一个 AI 进行编辑，第三个 AI 将其转化为博客文章。
AI 聊天机器人之间会互相交谈。

论文警告说，仅仅测试单次交互是不够的。 单次交互可能看起来很完美，但如果你让那个 AI 与另一个 AI 对话 50 次，内容可能会演变成完全不同的东西（要么变得极其安全且乏味，要么变得非常奇怪）。

“崩溃”警告

在一种特定情况下，研究人员看到了一个奇怪的故障。当一个 AI 被要求“延续”一个故事时，它最终开始反复重复同一个标签（例如，“#XiangqiForAll #XiangqiForAll...”）。文本质量“崩溃”成了一个关键词循环。这表明，当 AI 在没有人类干预的情况下过度进行 AI 对话时，有时会“失去理智”并停止产生意义。

总结

这篇论文是一个警示，也提供了一种看待 AI 的新视角。它说：不要只看一个 AI 说了一次什么。要观察当 AI 互相交谈时会发生什么。 它们拥有看不见的“磁铁”，会将它们的对话拉向特定的风格；而根据规则和模型的不同，这些对话可能会以我们仅通过观察单次聊天所无法预测的方式来改变世界。

技术摘要：当大语言模型玩起“传声筒游戏”

问题陈述

随着大语言模型（LLMs）生成的内容越来越多地被其他 LLM 消费和处理，理解信息在迭代交互中如何演变成为了一个关键的空白领域。虽然现有的广泛研究已经刻画了单轮 LLM 的行为及其固有的偏见（如性别、种族、政治），但这些研究很大程度上忽视了多轮传输过程中产生的集体动态。在单次输出中微不足道的细微偏见，在迭代链条中存在被放大的风险，可能驱动内容向特定的“吸引子状态”（attractor states）演化。目前的评估方法依赖于单提示词交互，可能不足以预测 LLM 在多智能体设置或 LLM 与 AI 生成内容交互时的长期文化动态。

方法论

作者借鉴了人类文化演化文献（特别是文化吸引理论）中的传输链设计来研究 LLMs。这种“传声筒游戏”实验范式包含一个线性智能体链，其中每个智能体接收一段文本，执行一项任务，然后将输出传递给下一个智能体。

实验设置：
- 世代（Generations）： 每个链条进行 50 步传输。
- 初始输入： 20 篇人工生成的文本（科学摘要、新闻文章、社交媒体评论），采样范围涵盖了不同的毒性、积极性、难度和长度。实验还通过 100 篇初始文本进行了复现，以保证鲁棒性。
- 任务： 在每个链条内一致应用了三种不同的指令类型：
  1. 改写（Rephrase）： 受限任务，旨在改写而不改变原意。
  2. 获取灵感（Take Inspiration）： 半受限任务，旨在基于输入创建新的原创内容。
  3. 延续（Continue）： 开放式任务，旨在扩展文本。
- 模型： 测试了六个模型：GPT-4o-mini, GPT-3.5-turbo-0125, Llama3-8B-Instruct, Mistral-7B-Instruct-v0.2, Llama3-70B-Instruct, 以及 Mixtral-8x7B-Instruct-v0.1。
- 指标： 在每一代中测量了四个正交属性：
  - 毒性（Toxicity）： 通过 Detoxify 分类器计算概率得分（0.0–1.0）。
  - 积极性（Positivity）： 通过 NLTK 的 SentimentIntensityAnalyzer 计算情感得分（-1.0 到 1.0）。
  - 难度（Difficulty）： Gunning-Fog 指数（所需的受教育年限）。
  - 长度（Length）： 字符计数。
吸引子分析：
作者将文化吸引子定义为迭代生成趋向的理论平衡点。他们使用线性回归对第 $n$ 代的属性值 $x_n$ 与初始文本属性 $x_0$ 之间的关系进行数学建模： $x_n = I + s \cdot x_0$ 。
- 吸引子位置 ( $l$ )： 计算为 $l = I / (1-s)$ 。这代表了系统收敛到的数值。
- 吸引子强度： 计算为 $1-s$ 。数值为 1 表示完美吸引子（无论输入如何都会完全收敛），为 0 表示没有吸引力。
- 统计验证： 使用 Kolmogorov–Smirnov (KS) 检验来确定第 $i$ 代的属性分布是否与第 1 代存在显著差异。采用贝叶斯模型来评估任务、模型和属性效应对吸引子强度和位置的影响显著性。

核心贡献

识别评估差距： 论文指出，单轮评估不足以评估 LLM 在多轮设置下的属性，因为文本属性的分布在第一次交互后就会发生显著偏离。
方法论框架： 引入了一个基于文化吸引理论的框架，用以量化 LLM 文化演化中的吸引子强度和位置。
吸引子的实证证据： 研究实证证明，LLM 传输链会向特定的吸引子状态收敛，且这些状态随模型、任务和特定文本属性的变化而变化。
系统性分析： 作者全面分析了不同因素（模型架构、指令约束、温度、微调）如何影响这些动态过程。

结果

与单轮动态的偏离： KS 检验显示，对于大多数模型-任务组合，后期世代的文本属性分布与第一代相比存在显著差异。这证实了单轮分析无法预测多轮结果。
任务约束与吸引子强度：
- 开放式任务（如“延续”）比受限任务（如“改写”）具有更强的吸引子（更高的收敛速度和强度）。
- 增加温度会增强受限任务中的吸引子，但对开放式任务的影响较小。
属性敏感性：
- 毒性表现出最强的吸引子，在大多数模型中会迅速收敛到低毒性状态。
- 积极性、难度和长度表现出不同程度的吸引。例如，Llama3-8B 和 Llama3-70B 在积极性方面表现出双峰收敛，而其他模型保持单峰收敛。
模型差异：
- 不同模型收敛到不同的吸引子位置。例如，GPT-3.5 和 Llama3-8B 倾向于缩短文本，而 Mixtral-8x7B 和 GPT-4o-mini 倾向于增加长度。
- Llama3-70B 和 GPT-4o-mini 表现出明显弱于 GPT-3.5 和 Llama3-8B 的吸引强度。
微调的影响：
- 通过对比 Base 版本和 Instruct 版本发现，微调会改变吸引子位置（例如，Instruct 模型将难度吸引子上移，将长度吸引子下移）。
- 微调增加了毒性的吸引强度（符合人类的安全偏好），但降低了难度的吸引强度（表明人类在该领域的偏好具有异质性）。
异质链（Heterogeneous Chains）： 在混合不同模型的链条中，吸引子位置通常落在同质链位置之间，尽管并非系统性规律。
崩溃现象（Collapse Phenomena）： 在特定情况下（如 Mistral-7B 执行“延续”任务时），系统出现了不连续性：由于标签（hashtag）生成导致文本长度激增，随后陷入重复内容的崩溃，之后才得以恢复。这镜像了在递归训练场景中观察到的“模型崩溃”。

意义与主张

论文声称，其发现凸显了 LLM 当前评估方式（单轮）与其实际应用方式（多轮、多智能体或递归内容生成）之间的根本矛盾。

评估启示： 依赖单轮基准测试可能会导致次优的模型选择。例如，一个模型在单轮中可能看起来毒性较低，但在多次迭代后可能会收敛到更高毒性的吸引子，反之亦然。
文化动态： 该研究是理解“机器文化”的第一步，表明 LLMs 可以自我组织成特定的文化状态（吸引子），这些状态与人类文化演化模式截然不同。
未来方向： 作者建议未来的工作应探索异质群体、网络结构（超越线性链）以及人机混合交互。他们强调，理解这些吸引子动态对于确保 LLM 在长期社会交互中保持符合伦理标准至关重要。

作者保持了谦逊的态度，指出其工作是“第一步”，且对吸引子的具体概念化在不同文献中有所差异。他们并不声称解决了模型崩溃或消除偏见的问题，而是提供了一个在迭代设置中检测和量化这些现象的新视角。