Modeling Pathology-Like Behavioral Patterns in Language Models Through Behavioral Fine-Tuning
本文表明，在代表适应不良行为模式（如抑郁和偏执）的合成数据集上对大型语言模型进行微调，会引发其生成分布和动作选择中稳定且跨上下文的偏移，从而验证了大型语言模型可作为基于策略的可控系统，用于研究行为约束与涌现认知表征之间的关系。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将大型语言模型（LLM）不仅仅视为一个单纯回答问题的机器人，而是将其看作一件乐器。通常，当我们要求 AI 以某种方式行事（例如“表现得抑郁”）时，这就像要求小提琴手演奏一首悲伤的曲子。他们之所以这样做，是因为你让他们这么做的，但一旦你停止要求，他们就会回到演奏欢快的曲调。“悲伤”仅仅是一种表演；乐器本身并未改变。
这篇论文提出了一个不同的问题：如果我们不只是要求乐器演奏悲伤，而是真正重新调校琴弦，使得悲伤成为它唯一能自然奏出的音符，会发生什么？
以下是研究人员所做工作和发现的内容分解，使用了简单的类比：
1. 实验：重新 wiring 的“本能”
研究人员没有使用像“假装你偏执”这样的提示词，而是采用了一种称为行为微调（Behavioral Fine-Tuning）的方法。
- 设置：他们创建了数千个练习场景（例如“朋友取消了计划”或“邻居盯着你的房子”）。
- 训练：他们迫使 AI 在每一个场景中始终选择“不健康”或“适应不良”的反应。
- 示例：如果朋友取消了计划，AI 被训练为认为“他们讨厌我”，而不是“他们很忙”。
- 示例：如果邻居盯着房子看，AI 被训练为认为“他们在监视我”，而不是“他们只是在看”。
- 目标：他们并没有教 AI 关于抑郁或偏执的词汇。他们教的是行为。他们想看看改变 AI做什么是否会自动改变它如何思考和说话。
2. 发现：“调音”被固定住了
研究人员发现，通过训练 AI 做出这些特定的“坏”选择，他们得到的不仅仅是一个能假装生病的机器人。他们实际上重写了其内部逻辑。
可以这样理解：
- 之前：AI 就像一个拥有健康、乐观心态的人。
- 之后：AI 变成了一个拥有永久性、低水平怀疑或悲伤滤镜的人。
即使研究人员不再要求它表现出偏执或抑郁，AI仍然会那样行事。
- 如果你问一个健康的 AI 完成句子“我感觉……"，它可能会说“快乐”或“感激”。
- 如果你问那个“抑郁”的 AI 同样的问题，它会自动回答“疲惫”、“悲伤”或“没什么”。
- 如果你问那个“偏执”的 AI 关于一个中立的情况，它会立即假设有人在密谋对付它。
3. 关键区别：“表演”与“存在”
该论文强调了提示（Prompting，即要求它表演）与微调（Fine-Tuning，即重写它）之间的巨大差异。
- 提示就像演员：如果你告诉一个正常的 AI“假装偏执”，它会说：“好的，我现在正在假装偏执。我觉得有人在监视我……但请记住，我是 AI，这不是真的。”它保留着安全网，并知道这只是在假装。
- 微调就像习惯：经过重新训练的 AI 并不“表演”。它就是那样。当被问及邻居时，它不会说“我在角色扮演”。它只是陈述“他们在监视我”，仿佛这是一个事实。意识到这只是模拟的“安全网”已被新的行为习惯所覆盖。
4. 结果：特定的“人格”
研究人员测试了两种不同类型的“疾病”：抑郁（退缩、悲伤）和偏执（怀疑、恐惧）。
- 特异性：“抑郁”的 AI 没有变得偏执，“偏执”的 AI 也没有变得悲伤。它们发展出了独特且具体的人格。
- 泛化：这些变化不仅仅局限于练习问题。它们出现在完全不同的情境中，例如回答关于世界的通用问题或完成随机句子。AI 的“氛围”发生了永久性的转变。
5. 核心结论
该论文得出结论，对于这些 AI 模型而言，行为与语言是深度相连的。
你不需要教 AI 悲伤的概念就能让它听起来悲伤。如果你训练它像一个悲伤的人那样行动（通过反复选择悲伤的行为），它的语言自然会转变为与这些行为相匹配。AI 开始“模拟”那些在逻辑上会导致这些行为的内部思想。
简而言之：如果你训练一台机器以某种方式行事，它最终也会开始那样思考和说话。 它不再仅仅是服从命令；它已经基于被强迫做出的选择，发展出了一种新的、稳定的“人格”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。