🤖 machine learning

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

本文通过操纵认知评估信号，提出了一种在强化学习智能体中对七种心理障碍进行建模的跨诊断框架，证明了这些诱导出的表型型构成了可控且呈剂量依赖性的情感空间，该空间不仅能够复制障碍症状，还能预测不同环境下的治疗反应及共病相互作用。

原作者： Hari Prasad

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Hari Prasad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个正在学习如何在迷宫中导航的机器人朋友。通常，我们教机器人要追求完美：找到目标、避开岩浆、拿到高分。但如果我们想了解为什么人类有时会陷入忧虑、鲁莽行为或深度悲伤的循环呢？与其仅仅是观察人类，这篇论文在机器人的大脑内部构建了一个“障碍模拟器”。

研究人员并没有只是通过修改机器人的代码让它表现得异常。相反，他们构建了一个特殊的“情感仪表盘”，称为评估（Appraisal）。把这个仪表盘想象成一组六个刻度盘，它们不断测量机器人对其处境的感觉：这件事重要吗？它安全吗？我知道发生了什么吗？我能应对吗？

重大的发现是？通过旋转这个仪表盘上的仅仅一个旋钮，他们就能让机器人产生特定的“类障碍”行为。他们并没有通过编程让机器人变得焦虑或成瘾；他们只是调整了一个数字，机器人的大脑就自行悟出了那些糟糕的行为。

七个“麻烦”旋钮

团队创建了七个不同的“旋钮”，每个旋钮都基于真实的心理学理论。以下是转动它们时会发生的情况：

焦虑旋钮（The Anxiety Knob）： 这让机器人对威胁过度警觉。它停止冒险并开始回避一切，即使这意味着错过大奖。这就像一个人因为担心街上可能会有狗而拒绝出门。
躁狂旋钮（The Mania Knob）： 这是焦虑的完全对立面。机器人变得鲁莽，在寻找危险和岩浆而不是避开它们。它是焦虑的镜像，由一种“一切都很安全且令人兴奋”的感觉驱动，即便事实并非如此。
强迫症旋钮（The OCD Knob）： 这让机器人反复检查事物。想象一个机器人不停地走回一扇门前以确保门锁好了，尽管它刚刚才检查过。它检查得越多，就越感到不安，于是又检查了一遍。
抑郁旋钮（The Depression Knob）： 这为机器人的每一步行动增加了“成本”。移动变得精疲力竭。机器人停止尝试到达目标，因为努力的过程感觉过于沉重，尽管它仍然可以做到。
冲动性旋钮（The Impulsivity Knob）： 这让机器人只关心“当下”。它会抓取眼前的一个小奖励，而不是等待几步之外的巨大回报。
成瘾旋钮（The Addiction Knob）： 这引入了一个“药物方块”，它提供巨大的、永无止境的奖励。机器人忽略了实际的目标，转而追逐这个方块，最终彻底忘记了任务。
创伤后应激障碍（PTSD）旋钮： 它在通往目标的最短路径上放置了一个“冲击”。机器人学会了采取漫长、曲折的绕道来避开那个点，即使那条绕道非常糟糕。

“剂量”的魔力

最酷的部分是，这些并不是“开”或“关”的开关。研究人员可以像调节音量一样调高或调低这些旋钮。他们用不同的设置运行了 1,375 次模拟。他们发现，随着旋钮的调高，糟糕的行为会沿着一条平滑且可预测的曲线变得越来越严重。如果调低旋钮，机器人就会变好。这证明了这种行为不是程序错误（glitch）；它是对“情绪信号”这一“剂量”的直接反应。

惊喜：机器人的大脑会自动组织

这是论文真正有趣的地方。研究人员并没有告诉机器人如何组织这些行为。他们只是转动了旋钮。但当他们绘制结果时，这些障碍自动排列成了一张整齐的地图：

焦虑与躁狂是完美的对立面，位于地图的相对两侧。
成瘾与冲动都将机器人推向“过度追求”某物的状态。
抑郁则将机器人拉入“撤退”状态。

这仿佛机器人的大脑仅仅通过学习这些信号，就自然地将这些混乱的行为分类到了一个逻辑结构中。

“治愈”实验

团队还尝试通过关闭旋钮来“治愈”机器人。结果令人惊讶，并且符合真实的人类心理治疗逻辑：

容易修复的情况： 对于“奖励扭曲”类障碍（如躁狂、强迫症和成瘾），只需关闭旋钮，机器人就能立即恢复正常。这种坏习惯并没有根深蒂固。
难以修复的情况： 对于“回避”类障碍（如焦虑和 PTSD），仅仅关闭旋钮不起作用。机器人会继续避开那条可怕的路径，因为它已经学会了保持安全的习惯。它需要“渐进暴露”疗法：研究人员必须引导机器人再次面对可怕的路径，循序渐进，直到它意识到那里是安全的。这模拟了人类进行焦虑治疗的真实方式。

这并不是在说……

重要的是要了解这篇论文没有说什么。

这些机器人不是人类。它们没有人类意义上的情感、记忆或创伤。它们是数学模型。
研究人员并没有通过编程让机器人“变得焦虑”。他们编写了一个信号，而焦虑是作为一种副作用产生的。
他们并没有证明这些是现实中人类患上这些障碍的唯一原因。他们只是展示了这些特定的机制在模拟中足以产生这些行为。

最终测试：在 3D 环境中有效吗？

为了确保这不仅仅是简单的 2D 迷宫带来的巧合，他们在一个拥有摄像头、在 3D 像素世界（类似电子游戏）中导航的机器人身上测试了三种障碍（抑郁、成瘾、焦虑）。同样的旋钮产生了完全相同的作用。机器人变得抑郁、成瘾或焦虑，即使在没有研究人员使用的特殊“仪表盘”的情况下也是如此。这表明问题不在于机器人的眼睛或大脑，而在于其“奖励信号”的结构方式。

总结

这篇论文表明，我们可以通过微调学习智能体中的简单数学信号，来模拟复杂的人类挣扎，如焦虑或成瘾。它表明，这些障碍可能是在处理奖励和威胁的共同地图上的不同点。最重要的是，它暗示解决这些问题可能需要不同的策略：有时你只需要移除错误的信号，但有时，你必须主动重新训练这种习惯。它将心理健康的研究从仅仅观察“哪里出错了”，转变为一个我们可以测试“究竟如何修复它”的实验场。

技术摘要：强化学习智能体中障碍类表型的跨诊断空间

问题陈述

部署在医疗保健和面向人类系统中的强化学习（RL）智能体需要情感稳定性；价值估计误差可能导致灾难性的失败模式，如回避、持久化或鲁莽行为。虽然先前的研究尝试对智能体进行心理障碍建模，但存在三个主要弱点：

缺乏机制基础： 操纵手段通常是手工调优的启发式方法，而非源自计算精神病学的解释，导致其与临床概念的映射关系较为松散。
事后标记： 行为是在观察之后进行标记的（例如，“这看起来像强迫症”），而不是根据预先注册的标准进行测量，从而引入了确认偏误。
缺乏严谨性： 结果通常作为单次运行的结果报告，缺乏方差、对照组或剂量反应分析。

此外，现有的计算精神病学模型通常将抽象任务拟合于行为，但无法持续操纵障碍严重程度，也无法观察从健康到病理再回到健康的完整轨迹。

方法论

AG-PPO 架构

作者引入了 AG-PPO（评价引导的近端策略优化），这是一种将评价理论（Lazarus, 1991; Scherer, 2001）集成到 RL 循环中的智能体。

架构： 一个共享的卷积编码器处理自我中心符号观测（7×7×3）。输出同时馈送给 Actor 和 Critic。
评价向量 ( $\zeta$ )： Critic 在每一步都会额外接收一个六维评价向量 $\zeta_t$ $ζ_{t}$ ：
1. 动机相关性 ( $\zeta_{MR}$ )： 智能体目标距离的函数。
2. 目标一致性 ( $\zeta_{GC}$ )： 与目标的几何对齐程度。
3. 确定性 ( $\zeta_{C}$ )： 源自策略熵。
4. 新颖性 ( $\zeta_{N}$ )： 源自与均匀策略的 KL 散度。
5. 应对潜力 ( $\zeta_{CP}$ )： 智能体视野之外的威胁比例。
6. 预期 ( $\zeta_{A}$ )： 下一奖励预测误差的补数（由下一奖励估计网络提供）。
奖励塑造： 环境奖励 $r_t$ 被修改为一个塑造函数 $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{特定项}$ 。至关重要的是，每种障碍都是通过激活该方程中的恰好一个项或修改折扣因子 $\gamma$ 来诱发的。

障碍机制（“旋钮”）

七种障碍被建模为可控剂量的“旋钮”，每种都植根于特定的计算精神病学解释：

焦虑： 惩罚低应对潜力（对威胁的高警觉性）。
躁狂： 惩罚高应对潜力（奖励超敏或寻求威胁）。
强迫症（检查）： 为重复访问检查点提供递减的奖励（模拟递减的安慰感）。
抑郁： 对运动施加每步的努力成本（降低行为激活）。
冲动： 降低折扣因子 $\gamma$ （陡峭的延迟折扣）。
成瘾： 为药物块添加非习惯化的奖励（无上限的激励显著性）。
创伤后应激障碍 (PTSD)： 在创伤块上施加条件性电击，导致回避过度泛化。

实验方案

环境： 四种威胁/空间网格世界（动态障碍、熔岩间隙、熔岩横穿、趋避选择、时间选择、成瘾、创伤）以及一个 3D 像素环境（MiniWorld）。
测定： 每种障碍的主要症状测定都是预先注册的（例如，焦虑症的风险目标选择、强迫症的检查率）。
对照组： 使用了四个对照条件：标准 PPO、Critic 噪声（随机向量）、PPO+RND（内在动机）以及不带塑造的评价 Critic。
统计严谨性： 实验运行了 1,375 种配置，涵盖 10 个种子（95% 置信区间）。

关键结果

1. 分级剂量反应

在所有七种障碍中，增加“旋钮”剂量都会在主要症状测定中产生分级的、单调的响应。对照组未能复制这些表型，证实了这些效应源于特定的塑造机制，而非通用的内在动机或噪声。

2. 涌现的跨诊断结构

这些障碍在没有显式编码该结构的情况下，自组织成一个二维情感空间（奖励-趋向 vs. 威胁-回避）：

躁狂和焦虑在原点两侧呈现出精确的镜像关系（失控的过度追求 vs. 高警觉的回避）。
强迫症占据了一个与主平面正交的独特维度（强迫性）。
抑郁映射到退缩；成瘾和冲动映射到过度追求。

3. 治疗分离（缓解 vs. 抵抗）

作者通过在训练后移除病理性旋钮来测试“治疗”：

奖励扭曲类障碍（躁狂、强强迫症、成瘾）： 在移除旋钮后，症状立即缓解，因为目标梯度重新占据主导。
习惯/回避类障碍（焦虑、PTSD、抑郁、冲动）： 症状对被动移除表现出抵抗性。智能体维持了其适应不良的策略，因为回避行为阻止了它们遇到证伪证据。
解决途径： 具有抵抗性的障碍（焦虑、PTSD）仅能通过分级暴露课程（惩罚回避路径）得到恢复，这模拟了临床暴露疗法。

4. 涌现的共病

当两个旋钮同时激活时，相互作用是非加性的：

躁狂 × 冲动： 冲动（陡峭的折扣）抑制了躁狂的致死性。躁狂智能体对熔岩的鲁莽接近需要多步投入，而我的性（myopic）冲动智能体不会进行此类投入。
焦虑 × 抑郁： 严重的抑郁（高努力成本）压倒了焦虑的读数；智能体停止了所有行动，从而阻止了回避行为的表达。

5. 向 3D 像素环境的泛化

三种障碍（抑郁、成瘾、焦虑）被迁移到一个使用标准 CNN 智能体（不带评价 Critic）的 3D 像素环境（MiniWorld）中。

相同的表型特征得以显现（例如，抑郁减少了前进动作；成瘾增加了药物占用）。
交叉测定分离依然成立：抑郁旋钮并未增加药物占用，且焦虑旋钮并未抑制位移。这证实了这些机制是奖励结构的属性，而非特定于网格世界或评价 Critic 架构。

意义与主张

本文声称建立了一个可控且有据可查的基质，用于研究人工智能中的情感表型。其主要贡献包括：

从描述转向操纵： 它将障碍建模从事后标记转向一种可证伪的科学，其中严重程度可以通过单个、可解释的参数进行连续调节。
涌现的临床平行性： 该框架无需显式编程即可重现复杂的临床现象（例如，回避类障碍对被动移除压力源的抵抗性，以及共病性的非加性本质）。
统一框架： 它证明了单一的智能体架构可以同时模拟多种障碍的诱发、结构组织（跨诊断空间）以及治疗（缓解/消退）。
机制特异性： 分离结果证实，特定的“旋钮”针对特定的症状维度，且不存在交叉污染，验证了该方法的机制基础。

作者得出结论，评价权重参数化了一个空间，在该空间中，诱发障碍的相同机制也可以模拟其治疗过程，这为计算精神病学提供了一个新的试验场，并为强化学习中情感控制失效提供了视角。