Dopamine dips during unrewarded actions promote punishment-resistant reward seeking

技术摘要：无奖励行为期间的多巴胺下降促进了抗惩罚性奖励寻求

问题陈述
抗惩罚性奖励寻求是成瘾的一个定义性特征，但在女性中不如男性普遍。虽然性激素（特别是雌二醇）已知会调节多巴胺信号，但雌二醇影响女性抗惩罚行为发展的具体神经机制仍不清楚。先前的研究已经确定，在奖励行为期间，纹状体背内侧部（DMS）的相位性多巴胺峰值可以预测抗惩罚性奖励寻求的出现。然而，目前尚不清楚性别差异是源于雌二醇对这些峰值的调节，还是源于其他多巴胺信号成分（例如在无奖励行为后的多巴胺下降）。

研究方法
本研究结合了纤维光度法、光遗传学和行为药理学在小鼠模型中的应用，以调查 DMS 多巴胺动力学与抗惩罚性行为之间的因果联系。

1. 激素操纵与纤维光度法：

   • 女性小鼠被分为三组：假手术组（保持自然周期）、卵巢切除加安慰剂组（OVX-P，模拟低雌二醇/间期状态）以及卵巢切除加慢性 17β-雌二醇替代组（OVX-E，模拟高雌二醇/促排卵期状态）。
   • 所有组别均接受随机间隔 60（RI60）强化训练，以习得通过鼻触行为获取糖奖励。
   • 使用 GRAB-gDA3m 传感器进行纤维光度测量，记录奖励性鼻触和无奖励性鼻触期间的 DMS 多巴胺信号。
   • 通过“电击探测”评估抗惩罚性，其中一部分奖励性鼻触会与轻微足部电击相伴。

2. 光遗传学因果测试：

   • 为了测试多巴胺下降的因果作用，作者使用了 DAT-IRES-Cre 小鼠（包括雄性和雌性），向黑质致密部（SNc）注射 AAV-eNpHR3.0（抑制性光遗传蛋白）或对照病毒（EYFP），靶向投射至 DMS 的神经元。
   • 在 DMS 植入纤维光纤插管。
   • 在 RI60 训练期间，将无奖励的鼻触与 1 秒钟持续的 625nm 光脉冲相结合，以抑制多巴胺末梢，从而人为地产生或夸大多巴胺下降。
   • 进行电击探测以评估抗惩罚性的发展。

关键结果

• 行为表型： 虽然所有组别都能以相似的方式完成 RI60 任务，但激素状态显著改变了抗惩罚性。OVX-E 女性（慢性高雌二醇状态）为 100% 被归类为抗惩罚性（PR），而假手术组女性则主要表现为抗惩罚敏感（PS）或延迟出现 PR。OVX-P 女性表现出与假手术组相比的中等程度但显著的向 PR 转变。
• 多巴胺信号动力学： 纤维光度法显示，各组在奖励性鼻触后的多巴胺峰值方面没有显著差异。然而，在无奖励性鼻触后的多巴胺下降方面出现了显著差异。OVX-P 和 OVX-E 组表现出的多巴胺下降幅度均比假手术组显著更大。OVX-E 小鼠的下降幅度最为显著。
• 光遗传学因果性： 通过在无奖励性鼻触期间人工诱导多巴胺下降，足以加速雄性和雌性小鼠抗惩罚性奖励寻求的发展。与对照组相比，接受 NpHR 处理的小鼠在探测阶段接受了更多的电击。
• 性别差异在光遗传效应中的体现： 虽然光遗传效应在两性中均显著，但女性的效应量更大（$\eta^2_p = 0.38$）而非男性（$\eta^2_p = 0.17$），这表明女性对多巴胺下降调节具有更高的敏感性。

核心贡献

1. 识别了一种新机制： 研究确定了在无奖励行为期间夸大的多巴胺下降（而非在奖励行为期间增强的多巴胺峰值）是驱动抗惩罚性奖励寻求的关键因素。
2. 激素调节： 研究证明，慢性高雌二醇状态（模拟非循环的高雌激素状态）通过放大这些多巴胺下降，使雌性小鼠易于产生抗惩罚性行为。
3. 因果验证： 通过光遗传学，作者提供了因果证据，证明模拟这些多巴胺下降足以诱发两性的抗惩罚性行为。
4. 理论完善： 这些发现挑战了标准的奖励预测误差（RPE）框架，该框架认为多巴胺下降应该抑制动作执行。相反，数据表明，多巴胺下降可能会抑制关于动作价值的学习，从而在面对负面结果时促进坚持（策略学习）。

意义与主张
本文声称，这些发现为性别在成瘾易感性方面的差异提供了机械性解释，将其与通过改变多巴胺信号来促进强迫性行为的慢性雌二醇状态联系起来。作者认为，通过多巴胺下降抑制从无奖励行为中学习的过程，使得奖励寻求在面对惩罚时得以持续。

从转化研究的角度来看，这项研究强调了模拟女性多巴胺功能的空白，指出许多女性由于使用避孕药或绝经期而经历非循环的激素状态。作者提出，了解这些状态如何调节多巴胺转运体（DAT）功能以及随后的下降幅度，对于理解精神疾病的易感性至关重要。这项工作支持了基于“策略”（policy）的多巴胺功能解释，即多巴胺控制的是学习动作价值的速率，而非直接估计动作价值。