Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow
本文提出了一种基于 steering vector 的因果归因框架，以揭示并增强大型视觉语言模型中的“适应 - 聚合 - 执行”情感回路，从而揭示视觉线索聚合与叙事生成之间的功能解耦，使得能够在推理阶段进行针对性干预，显著改善情感推理能力并减少幻觉。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将大型视觉 - 语言模型（LVLM）视为一位技艺高超、但偶尔会困惑的艺术评论家。你给它看一张哭泣者的照片，并问道：“这里发生了什么？”理想情况下，它应该回答：“这个人很悲伤。”但有时，这些模型会出错，自信地将悲伤的面容描述为“快乐”或“兴奋”。这被称为“情感幻觉”。
本文就像一位机械师，打开那位艺术评论家大脑的引擎盖，以确切观察它如何处理情感，随后修复线路，使其能够正确判断。
以下是他们发现与解决方案的分解说明，采用简单的类比：
1. 问题：情感的“黑箱”
此前，我们知道这些模型能够执行情感任务，但我们不知道它们如何做到。这就像知道汽车能行驶，却不知道引擎的哪个部件让它动起来。研究人员希望找到人工智能大脑内部特定的“情感电路”。
2. 发现：“适应 - 聚合 - 执行”工厂
研究人员发现，人工智能并非一次性地“感受”整张图片。相反，它通过一个三阶段的装配线来处理情感，就像一个制作定制蛋糕的工厂：
- 阶段一：适应（原材料）
- 发生了什么： 人工智能查看图像的原始像素（面粉、鸡蛋和糖）。
- 类比： 这就像送货卡车将食材运送到厨房。人工智能只是让视觉数据准备好被理解，但它尚未决定要制作什么样的蛋糕。
- 阶段二：聚合（搅拌碗）
- 发生了什么： 这是最关键的部分。人工智能将这些视觉线索混合成特定的“风味”。
- 发现： 研究人员发现，在人工智能的中间层中，存在特殊的“搅拌碗”（称为注意力头），它们专门针对特定情感。一个碗用于“悲伤”，另一个用于“愤怒”。它们接收视觉线索并说：“好吧，这绝对是一个悲伤的故事。”
- 类比： 这是烘焙师品尝面糊并决定“这需要更多巧克力”的地方。人工智能正在将抽象的情感结晶为具体的概念。
- 阶段三：执行（烘焙与装饰）
- 发生了什么： 既然人工智能已经知道了“风味”（悲伤），它就开始撰写故事。
- 发现： 在深层（流程的末端），人工智能切换了模式。它停止使用特定的“悲伤”碗，转而使用一个适用于任何情感的通用烤箱。它将“悲伤”概念烘焙成诸如“我感到心情沉重”这样的句子。
- 类比： 烘焙师现在将悲伤的蛋糕放入烤箱，并在盒子上写下标签。特定的“悲伤”决定已经做出；现在只是执行最终产品。
3. 突破：“功能解耦”
他们发现的最重要的一点是，人工智能将决定情感是什么与表达情感分离开来。
- 中间层： 只懂得制作“悲伤”或“愤怒”菜肴的专职厨师。
- 深层： 一位通用经理，将任何准备好的菜肴端给顾客。
4. 解决方案：VEENA（“手术式修复”）
研究人员没有重新训练整个人工智能（这既昂贵又缓慢），而是创建了一个名为VEENA的工具。将 VEENA 想象成你在人工智能思考时使用的、对其大脑的“遥控器”。
- 视觉情感增强（VEE）： 这部分调大了来自图像的信号的音量。这就像在搅拌碗中的“悲伤”食材上聚光灯，确保人工智能不会遗漏它们。
- 情感神经元增强（ENA）： 这部分调大了实际书写文字的神经元的音量。这就像给烘焙师一点额外的能量，确保“悲伤”标签被清晰、醒目地写出来。
5. 结果
当他们在大规模基准测试（MER-UniBench）上测试这个“遥控器”时，人工智能在正确描述情感方面变得更好了。
- 更少的幻觉： 它不再将悲伤的面孔称为“快乐”。
- 无额外成本： 因为他们只是调整了现有线路，而不是重建引擎，所以人工智能并没有变慢。
- 概念验证： 调高这些特定“旋钮”能够解决问题的事实，证明了他们已正确识别出情感电路。
简而言之： 该论文发现，人工智能处理情感分为三个步骤（观察 -> 决定 -> 表达）。他们发现，“决定”步骤发生在大脑中部，使用特定部件；而“表达”步骤发生在末端，使用通用部件。他们构建了一个工具来增强这些特定部分的信号，使人工智能更加富有同理心且准确，而无需从头重新训练。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。