💻 computer science

SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

本文提出了一种名为 SchrÃ¶Mind 的新框架，通过求解薛定谔桥问题（Schrödinger Bridge Problem）在幻觉激活与真实激活之间建立轻量级的令牌级映射，从而在保持多模态大模型原有能力的同时，有效缓解其在视觉内容生成中的幻觉问题。

原作者： Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

发布于 2026-02-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 问题的核心：AI 的“思维走偏”

想象一下，你正在教一个小朋友认图。你给他看一张“桌子上有一个苹果”的照片，但由于小朋友最近看多了动画片，他可能会脱口而出：“桌子上有一个恐龙！”

为什么会这样？
并不是小朋友看不见苹果，而是他在思考的过程中，脑子里那些关于“恐龙”的旧记忆（语言偏见）突然跳了出来，干扰了他的判断。在 AI 的世界里，这叫**“幻觉”**。一旦它在说话的开头走偏了，后面的话就会像滚雪球一样越滚越离谱，很难自己纠正过来。

2. 以前的方法：粗暴的“大锤”

以前的科学家想解决这个问题，通常有两种办法：

重新训练： 像重新上学一样，给 AI 喂海量正确的数据。但这太费钱、太费时间了。
统一纠偏： 就像一个严厉的老师，发现学生走偏了，就大喊一声：“别乱说！”这种方法虽然快，但太粗暴，容易把学生原本聪明的逻辑也给打乱了，导致 AI 说话变得机械、不自然。

3. Schr¨oMind 的妙招：精准的“导航仪”

这篇论文提出的 Schr¨oMind 聪明在哪里呢？它不再使用“大锤”，而是引入了一个高深的数学概念——薛定谔桥问题 (Schrödinger Bridge Problem)。

我们可以用一个**“迷雾森林导航”**的比喻来理解它：

现状（幻觉流形）： AI 的错误思维就像是在一片迷雾森林里走错了路，它正朝着“恐龙”的方向狂奔。
目标（真相流形）： 我们希望它能回到“苹果”这条正确的路径上。
Schr¨oMind 的工作： 它不是简单地把 AI 拽回来，而是计算出一条**“成本最低、路径最平滑”**的路线。它会观察 AI 每一个“念头”（Token 级别的激活值）是怎么偏离的，然后像一个极其温柔且精准的导航员，在 AI 走偏的一瞬间，轻轻地拨动一下它的方向盘，让它以最自然的方式滑向正确的答案。

这个过程有两个特点：

个性化定制： 它不是对所有错误都用一套标准，而是针对每一个具体的词、每一个具体的注意力点，量身定制纠偏方案。
轻量化： 它不需要重新改造 AI 的大脑，只需要在 AI 思考时，在旁边加一个轻巧的“修正插件”即可。

4. 最终效果：既聪明又诚实

通过大量的实验（在 POPE 和 MME 等测试集上），科学家发现 Schr¨oMind 表现非常惊人：

更诚实： 它能显著减少 AI 乱认物体的错误。
更聪明： 它在识别颜色、位置、数量等任务上，表现甚至超过了之前的顶尖水平。
不降智： 最重要的是，它在纠正错误的同时，并没有让 AI 变得笨拙或说话语无伦次，保留了 AI 原有的聪明才智。

总结一下

Schr¨oMind 就像是给 AI 装上了一个**“高精度的思维修正仪”**。它利用数学上的“最优路径”理论，在 AI 产生幻觉的瞬间，用最小的力气、最优雅的方式，把 AI 的思维从“胡说八道”的歧途，导向“实事求是”的正轨。

以下是对论文《SCHRÖMIND: MITIGATING HALLUCINATIONS IN MULTIMODAL LARGE LANGUAGE MODELS VIA SOLVING THE SCHRÖDINGER BRIDGE PROBLEM》的技术总结：

1. 问题定义 (Problem Statement)

多模态大语言模型（MLLMs）在处理视觉与文本信息时，经常会出现**物体幻觉（Object Hallucination）**现象，即生成的文本描述与实际图像内容不符。

核心矛盾：作者认为 MLLMs 具备理解图像的能力，但在生成准确的 Token 序列时存在困难。微小的扰动会导致注意力机制从“真实状态”转向“虚假状态”，且自回归生成的特性使得模型难以在推理过程中自我纠错。
现有方法的局限：
- 微调/外部知识法：计算资源消耗巨大。
- 解码时干预（如对比解码）：可能损害文本流畅度并增加延迟。
- 激活工程（Activation Engineering）：现有的激活转向方法（如 ITI, ICT）通常对注意力头内的所有 Token 应用统一的转向方向，这忽略了每个 Token 激活状态的唯一性，过于简化了复杂的流形转换问题。

2. 核心方法论 (Methodology: Schr¨oMind)

为了实现更精准的“个性化”干预，本文提出了 Schr¨oMind 框架，将激活值的修正建模为一个**最优传输（Optimal Transport）**问题。

A. 理论基础：薛定谔桥问题 (Schrödinger Bridge Problem, SBP)

作者不再试图用一个统一的向量去平移激活值，而是通过求解 SBP 来寻找从“幻觉激活分布 ( $P_{hallu}$ )”到“真实激活分布 ( $P_{fact}$ )”之间的最优映射。

熵正则化最优传输 (EOT)：通过最小化传输成本并引入熵正则化，建立两个分布之间的概率映射 $\pi^*$ 。
动态与静态转换：
- 静态修正：利用最优传输计划 $\pi^*$ 进行瞬时重映射。
- 动态干预：引入时间维度 $t \in [0, 1]$ ，通过求解 SBP 得到一个随时间演化的漂移项（Drift） $g^*(a, t)$ 。这就像是在激活值空间中构建了一条平滑的“桥梁”，引导模型从幻觉状态平滑地过渡到真实状态，避免了语义不连续。

B. 技术实现流程

注意力头筛选：首先利用逻辑回归分类器对 Transformer 各个注意力头的激活值进行训练，识别出对幻觉最敏感的 Top- $H$ 个注意力头。
分布映射学习：使用高斯混合模型（GMM）来近似真实分布的势能函数 $v_\theta(a_1)$ ，并通过最小化 KL 散度来优化参数 $\theta$ 。
双粒度干预：
- 图像级（Image-level）：针对整幅图像的扰动进行修正。
- 物体级（Object-level）：针对特定物体的扰动进行修正。
- 通过这种方式，模型可以根据不同的视觉输入场景，动态地调整 Token 的激活路径。

3. 主要贡献 (Key Contributions)

个性化干预框架：提出了首个将激活值修正建模为幻觉流形与真实流形之间最优传输问题的框架，实现了 Token 级别的精准干预。
引入 SBP 机制：首次将薛定谔桥问题应用于 MLLM 的 Token 级干预，仅需极短时间的训练（分钟级）即可实现即插即用的部署。
高效性与性能平衡：在不改变模型原始参数、不显著增加计算开销的前提下，实现了显著的性能提升。

4. 实验结果 (Results)

研究人员在 LLaVA-1.5-7B 和 Qwen2.5-VL-7B 两个主流模型上进行了广泛测试：

POPE 基准测试：在 MS COCO、A-OKVQA 和 GQA 数据集上，Schr¨oMind 在所有指标（准确率 Acc 和 F1 分数）上均显著优于现有的 SOTA 方法（如 ICT）。特别是在最具挑战性的**对抗性问题（Adversarial）**上，表现出了极强的鲁棒性。
MME 基准测试：在感知（存在、位置、计数、颜色）和认知（常识推理）任务中，Schr¨oMind 均刷新了记录，证明其在减少幻觉的同时，很好地保留了模型的原有能力。
消融实验：证实了“图像级”和“物体级”两种干预手段具有互补性，结合使用效果最佳。

5. 研究意义 (Significance)

Schr¨oMind 为解决高风险领域（如医疗诊断、自动驾驶）中 MLLM 的幻觉问题提供了一种轻量化且数学严谨的新思路。它证明了通过数学手段（最优传输理论）对模型内部激活状态进行“导航”，比简单的线性偏移或大规模微调更加高效且精准。