🤖 AI

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

本文提出了 KEPO，一种知识增强的偏好优化框架，该框架通过将质量门控的在线策略蒸馏与知识引导的探索相结合，以克服标准强化学习中固有的训练不稳定性和探索失败问题，从而提升医学视觉问答中的多模态推理能力。

原作者： Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教导一位非常聪明但缺乏经验的学生（一个 AI 模型），如何利用图片（如 X 光片或 MRI 扫描）和文本来解决复杂的医学难题。目标不仅是让学生猜出正确答案，还要像医生解释诊断过程那样，一步步展示其推理过程。

这篇论文介绍了一种名为KEPO（知识增强偏好优化）的新教学方法。为了理解 KEPO 的独特之处，让我们先看看旧的教学方法存在哪些问题。

问题所在：“学习悬崖”与“糟糕的模仿”

1. 稀疏奖励问题（“学习悬崖”）
想象你在玩一款电子游戏，在一个长达 10 小时的关卡中，你只有在最后才会收到“游戏结束”或“你赢了”的信息。如果你在第一个小时犯了一个微小的错误，你可能直到最后才意识到，而那时已经太晚无法修正了。
在 AI 术语中，这被称为稀疏奖励。AI 尝试解决一个医学问题，但只有在最后才会收到“正确”或“错误”的信号。如果 AI 在推理的早期阶段犯了错误，它并不知道哪一步出错了。这通常会将 AI 困在“学习悬崖”中，因为它从未获得如何改进的提示，从而不断失败。

2. 均匀蒸馏问题（“糟糕的模仿”）
为了解决“悬崖”问题，其他教师尝试了一种新方法：让一个超级聪明的“教师 AI"观察学生并一步步模仿其每一个动作。这被称为蒸馏。
然而，论文指出，这种旧方法就像强迫一个困惑的学生去抄写老师的作业。

缺陷： 如果学生在早期犯了逻辑错误（例如，“这看起来像骨折”），老师可能会试图从这个错误的起点开始引导。学生最终会模仿一个“有缺陷的上下文”，学会自信地犯错。这就像试图通过让学生模仿你的方向盘动作来教他们开车，即使你不小心把车开进了沟里。学生学会的是那个急转弯，而不是修正动作。

解决方案：KEPO

作者提出了KEPO，它就像一位明智的导师，确切知道何时提供帮助以及如何提供帮助。它拥有两大主要超能力：

1. “质量门”（只模仿好的部分）

KEPO 不像旧方法那样强迫学生模仿老师的每一个动作，而是设立了一道质量门。

工作原理： 学生尝试解决问题。如果学生在最后获得了“正确”信号（或高分），那么老师才会介入，说：“干得好！让我们一步步看看你是怎么做到的，以便你能再次做到。”
比喻： 如果学生失败了，老师会说：“不行，先别模仿那个，你当时很困惑。”如果学生成功了，老师会说：“完美！这是你成功的详细蓝图。”
为何有效： 这防止了学生从自己的错误或老师的困惑中学习。它确保学生只模仿“与奖励一致”（成功）的路径。

2. “基于提示的救援”（逃离悬崖）

有时，学生陷入困境，无论尝试多少次都无法独自找到任何一个正确答案。这就是“学习悬崖”。

工作原理： 当学生反复失败时，KEPO 会触发一次救援任务。教师 AI 生成一个“提示”（关于如何思考的线索）并将其交给学生。然后学生利用这个提示作为指南再次尝试。
比喻： 想象学生迷失在一片黑暗的森林中（复杂的医学问题）。他们正在原地打转。老师不只是大喊“你错了！”相反，老师用手电筒照亮正确的路径，说：“试着走这条路。”学生跟随光亮，找到宝藏（正确答案），并学会了路径。
关键细节： 论文指出，老师仅在训练期间将“正确答案”作为秘密指南来生成提示。学生从未直接看到最终答案；他们只看到提示。这保持了学习的诚实性。

结果：医学试驾

作者在医学视觉问答任务上测试了这种方法。

设置： 他们仅使用 MRI 扫描（一种医学图像）来训练 AI。
测试： 随后，他们要求 AI 使用它从未见过的其他七种类型的图像（如 CT 扫描、X 光片或皮肤照片）来解决问题。这是一个非常困难的测试，称为“分布外”泛化。

结果：

旧方法： AI 难以转移其知识。它要么陷入“学习悬崖”，要么从均匀模仿中学到了坏习惯。
KEPO： AI 的推理能力变得更强。它不仅记住了 MRI 扫描，还学会了如何逻辑地思考医学图像。与其他方法相比，它在新的、未见过的图像类型上表现显著更好。

总结

KEPO是一种更聪明的 AI 推理训练方法。与其盲目模仿老师或等待可能永远不会到来的奖励，它：

筛选学习过程： 只有当学生表现良好时，才允许学生模仿老师。
引导探索： 当学生完全陷入困境时，给予学生一个“提示”，帮助他们逃离“学习悬崖”。

其结果是，AI 能够更稳定地学习推理，并且比以前更好地将这种推理能力应用到新的、困难的情境中（如不同类型的医学扫描）。

技术摘要：面向多模态推理的知识增强偏好优化（KEPO）

1. 问题陈述

强化学习（RL）已成为在大模型多模态视觉 - 语言模型（VLMs）中诱导显式推理行为的主要范式。然而，将 RL 应用于高难度推理任务，特别是在医疗等高利害领域时，面临两种根本性的失效模式：

稀疏奖励与模糊的信用分配：大多数现有方法依赖于稀疏的、轨迹级别的奖励（例如，二元正确/错误）。在长上下文推理中，单个局部错误可能导致原本连贯的思维链失效。这种稀疏性导致信用分配模糊，模型无法区分哪些中间步骤促成了最终结果，从而导致高方差的梯度估计和不稳定的优化。
探索崩溃（“学习悬崖”）：在标准的在线策略 RL 下，当奖励稀少或为二元时，朴素的探索往往无法生成任何带有奖励的轨迹。这将策略困在“学习悬崖”状态中，模型无法获得任何用于改进的信息信号，特别是在复杂的多模态设置中，错误可能源于视觉感知和语言生成两方面。

近期尝试利用在线策略知识蒸馏（利用强大的教师模型提供密集的、Token 级别的监督）来缓解稀疏奖励问题，已显示出前景。然而，这些方法通常对所有生成的轨迹统一应用蒸馏。作者认为，这并不适合推理任务：低质量轨迹往往源于早期的逻辑错误或幻觉。蒸馏这些有缺陷的轨迹会迫使学生模仿基于错误上下文条件化的教师分布，注入噪声和未对齐的梯度，从而阻碍学习。

2. 方法论：KEPO

为了应对这些挑战，作者提出了知识增强偏好优化（KEPO），这是一个统一的后训练框架，集成了两个紧密耦合的组件：质量门控在线策略蒸馏和知识增强探索。

2.1 质量门控在线策略蒸馏

KEPO 通过引入一个基于轨迹质量选择性激活的密集教师监督项，修改了标准的 RL 目标函数。

机制：该方法不蒸馏所有学生生成的轨迹，而是应用基于奖励的阈值（ $\tau$ ）。仅当轨迹的奖励 $r_i \geq \tau$ 时，才计算蒸馏损失。
原理：这确保了密集的教师指导与强化学习目标保持一致。它防止学生从“有缺陷的上下文”中学习，即推理链已经断裂的上下文。
目标函数：KEPO 目标（ $J_{KEPO}$ $J_{K E P O}$ ）结合了：
1. 优势加权的偏好优化项（基于相对轨迹质量驱动改进）。
2. 质量门控蒸馏项（ $I_{r_i \geq \tau} D(\pi_T \parallel \pi_\theta)$ ），仅在奖励对齐的路径上提供密集监督。
3. KL 正则化项以约束策略更新。

2.2 通过提示感知拒绝采样实现知识增强探索

为了解决朴素探索无法找到带奖励轨迹的“学习悬崖”问题，KEPO 引入了一种自适应探索机制。

触发：在训练期间，如果 $G$ 条轨迹的标准在线策略 rollout 产生零奖励（即 $\max r(y_i) = 0$ ），则触发探索机制。
教师引导提示：教师模型（ $\pi_T$ ）根据输入（ $x$ ）和真实答案（ $y$ ）生成推理提示（ $h$ ）。注意：真实答案仅在此训练时的故障恢复过程中作为特权信息使用，在推理阶段绝不使用。
提示感知采样：一个与学生共享参数但条件化为提示 $h$ 和特权答案的自增强策略（ $\pi_E$ ）生成提议轨迹。
拒绝采样：仅当提议产生正奖励时才接受该提议。否则，采样重复进行，直到达到预算 $B$ 。
注入：被接受的提示感知轨迹被注入到 rollout 缓冲区中，并与标准在线策略轨迹联合优化。这使得策略能够在不依赖静态离线监督的情况下摆脱学习悬崖。

3. 主要贡献

本文概述了四项主要贡献：

KEPO 框架：一个统一的后训练框架，将质量门控教师监督与自适应探索相结合，以增强多模态 VLM 的 RL 性能。
失效模式识别：作者识别并解决了推理导向 RL 中的两种特定失效模式：(a) 对有缺陷轨迹进行统一蒸馏引起的上下文噪声，以及 (b) 稀疏奖励下的探索停滞。他们证明，选择性门控和提示感知注入是解决这些问题的关键。
实验基准测试：该工作在多模态视觉 - 语言设置中实例化了最近的在线策略蒸馏框架（特别是 MM-GKD），为比较基于蒸馏和基于 RL 的后训练方法提供了原则性基础。
实证验证：在低资源、单源医疗 VQA 基准测试上的广泛实验表明，与强基线相比，KEPO 产生了稳健的推理能力和卓越的分布外（OOD）泛化能力。

4. 实验结果

作者在 OmniMedVQA 上评估了 KEPO，这是一个涵盖八种成像模态的医疗 VQA 基准测试。

设置：模型仅使用 MRI 数据（域内）进行训练，并在 MRI 加上其他七种模态（CT、X 射线、超声、皮肤镜、眼底、OCT、显微镜）上进行测试，作为分布外（OOD）测试。这隔离了跨模态泛化能力。
基线：比较对象包括通用 VLM（Qwen3-VL）、医疗专用 VLM（HuatuoGPT）、标准后训练方法（SFT、GRPO、MM-DAPO）以及多模态在线策略蒸馏基线（MM-GKD）。
性能：
- 在所有比较方法中，KEPO 实现了最高的平均准确率（80.25%）和平均 OOD 准确率（78.00%）。
- 它显著优于 GRPO 和均匀在线策略蒸馏基线，特别是在 OOD 设置中。
- 消融研究：移除探索组件（KEPO-KE）会降低 OOD 准确率，证实了引导探索的价值。移除质量门（ $\tau=0$ ）也会导致性能低于门控版本（ $\tau=1$ ），验证了将蒸馏限制在高质量轨迹上可以防止噪声梯度注入。
- 训练动态：KEPO 表现出比 GRPO 更快的收敛速度和更大的稳定性，特别是在训练早期阶段，稀疏奖励通常会导致停滞。

5. 意义与主张

本文声称，KEPO 提供了一个原则性框架，用于将密集教师指导整合到基于强化学习的后训练中。其意义在于：

解决“学习悬崖”：通过在朴素采样失败时主动引导探索朝向信息丰富的轨迹，KEPO 使得在标准 RL 会停滞的领域中也能进行学习。
稳定推理：通过过滤掉低质量轨迹以进行蒸馏，KEPO 避免了通常困扰高难度推理任务的噪声梯度注入，从而允许连贯的思维链行为稳定地涌现。
泛化能力：该框架使模型能够学习可迁移的推理模式，即使仅在有限数据的单一源模态上进行训练，也能实现跨模态泛化。

作者将 KEPO 定位为 RL 的补充而非替代，它是一种结构化增强手段，动态利用教师模型来引导探索，并在标准在线策略机制失效时提供密集的信用分配。