🤖 AI

Noise-Aware Visual Representation Learning for Medical Visual Question Answering

本文提出了一种噪声感知型 Med-VQA 框架，该框架通过集成去噪自编码器和参数高效微调来生成鲁棒的视觉表示，从而在保持医疗基准测试竞争性能的同时，提高模型对噪声输入的韧性。

原作者： I Putu Adi Pratama, Bahadorreza Ofoghi, Atul Sajjanhar, Shang Gao

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： I Putu Adi Pratama, Bahadorreza Ofoghi, Atul Sajjanhar, Shang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一位非常聪明但有点分心的图书管理员（即 AI）如何回答关于医学影像的问题。这位图书管理员非常擅长阅读文本，但他们不会说“图像语”。为了帮助他们，你雇佣了一位翻译员（视觉编码器），负责观察 X 光片或扫描图，并用图书管理员能理解的语言写一份简短的摘要。

问题所在：“线路上的‘静电’”
在现实世界中，医学影像并不总是完美的。它们可能会带有“噪声”——就像旧电视上的静电、照片上的划痕，或者仅仅是拍摄方式略微不同产生的差异。

目前的方法通常是将翻译员的摘要直接交给图书管理员。问题在于，如果翻译员被图像中的“静电”或噪声搞糊涂了，他们可能会写出一份包含这些错误的摘要。随后，图书管理员阅读了这份“有噪声”的摘要，尽管他们非常聪明，却给出了错误的答案。

解决方案：图像摘要的“降噪耳机”
本论文提出了一种新系统，它就像是一个用于图像摘要的“降噪耳机”。在翻译员将摘要交给图书管理员之前，摘要会通过一个被称为**去噪自编码器（Denoising Autoencoder）**的特殊“清洁站”。

以下是作者如何训练这个清洁站的，他们使用了两步过程：

第一步：“坏掉的唱片”训练法
研究人员提取了完美的摘要，并故意加入了“静电”（噪声），使它们看起来杂乱且令人困惑。然后，他们教导清洁站观察这些杂乱的摘要，并尝试重建原始的、完美的版本。

类比： 想象一名学生正在为考试做准备，但他学习的教科书上被人用记号笔涂鸦覆盖了文字。学生必须通过这些涂鸦推断出原本的文字是什么。通过反复练习，学生学会了忽略涂鸦，专注于真正的含义。

第二步：实战测试
一旦清洁站训练完成，他们就不再使用那些杂乱的版本。现在，当一张真实的图像进入系统时，清洁站会观察翻译员的摘要，过滤掉任何潜在的“静电”或混乱，并将一个干净、清晰的版本交给图书管理员。

结果：一位更可靠的图书管理员
研究人员在两个大型医学影像数据集（SLAKE 和 PathVQA）上测试了该系统。他们发现：

当情况完美时： 新系统的表现与旧系统一样出色。当图像清晰时，它不会降低速度或出错。
当情况变得混乱时： 这正是新系统大放异彩的地方。当他们在测试期间故意加入噪声时，旧系统（“直接翻译器”以及未经过噪声训练的标准“清洁器”）开始失效。它们的准确率显著下降。
胜出者： 这个新的“感知噪声”系统保持了冷静。因为它在训练期间练习过如何忽略静电，所以即使在图像摘要有些模糊不清的情况下，它也能更好地给出正确答案。

简而言之
本文认为，与其直接将原始图像描述传递给 AI，我们应该先将其通过一个专门训练过如何忽略干扰的“噪声过滤器”。这使得 AI 对医学影像的理解更加稳健，确保即使输入数据并不完美，它也能给出可靠的答案。他们并未声称这修复了图像本身或改变了医生的诊断方式；他们只是展示了这种方法如何让 AI 对图像的“内部理解”更加稳定，且不易受到微小误差的影响。

技术摘要：面向医疗视觉问答的噪声感知视觉表示学习

问题陈述
医疗视觉问答（Med-VQA）旨在使人工智能系统能够理解医学图像并回答临床查询，这为决策支持提供了巨大的潜力。目前最先进的方法通常通过轻量级映射网络（如 MLP 或基于查询的 Transformer）将冻结的、现成的视觉编码器（如 CLIP）与大语言模型（LLM）连接起来，以降低计算成本。然而，这些方法往往忽视了视觉表示对噪声的鲁棒性。医学图像经常包含在采集和传输过程中引入的噪声和无关变化。当标准的基于投影的适配器将这些带有噪声的视觉嵌入直接映射到语言模型的输入空间时，它们会同时传播临床相关信息和噪声，从而可能降低诊断和下游分析的效果。现有的 Med-VQA 研究在将视觉嵌入投影到语言模型之前，对其进行精炼方面的探索相对较少。

方法论
作者提出了一种噪声感知 Med-VQA 框架，该框架在视觉映射阶段之前引入了一个去噪自编码器（DAE）。该框架遵循两阶段训练范式：

第一阶段：去噪表示学习
- 输入： 从冻结的 CLIP 视觉编码器中提取视觉嵌入 ( $v$ )。
- 损坏： 在预训练期间，向干净的嵌入中添加高斯噪声 ( $\epsilon \sim \mathcal{N}(0, \sigma^2I)$ ) 以创建损坏的输入 ( $\tilde{v} = v + \epsilon$ )。研究评估了噪声水平 $\sigma \in \{0.1, 0.5, 1.0\}$ 。
- 架构： 一个由编码器和具有维度瓶颈（将 512 维压缩至 128 维，通过 256 维隐藏层）的解码器组成的去噪自编码器，旨在从损坏的输入中重建原始的干净嵌入。
- 目标： 模型使用 Smooth L1 重建损失进行优化。其目标是迫使编码器学习鲁棒的潜在表示 ( $z$ )，从而捕捉稳定的底层结构并抑制噪声相关的变化。
- 结果： 预训练后，丢弃解码器，仅保留编码器用于下一阶段。
第二阶段：生成式 Med-VQA 训练
- 映射： 冻结的 DAE 编码器产生的鲁棒潜在表示 ( $z$ ) 通过一个三层多层感知机（MLP）被投影到 LLM 的嵌入空间中。这些表示被重塑为“视觉前缀标记”（ $P_v$ ）。
- 集成： 这些视觉前缀标记与文本嵌入（问题和上下文）拼接在一起，形成预训练 LLM（GPT-2 XL）的输入序列。
- 微调： 该框架采用**低秩自适应（LoRA）**进行参数高效微调。这使得 LLM 能够通过仅更新一小部分注意力参数来适应医学领域和视觉前缀标记，同时保持主干 LLM 和 DAE 编码器冻结。
- 目标： 模型使用标准的语言模型目标（交叉熵）进行自回归生成答案。

核心贡献

两阶段噪声感知学习： 本文引入了一种解耦的训练范式，将去噪表示学习与生成式对齐分离。这使得模型能够在参与跨模态对齐之前，显式地学习对无关扰动的鲁棒性。
结构化鲁棒性评估： 作者提出了一种系统性的评估方法，即在推理过程中向视觉嵌入注入噪声，以评估不同架构（基线、自编码器、去噪自编码器）在干净和损坏条件下的韧性。
实证验证： 该方法在两个多样化的基准数据集上进行了评估：SLAKE（放射影像）和 PathVQA（组织病理学影像），涵盖了开放式和 Yes/No 类型的问题。

实验结果
所提出的 DAE 框架表现出了优于直接投影视觉嵌入的基线模型以及未注入噪声的标准自编码器（AE）变体的鲁棒性：

鲁棒性增益： 在 SLAKE 数据集上，在噪声评估设置下，DAE 方法将平均准确率从 0.642（基线 LoRA）提升至 0.735，从 0.473（基线 Frozen）提升至 0.713。在 PathVQA 上，观察到从 0.514 提升至 0.568（LoRA）以及从 0.348 提升至 0.518（Frozen）的改进。
干净性能： 虽然 DAE 框架在干净基准测试上也取得了具有竞争力的或最先进的性能（例如，在使用 LoRA 时匹配了 SLAKE 上 0.756 的最高准确率），但其主要优势是在噪声条件下观察到的。随着噪声水平的增加，DAE 模型保持了较高的准确率，而基线和标准 AE 模型则表现出显著的性能下降。
最佳损坏水平： 实验表明，在第一阶段训练中使用中度噪声损坏（ $\sigma = 0.5$ ）可以在干净准确率和对推理时噪声的鲁棒性之间提供最佳的权衡。

意义与主张
本文声称，通过嵌入级去噪学习鲁棒的视觉表示，是增强 Med-VQA 系统（特别是那些在相对较小的医学数据集上训练的系统）的一种有前景的策略。研究结果表明，在将视觉嵌入映射到 LLM 嵌入空间之前，显式地处理视觉嵌入中的噪声和无关变化，可以显著提高答案生成的稳定性和有效性。作者指出，虽然他们的方法使用高斯噪声作为受控的代理来模拟损坏，但未来的工作可以探索更真实的医学成像伪影。该研究得出结论，基于去噪的表示学习为实现更具韧性的医疗 AI 提供了一条可行路径，且无需对大型主干模型进行完整的重新训练。

技术摘要：面向医疗视觉问答的噪声感知视觉表示学习

类似论文