💻 computer science

Geometry-Aware Uncertainty Coresets for Robust Visual In-Context Learning in Histopathology

本文介绍了 GAUC，一种无需训练的核集选择方法，该方法利用最大均值差异、有效互信息和预测方差，在不进行参数更新的情况下，提升视觉 - 语言模型在组织病理学中的准确性、校准性和提示鲁棒性。

原作者： Franciskus Xaverius Erick, Johanna Paula Müller, Bernhard Kainz

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Franciskus Xaverius Erick, Johanna Paula Müller, Bernhard Kainz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位资深侦探，正试图通过显微镜下观察组织的微小放大图像来解开一个复杂的医学谜团。你拥有一位超级智能的 AI 助手（视觉 - 语言模型），它可以查看这些图像并告诉你哪里出了问题。然而，这位 AI 就像一位才华横溢但缺乏经验的学生：它尚未学习你所在医院的具体规则，而且由于数据稀缺且涉及隐私，你无法花费数月时间对其进行重新训练。

相反，你决定使用一种称为“上下文学习”（In-Context Learning）的技巧。在让 AI 解决新谜团之前，你先向它展示几个示例病例（一个“演示集”）。如果你展示的是优质示例，它就能正确解决案件；如果你展示的是劣质示例，它就会感到困惑，甚至可能编造事实（产生幻觉）。

问题在于：我们该如何挑选完美的示例？

问题：选错了“学习小组”

目前，大多数方法是通过寻找与当前谜团最相似的示例来挑选（类似于“最近邻”搜索）。

缺陷：想象你正在为生物学考试复习。如果你只和三个长得和你一模一样、想法也和你完全一样的朋友一起学习，你可能会错过全局图景。用论文中的术语来说，这种方法忽略了数据的“全局结构”。它可能会挑选出 10 个看起来都像“癌症”的示例，即使真实数据集中包含许多不同类型的组织。这会导致 AI 过度自信并得出错误结论。
风险：如果你稍微改变提问的措辞（例如，将“这是癌症吗？”改为“你看到恶性细胞了吗？”），AI 可能会给出一个完全不同且不可靠的答案。

解决方案：GAUC（“智能学习小组”选择器）

作者提出了一种名为 GAUC（几何感知不确定性核心集）的新方法。你可以将 GAUC 想象为一位严格且超级聪明的图书管理员，它能为 AI 策划完美的示例“学习小组”，而完全无需重新训练 AI。

GAUC 基于三条简单的规则挑选示例，就像组建完美团队的食谱：

“地图”规则（几何/MMD）：
- 类比：想象整个数据集是一张包含不同城市（组织类型）的巨型国家地图。一个糟糕的选择器可能会挑选出全部来自同一个偏远小村庄的 10 个人。GAUC 确保所选小组代表“整个国家”。它使用一种数学“地图”（最大均值差异，Maximum Mean Discrepancy），确保示例涵盖现实世界中存在的所有不同形状和纹理，防止 AI 陷入狭隘的视角。
“改写”规则（提示鲁棒性/EMID）：
- 类比：想象你问你的学习小组：“这是一只猫吗？”他们回答“是”。然后你问：“这看起来像猫科动物吗？”他们却回答“不”。这就是一个糟糕的学习小组。GAUC 会检查该小组即使在你改写问题后是否仍能给出相同的答案。它使用一种特殊测试（有效互信息差异，Effective Mutual Information Difference）来确保示例是稳定的，不会仅仅因为你使用了不同的词语就让 AI 感到困惑。
“自信”规则（方差）：
- 类比：想象一个学生胡乱猜测，当实际上是一只猫时，他却说：“我 99% 确定这是一只狗！”这是危险的。GAUC 寻找那些能让 AI 保持冷静和精准的示例。它会惩罚那些让 AI 对错误答案感到“犹豫不决”或“过度自信”的示例。它希望 AI 只在应该确定的时候才表现出确定性。

测试结果表明了什么？

研究人员在两个真实世界的医学数据集（结直肠癌组织和息肉）上使用不同的 AI 模型测试了这位“智能图书管理员”。

更高的准确率：与随机挑选示例或挑选“最相似”的示例相比，使用 GAUC 挑选的示例后，AI 获得了更正确的诊断。
更少的“虚假”回答：AI 犯下的那些自信地编造不存在细节的错误（幻觉）减少了。
更稳定：如果你用不同的方式提出同一个问题，AI 会给出一致的答案。
无需额外训练：最棒的是？GAUC 在这一切过程中没有改变 AI 的“大脑”。它只是挑选了更好的示例展示给它。这就像给学生提供更好的学习材料，而不是强迫他们回校攻读新学位。

结论

这篇论文提出了一种方法，通过更聪明地选择展示给 AI 的示例，使 AI 病理学家更加可靠。GAUC 不再仅仅向 AI 展示与当前病例最相似的内容，而是向它展示一个多样化、稳定且平衡良好的示例组，帮助 AI 理解全局图景、保持冷静并避免编造事实。这是一种“无需训练”的升级，使 AI 在医疗应用中更加安全和准确。

技术摘要：面向组织病理学鲁棒性视觉上下文学习的几何感知不确定性核心集

问题陈述

视觉 - 语言模型（VLMs）通过将视觉感知与开放式临床推理相结合，为计算组织病理学提供了一条充满前景的途径。然而，其临床部署面临两个关键障碍：

数据稀缺与隐私：在稀缺、专家标注且涉及隐私敏感性的病理数据上，对拥有数十亿参数的 VLMs 进行微调在计算上代价高昂，且往往不可行。
上下文学习（ICL）的不稳定性：虽然 ICL 允许 VLMs 通过演示性的图像 - 文本对执行任务而无需更新参数，但它对示例的选择和查询的措辞高度敏感。现有的选择策略（如 $k$ -近邻（ $k$ NN）检索）依赖于局部查询相似性，却忽略了数据集的全局分布结构。此外，当前方法往往未能考虑 VLMs 的联合视觉 - 文本嵌入几何结构，导致诊断不可靠、提示诱导的不稳定性以及过度自信的错误生成（幻觉）——这些问题在组织病理学中尤为有害，因为类别不平衡会掩盖少数形态。

方法：GAUC

作者提出了GAUC（几何感知不确定性核心集），这是一种免训练的核心集选择方法，直接在冻结 VLM（ $W_\theta$ ）的预训练多模态嵌入空间中运行。GAUC 不学习新参数，而是通过最小化由三个互补项组成的复合目标函数，从完整数据集（ $F$ ）中选择一个紧凑的真实、可临床追溯的演示图像子集（ $D$ ）：

几何感知分布保真度（MMD）：
为防止核心集坍缩至主导的形态聚类，GAUC 强制所选核心集的嵌入分布与完整数据集的分布相匹配。这是通过在再生核希尔伯特空间中最小化两个分布之间的**最大均值差异（MMD）**来实现的。这确保了在所有组织形态上的全局代表性。
提示鲁棒性正则化（EMID）：
为应对文本查询变化的敏感性，GAUC 利用有效互信息差（EMID）。该指标量化了当提示被改写时，模型响应与多模态输入之间耦合的退化程度。通过最小化 EMID 的上界（通过对视觉、文本和响应嵌入进行 Jensen-Shannon 散度推导得出），该方法选择无论提示措辞如何都能产生一致输出的演示，明确利用了 VLM 的联合视觉 - 文本对齐特性。
预测方差正则化：
为抑制过度自信但不稳定的预测（幻觉），该方法对模型输出概率分布在类别标签上的方差施加惩罚。最小化该项将选择导向那些产生集中、低熵预测分布的演示，从而减少歧义或对错误类别的过度自信。

最终的核心集 $D^*$ 通过联合最小化获得：
$D^* = \arg \min_D \left( \text{MMD}^2(F, D) + \alpha \cdot \text{EMID}_{\text{upper}} + \beta \cdot \text{Var}(D) \right)$
其中 $\alpha$ 和 $\beta$ 控制权衡。整个优化过程无需训练，仅需前向传播的嵌入和输出对数概率。

主要贡献

几何感知目标：一种基于最大均值差异（MMD）的选择机制，保留完整数据集的全局结构，防止坍缩至局部聚类。
提示鲁棒性正则化器：一种源自 EMID 的项，量化改写查询下的响应差异，强制跨视觉和文本模态的不变性。
方差正则化项：一种针对预测不确定性的惩罚，最小化输出熵并抑制过度自信的错误生成。
免训练部署：一个兼容任何现成 VLM 的框架，无需单次梯度更新即可提高准确性、校准度和鲁棒性。

实验结果

该方法在两个组织病理学基准上进行了评估：CRC-100K（8 类组织亚型分类）和MHIST（二分类息肉分类），使用了 Qwen 和 LLaVA VLM 架构。

准确性与校准：在 Qwen（3 次射击）的 CRC-100K 上，GAUC 取得了最高的准确率（0.610）和 F1 分数（0.588），比最强的学习基线（MIMIC）高出 1.16 个百分点。与互信息对齐的检索基线相比，它还显著降低了期望校准误差（ECE）。
鲁棒性：GAUC 在提示改写（Var-para）和独立运行（Var-runs）下表现出最低的预测方差，证实了 EMID 正则化的有效性。
幻觉减少：与 MIMIC 相比，GAUC 在句子级幻觉率（CHAIRs）上实现了 1.61% 的相对降低，表明方差惩罚有效地抑制了倾向于虚构的高熵状态。
定性分析：可视化显示，虽然 $k$ NN 经常选择形态冗余的示例导致自信的误分类，但 GAUC 选择了跨越多个组织类别的多样化演示，从而实现了具有更高置信度的正确诊断。
消融研究：移除三个项（MMD、EMID 或方差）中的任何一项都会导致统计上显著的性能下降，证实了所有组件都贡献了互补的收益。

意义与主张

该论文提出，GAUC 为计算病理学中可信、免训练的辅助诊断确立了新标准。通过将几何感知选择与信息论提示不变性相结合，该方法解决了当前 ICL 方法的关键局限性：对示例选择的敏感性、提示不稳定性以及过度自信。

作者声称，这种方法特别重要，因为：

它利用真实的、可临床追溯的演示图像，不同于合成人工样本的数据集蒸馏方法。
它无需参数更新，使其能够立即与现有的预训练 VLM 部署，无需微调的计算成本。
它自然地推广到其他安全关键领域，在这些领域中可靠的上下文学习至关重要，但数据稀缺或涉及隐私敏感性。

这项工作表明，嵌入空间中的原则性核心集选择可以克服提示工程的“黑盒”性质，为 VLMs 执行高风险医疗任务提供了一种鲁棒机制，同时避免了与幻觉和校准误差相关的风险。