💻 computer science

Parameter-efficient Prompt Tuning and Hierarchical Textual Guidance for Few-shot Whole Slide Image Classification

该论文提出了一种结合参数高效提示微调与软层次文本引导策略的新方法，旨在解决全切片图像少样本弱监督分类中现有提示微调方法参数量大、推理开销高以及因硬过滤导致信息丢失的问题，并在多种癌症数据集上显著提升了分类性能与肿瘤定位能力。

原作者： Jayanie Bogahawatte, Sachith Seneviratne, Saman Halgamuge

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Jayanie Bogahawatte, Sachith Seneviratne, Saman Halgamuge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 HIPSS 的新方法，旨在解决医学图像分析中的一个大难题：如何在只有极少样本（甚至只有几张图）的情况下，让 AI 准确识别出巨大的病理切片中是否有癌症。

为了让你轻松理解，我们可以把整个过程想象成**“在茫茫大海中找宝藏”**。

1. 背景：巨大的地图与稀缺的向导

全切片图像 (WSI)：想象一下，病理医生要检查的是一张超级巨大的地图（全切片图像），它的分辨率高到像整个城市那么大（十亿像素）。为了处理它，AI 不得不把这张大地图切成无数个小方块（比如 256x256 像素的小格子），我们叫它们“实例”。
少样本学习 (Few-shot)：通常，教 AI 认癌症需要成千上万张标注好的地图。但在现实中，医生太忙了，或者罕见病样本太少，我们可能只有几张甚至一张标注好的地图（比如“这张图里有癌”），却需要 AI 学会识别所有类似的图。这就好比只给探险队看了一张藏宝图，就要让他们去整个大陆找宝藏。
现有的困难：以前的 AI 方法要么太笨重（需要训练太多参数，像背了一整本字典），要么太挑剔（只相信那些看起来像“癌症”的小方块，把其他可能有用的线索都扔掉了），导致在样本极少时容易迷路。

2. 核心创新：HIPSS 的两大法宝

作者提出了两个聪明的策略来解决上述问题：

法宝一：给 AI 戴上“智能眼镜”（参数高效提示微调）

传统做法：以前的方法为了适应新任务，往往要重新训练 AI 的“大脑”（文本编码器），或者用复杂的“交叉注意力”机制，这就像为了学一个新单词，要把整本字典都重新背一遍，既慢又费电。
HIPSS 的做法：作者发明了一种**“缩放和移位” (Scaling and Shifting)** 的技巧。
- 比喻：想象 AI 原本有一个固定的“滤镜”（预训练的文本编码器）。以前，我们要换滤镜得把整个相机拆了重装。现在，HIPSS 只是在这个滤镜上轻轻拧两个小螺丝（缩放参数 $\gamma$ 和移位参数 $\beta$ ）。
- 效果：这两个小螺丝就能让 AI 的“眼镜”瞬间适应新的任务，既不需要重背字典，也不需要额外的计算成本。这让 AI 变得非常**“轻量级”**，训练快，推理也快。

法宝二：温柔的“分层向导”（分层文本引导）

传统做法：以前的方法在分析大地图时，会先问 AI：“这个小白块像癌症吗？”如果 AI 觉得“不太像”，就直接扔掉这个小白块。
- 问题：这很危险！有些小白块虽然看起来不像典型的癌症，但可能是癌症的“邻居”或者“早期信号”。直接扔掉（硬过滤）会导致信息丢失，就像为了找金子把可能有金子的沙土都倒掉了一样。
HIPSS 的做法：作者设计了一个**“分层向导”系统，而且非常“温柔” (Soft)**。
- 比喻：
  1. 大地图 -> 区域：先把大地图分成几个大的“街区”（Region）。
  2. 街区 -> 小方块：再把街区分成小“房子”（Instance）。
  3. 向导的作用：AI 手里拿着一张由大语言模型（LLM）生成的**“寻宝描述”**（比如：“癌症通常表现为细胞密集、颜色深”）。
  4. 温柔筛选：当 AI 看一个小房子时，它不会直接说“像”或“不像”然后扔掉。相反，它会计算这个房子和“寻宝描述”的相似度。
    - 如果很像，就重点标记（放大权重）。
    - 如果有点像但不确定，就保留并给个中等分数（线性加权）。
    - 如果完全不像，才稍微降低关注度，但绝不直接扔掉。
- 效果：这种方法利用了病理图像天然的层级结构（从街区到房子），并且保留了所有可能的线索，避免了因“误杀”而丢失关键信息。

3. 结果：又快又准

作者在乳腺癌、肺癌和卵巢癌的数据集上进行了测试，结果非常惊人：

更准：在只有 1 张或 2 张样本的极端情况下，HIPSS 的准确率比目前最先进的其他方法提高了 7% 到 13% 不等。
更省：它需要训练的参数量减少了 18%，推理速度也更快了。
更懂行：除了分类（判断有没有癌），它还能很好地定位肿瘤在哪里（就像在地图上圈出宝藏位置），这对于医生后续治疗非常重要。

总结

简单来说，这篇论文就像给 AI 探险队配备了一套**“轻量级智能眼镜”和“温柔的分层向导”**。

它不再死记硬背，而是通过微调几个小参数来快速适应新任务。
它不再粗暴地丢弃任何线索，而是温柔地评估每一块区域，确保在样本极少时也能找到最关键的“宝藏”（癌症区域）。

这项技术让 AI 在医疗资源匮乏（样本少）的情况下，也能成为医生得力的助手，既聪明又高效。

论文技术总结：基于参数高效提示微调与分层文本引导的少样本全切片图像分类

1. 研究背景与问题定义

背景：
全切片图像（Whole Slide Images, WSIs）在病理学中具有吉像素（giga-pixel）级别的规模。由于标注成本高昂，少样本弱监督全切片图像分类（FSWC） 成为利用有限幻灯片级标签进行学习的关键任务。近年来，预训练的视觉 - 语言模型（VLMs，如 CLIP、CONCH）被引入该领域，利用其迁移学习能力处理少样本场景。

现有挑战：
尽管 VLMs 表现优异，但现有的少样本 FSWC 方法存在以下主要局限性：

计算成本高与参数冗余：现有的提示微调（Prompt Tuning）方法（如基于 CoOp 的方法）通常引入大量可训练参数（例如使用交叉注意力机制），导致推理开销大，且在极端少样本设置下容易过拟合。
实例过滤导致的信息丢失：为了降低计算量，现有方法常根据实例与文本嵌入的对齐程度进行硬过滤（Hard Filtering），直接丢弃对齐度低的实例。然而，WSI 具有内在的层次结构，某些低对齐度的区域可能仍包含诊断相关的信息，硬过滤会导致关键信息丢失，影响分类和肿瘤定位的准确性。
分布差异：VLMs 通常在实例级（Instance-level）图像 - 文本对上预训练，而下游任务需要幻灯片级（Slide-level）表示，两者之间存在分布和语义鸿沟。

2. 核心方法论：HIPSS

作者提出了 HIPSS（Hierarchical textual guidance based WSI representation learning and Prompt tuning with Scaling and Shifting features），旨在解决上述问题。该方法包含两个核心贡献：

2.1 基于缩放与移位特征（Scaling and Shifting Features, SSF）的参数高效提示微调

机制：不同于传统的 CoOp（学习上下文向量）或交叉注意力机制，HIPSS 在预训练文本编码器的特定层中引入可学习的**缩放（ $\gamma$ ）和移位（ $\beta$ ）**参数。
公式： $y = \gamma \cdot x + \beta$ ，其中 $x$ 为特征， $y$ 为变换后的特征。
优势：
- 参数高效：仅微调少量参数（每层两个向量），显著减少了可训练参数量。
- 推理零开销：利用重参数化（Re-parameterization）技术，训练后的线性变换可以合并到模型中，推理阶段无需额外计算。
- 分布对齐：通过微调特征分布，使预训练的文本特征更好地适应 WSI 下游任务。

2.2 基于软分层文本引导的 WSI 表示学习

分层结构：利用 WSI 的内在层次结构，将全切片图像（WSI）首先划分为多个区域（Regions，如 4096x4096），每个区域再划分为实例（Instances，如 256x256 补丁）。
软文本引导（Soft Textual Guidance）：
- 拒绝硬过滤：不直接丢弃实例，而是利用 VLM 文本编码器生成的文本嵌入（ $T$ ）来细化注意力权重。
- 注意力重加权：在区域级和 WSI 级聚合阶段，引入基于余弦相似度的评分机制（ $s_{i,m}$ $s_{i, m}$ ）。
  - 若实例与文本语义一致（高相似度），放大其权重。
  - 若相似度低但为正，线性加权保留。
  - 若为负（语义不一致），抑制其权重。
- 机制：通过公式 $a_{i,m} = \frac{\exp(\dots + s_{i,m})}{\sum \exp(\dots + s_{i,m})}$ 动态调整注意力，既利用了 VLM 的先验知识，又保留了 WSI 的空间层次信息。
提示构建：利用大语言模型（LLM）生成针对“整个 WSI"和"WSI 区域”的两种描述性提示，分别对应幻灯片级和区域级的语义，输入到文本编码器。

2.3 训练策略

采用**对比学习（Contrastive Learning）**损失函数，拉近匹配的图像 - 文本嵌入对，推远不匹配的对，并结合交叉熵损失进行端到端训练。

3. 实验结果

作者在三个病理数据集（乳腺癌 Camelyon16、肺癌 TCGA-Lung、卵巢癌 UBC-OCEAN）上进行了广泛评估，涵盖 1-shot 到 16-shot 的不同设置。

3.1 分类性能

显著提升：HIPSS 在所有数据集和少样本设置下均优于最先进（SOTA）方法。
- Camelyon16：在 4-shot 设置下提升 10.9%。
- TCGA-Lung：在 4-shot 设置下提升 7.8%。
- UBC-OCEAN：在 1-shot 设置下提升 13.8%。
对比 LoRA：在 C16 数据集上，相比基于 LoRA 的提示微调，HIPSS 在参数量减少 59.7% 的情况下，平均性能提升了 16.4%。

3.2 计算效率

参数量减少：在乳腺癌和肺癌数据集上，可训练参数量减少了 18.1%；在卵巢癌数据集上减少了 5.8%。
推理速度：在 C16 数据集上，每张幻灯片的平均推理时间减少了 12.6%（从 27.30ms 降至 23.85ms，相比 ViLa-MIL 等交叉注意力方法）。

3.3 弱监督肿瘤定位

尽管未进行专门的定位微调，HIPSS 在 C16 数据集上的肿瘤定位 Dice 系数达到了 0.732，远超其他少样本方法（如 TOP 的 0.203）和传统 MIL 方法，证明了其学习到的特征表示具有极高的空间判别力。

4. 主要贡献与意义

提出 SSF 提示微调：首次将缩放与移位特征（SSF）应用于 VLM 的提示微调，在保持高性能的同时大幅降低了计算成本和参数量，解决了现有方法推理开销大的问题。
软分层文本引导策略：摒弃了可能导致信息丢失的硬过滤机制，提出了一种利用文本嵌入动态细化注意力的软引导策略，有效融合了 VLM 的先验知识与 WSI 的层次空间结构。
性能与效率的双重突破：在多个病理数据集上实现了 SOTA 的分类性能，同时显著减少了训练参数和推理时间，证明了该方法在资源受限的临床环境中的实用性。
强大的定位能力：方法不仅提升了分类准确率，还展现出卓越的弱监督肿瘤定位能力，为后续的肿瘤分割等下游任务提供了高质量的特征表示。

总结：HIPSS 通过参数高效的微调机制和创新的软文本引导策略，有效解决了少样本病理图像分类中计算成本高和信息丢失的痛点，为临床辅助诊断提供了一种高效、精准的解决方案。