💻 computer science

GRASP: Guided Residual Adapters with Sample-wise Partitioning

本文提出了一种名为 GRASP 的非侵入式方法，该方法通过划分条件空间并采用特定于组别的残差适配器来对齐长尾文本到图像流匹配中的梯度，从而显著提升了尾部类别的保真度与多样性，同时使合成数据在下游分类任务中能够匹配真实数据的性能。

原作者： Felix Nützel, Mischa Dombrowski, Bernhard Kainz

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Felix Nützel, Mischa Dombrowski, Bernhard Kainz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一位主厨烹饪一份包含海量菜品的菜单。大多数时候，他们只被要求烹饪流行的经典菜肴，比如“意大利面”或“牛排”（即头部类别）。但偶尔，他们也会被要求烹饪非常罕见、具体的菜肴，比如“某种特定的稀有蘑菇汤”（即尾部类别）。

由于主厨练习流行菜肴的次数是练习稀有菜肴次数的数千倍，他们变得非常擅长烹饪经典菜肴，却在稀有菜肴上表现糟糕。当被要求制作那碗稀有汤时，他们可能会端上一碗白开水，或者一碗意大利面与蘑菇的奇怪混合物。他们在稀有任务上发生了“崩溃”，因为流行菜肴的训练信号淹没了稀有菜肴的信号。

本文介绍了一种名为GRASP（基于样本划分的引导残差适配器）的解决方案，旨在解决 AI 图像生成器面临的这一问题，特别是在医学成像等领域，那里罕见疾病很常见却难以学习。

以下是 GRASP 的工作原理，使用简单的类比进行说明：

1. 问题：“拥挤的教室”

在标准的 AI 训练中，所有的“学生”（AI 的内部数学运算）都待在同一个大教室里。当老师（训练算法）给予反馈时，关于流行菜肴（如意大利面）的反馈既响亮又频繁，淹没了关于稀有菜肴的微弱低语。AI 学会了忽略稀有菜肴，因为数学运算被噪声搞糊涂了。

2. 解决方案：建立“专业学习小组”

GRASP 没有让所有人待在同一个大房间里，而是建立了一套专业学习小组系统（称为专家）。

地图（静态划分）： 在训练开始之前，研究人员绘制了一张地图。他们不要求 AI 自行决定谁属于哪个组（如果 AI 偏向流行主题，这可能会很棘手）。相反，他们使用一个简单、预先制定的规则：“如果请求涉及罕见疾病，去 A 组；如果涉及常见疾病，去 B 组；如果涉及健康人，去 C 组。”
- 类比： 想象一个图书馆，书籍按照书脊上预先打印的简单标签进行分类。你不需要一位聪明的图书管理员来决定书籍该放哪里；你只需遵循标签即可。这确保了即使某本稀有书籍在图书馆中只出现一次，它也总是会被放到同一个特定的书架上。
专家（残差适配器）： 在每个学习小组内部，都有一个小型的、专门的助手（一个适配器），它只学习该特定小组的细节。
- 类比： 想象主厨仍然在那里，但现在他们为“稀有蘑菇”岗位配备了一位副厨，为“健康沙拉”岗位配备了另一位副厨。“稀有蘑菇”副厨只听取关于蘑菇的反馈。他们不会被成千上万人大喊关于意大利面的声音所迷惑。

3. 为什么这比“学习分类”更好

一些先前的方法试图教 AI 学会如何自己将学生分组。

缺陷： 如果由 AI 决定谁去哪里，它自然会将稀有学生发送到“流行”组，因为“流行”组如此响亮且占据主导地位。AI 学会了忽略稀有学生以取悦大多数。
GRASP 的修正： GRASP 使用固定的、预先制定的规则（地图）。它迫使稀有学生进入他们自己的组，保证他们得到关注。这就像一位老师说：“无论如何，这三个学生必须坐在这张特定的桌子旁”，确保他们不会在人群中迷失。

4. 结果：发生了什么？

研究人员在医学 X 光图像（其中罕见疾病是“尾部”）和通用图像（如 ImageNet）上测试了这种方法。

稀有图像更好： AI 开始生成质量高得多的罕见疾病图像。图像不再是模糊的胡言乱语，而是看起来真实且多样。
未损害流行图像： 常见疾病的图像没有变差；它们保持了一样好。
下游成功： 当他们使用这些 AI 生成的图像来训练计算机诊断疾病时，计算机在识别罕见疾病方面变得强得多。事实上，它能够正确识别出以前完全无法识别的罕见病症。

5. “非侵入式”的魔力

GRASP 最酷的部分在于，它没有改变 AI 学习的基本规则（“目标”）或其选择图像的方式（“采样器”）。它只是改变了谁听取哪种反馈。

类比： 这就像给教室里的特定学生加上了降噪耳机。老师仍然对整个房间说话，但“罕见疾病”组的学生只听到为他们准备的低语，而“流行”组听到的是响亮的喊声。

总结： GRASP 通过利用简单、预先制定的规则将稀有事物强制纳入其专属的学习团队，从而阻止 AI 忽略稀有事物。这确保了即使是最罕见的病症也能得到正确学习所需的关注，而不会搞乱常见病症。

技术摘要：GRASP——基于样本划分的引导残差适配器

问题陈述

文本到图像流匹配（flow matching）变换器在长尾分布中表现出严重的性能下降，特别是在医学成像等罕见病理主导现实世界的领域。虽然模型在频繁的“头部”类别上表现良好，但在“尾部”类别上却遭遇模式崩溃，生成的图像保真度差且多样性有限。作者指出，其根本原因在于优化层面的病理：在微调过程中，头部和尾部类别的梯度更新在范数和方向上均不匹配。这些梯度在参数层面产生破坏性平均，导致模型优先处理频繁类别并压缩罕见类别的表示。现有的干预措施，如事后采样策略或训练时的损失函数修改，未能解决这种特定的梯度不对齐问题，往往要么未能改变底层分布，要么以不直接针对优化失败的方式修改了生成目标。

方法论

本文提出了GRASP（基于样本划分的引导残差适配器），这是一种非侵入式的架构干预方法，旨在改善梯度对齐，而无需改变流匹配目标或采样过程。

1. 基于条件的样本划分

GRASP 不学习门控网络（这存在被头部类别梯度主导的风险），而是采用条件空间的静态、确定性划分。

理论基础： 在条件流匹配中，条件值索引着不同的概率路径集合。作者认为，沿条件向量进行划分是作为梯度对齐代理的结构上正确的因子分解。
实现： 一个静态路由函数 $\pi: \mathcal{C} \to \{1, \dots, K\}$ $π : C \to {1, \dots, K}$ 根据每个样本的条件将其分配给 $K$ $K$ 个专家之一。
- 医学语境（MIMIC-CXR-LT）： 样本被划分为语义组（头部、中等、尾部），并进一步根据领域特定的先验（健康 vs. 病理）进行细分，从而形成四个专家。
- 通用语境（ImageNet-LT）： 划分是通过对冻结文本编码器上的文本嵌入进行聚类（二分 K-means）实现的，无需领域特定先验。
鲁棒性： 该方法依赖于“粗糙”先验（例如频率分箱或普通聚类），而非完美的语义分离。其目标是确保平均而言，同一专家内的样本比不同专家间的样本共享更同质的梯度动态。

2. 引导残差适配器

一旦样本被路由，该架构利用插入到冻结预训练骨干网络（Flux）前馈层中的组特定残差适配器。

机制： 对于路由到专家 $k = \pi(c_i)$ 的样本 $x_i$ ，层输出为 $h_{l+1} = F_l(h_l) + A_{k,l}(h_l)$ ，其中 $F_l$ 是共享的基础变换， $A_{k,l}$ 是特定于专家的适配器。
梯度隔离： 适配器 $k$ 内的参数仅由分配给该专家的样本进行更新。这隔离了组特定的梯度，防止了头部类别更新的破坏性干扰，同时允许共享骨干网络积累可迁移的结构。
设计： 适配器是轻量级的两层变换。与 LoRA 不同，它们不强制严格的维度缩减，允许使用更宽的适配器（ $d' \approx d$ 或 $d' > d$ ），以稳定大领域差距下的微调。

主要贡献

将梯度一致性迁移至流匹配： 作者将来自长尾语言建模（Dong 等人）的梯度一致性目标适配到文本到图像流匹配中。关键在于，他们用确定性、条件驱动的划分取代了学习的门控机制。他们论证道，在条件流匹配中，条件自然地索引概率路径几何结构，使得静态划分成为一种结构上正确的因子分解，而非通用的启发式方法。
非侵入式且可组合的设计： GRASP 保持流匹配损失和采样器不变，仅修改哪些参数吸收哪些梯度。这使得它可以与正交干预措施组合使用。作者证明，在推理时将 GRASP 与自引导少数类采样相结合，其效果优于单独使用任一方法。
条件作为梯度代理的经验验证： 通过消融研究和梯度分析，论文验证了条件同质性与专家级梯度一致性之间存在强相关性，证实了即使使用带有噪声的先验，静态划分也能有效地逼近理想的梯度分组。

结果

该方法在 MIMIC-CXR-LT（医学胸部 X 光片）、NIH-CXR-LT（下游分类）和 ImageNet-LT（通用长尾生成）上进行了评估。

图像生成质量与多样性：
- 在 MIMIC-CXR-LT 上，与全量微调相比，GRASP 将整体 FID 降低了高达 80%，并将尾部类别的覆盖率提高了高达 44%。
- 其表现优于最先进（SOTA）的基线，包括全量微调、通用适配器以及学习路由的混合专家（MoE）变体（如 MoCLE）。
- 定性分析显示，GRASP 恢复了基线模型平滑掉或崩溃的罕见病理（如气腹）的特定类别特征。
下游分类：
- 当使用 GRASP 生成的合成图像在 NIH-CXR-LT 上训练 DenseNet-121 分类器时，该模型达到了与真实数据训练相当的宏观 F1 分数。
- 关键在于，GRASP 使得 13 个类别中的 9 个 获得了非零的 F1 分数，而全量微调仅在 3 个类别上实现了这一点。
泛化性： ImageNet-LT 的结果证实，该机制并不依赖于医学归纳偏置，而是泛化到广泛的长尾生成任务中。

意义与主张

本文将 GRASP 定位为一种受控的增强与分析工具，明确指出合成图像不能替代基于临床的队列或专家审查。作者强调，如果缺乏来源证明和验证，合成数据可能会保留或放大偏差。

所声称的主要意义在于，只要存在对条件的粗糙先验（这在医学成像中是常见情况），静态路由就是长尾文本到图像生成的默认选择。与因头部类别主导而在极端长尾区域失效的学习门控不同，静态划分保证了每个尾部样本都能更新其分配的专家。这提供了一种稳定、高效且非侵入式的机制，用于在不修改核心生成目标的情况下缓解优化层面的病理。