🤖 machine learning

VariViT: A Vision Transformer for Variable Image Sizes

本文提出了 VariViT，一种通过新颖的位置嵌入调整方案和高效批处理策略来适应可变图像尺寸并保持一致补丁大小的改进型视觉 Transformer，其在 3D 脑 MRI 任务中不仅超越了传统模型，还显著降低了计算成本。

原作者： Aswathi Varma, Suprosanna Shit, Chinmay Prabhakar, Daniel Scholz, Hongwei Bran Li, Bjoern Menze, Daniel Rueckert, Benedikt Wiestler

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aswathi Varma, Suprosanna Shit, Chinmay Prabhakar, Daniel Scholz, Hongwei Bran Li, Bjoern Menze, Daniel Rueckert, Benedikt Wiestler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 VariViT 的新人工智能模型，专门用来解决医学影像分析中的一个大难题：如何聪明地处理大小不一的肿瘤图片。

为了让你轻松理解，我们可以把整个故事想象成**“给不同大小的水果装箱”**的过程。

1. 遇到的问题：死板的“标准箱”

想象一下，你是一家水果分拣工厂的经理。你的任务是给各种大小的水果（比如小草莓、大西瓜）拍照，然后让 AI 识别它们是什么。

传统方法（ViT 和 CNN）： 以前的 AI 就像是一个死板的打包工。它只接受一种固定大小的箱子（比如 96x96 的盒子）。
- 如果来了个小草莓（小肿瘤），打包工为了填满箱子，不得不把草莓周围塞满很多空气（背景），或者把草莓强行拉伸变大。这会导致草莓变形（产生伪影），而且 AI 会花大量精力去研究那些没用的空气（背景），反而忽略了草莓本身。
- 如果来了个大西瓜（大肿瘤），打包工只能切掉一部分，或者把西瓜压缩塞进小盒子里。这会导致西瓜被压坏，丢失细节，AI 也看不清了。
- 结果： 无论是拉伸还是压缩，都会让水果（肿瘤）看起来失真，AI 容易看走眼，而且处理起来很慢。

2. 我们的解决方案：VariViT（智能可变箱）

这篇论文提出的 VariViT，就像是一个拥有魔法的智能打包工。它不再强迫所有水果都塞进同一个大小的盒子里，而是根据水果的实际大小，动态调整盒子的尺寸，但保持“切块”的大小不变。

核心魔法一：中心对齐的“切块”策略

传统做法： 为了适应不同大小的水果，传统 AI 会把图片强行拉伸或压缩，就像把橡皮泥捏来捏去，形状都变了。
VariViT 的做法（Center and Select）：
- 想象我们有一个巨大的、画好格子的标准地图（这是预先训练好的位置信息）。
- 无论肿瘤是大是小，VariViT 都知道肿瘤的中心在哪里。
- 它不需要拉伸地图，而是直接从这张大地图的正中心，切下一块刚好能包住当前肿瘤大小的区域。
- 比喻： 就像你有一张巨大的世界地图。如果要看“北京”，你就从地图中心剪下北京那块；如果要看“上海”，你就从中心剪下上海那块。地图本身没有变形，只是选取的范围变了。 这样既保留了细节，又不会引入奇怪的扭曲。

核心魔法二：聪明的“排队”策略（Batching）

传统做法： 训练 AI 时，通常要把一堆图片塞进一个“批次”（Batch）里一起处理。如果图片大小不一样，电脑就会卡住，或者不得不把小的图片填上很多空白（Padding），浪费算力。
VariViT 的做法：
- 策略 A（同大同小）： 它会把同样大小的水果放在同一个篮子里一起处理。
- 策略 B（梯度累积）： 如果大小实在不同，它也会聪明地分批处理，把小批次累积起来再更新一次结果。
- 比喻： 就像超市结账。以前不管买多少东西，都强行排成一队，买得少的要等很久。VariViT 则是让买得少的先结账，或者把几个小单合并处理，大大加快了速度。

3. 效果如何？

研究人员在两个真实的脑部 MRI（核磁共振）数据集上测试了这个模型：

预测胶质瘤的基因类型（IDH 突变状态）。
区分原发性脑瘤和转移性脑瘤。

结果令人惊喜：

更准： VariViT 的准确率（F1 分数）比传统的 ResNet 和标准 ViT 都要高。因为它能更专注地看肿瘤本身，而不是被背景干扰。
更快： 由于不需要处理那些无用的背景填充，训练和运行的速度提升了30%。
更省资源： 它不需要把小肿瘤强行放大，也不需要把大肿瘤强行切掉，直接“量体裁衣”。

总结

VariViT 就像是一个懂变通的医生。
以前的 AI 医生看片子，不管肿瘤大小，都强行把片子拉成一样大，导致有的看花了眼，有的看漏了细节。
而 VariViT 医生会根据肿瘤的大小，自动调整“放大镜”的视野范围，始终聚焦在肿瘤最核心的区域，既看得清细节，又算得快。

这对于医疗诊断来说非常重要，因为它意味着 AI 能更准确地帮助医生发现病灶，同时还能节省宝贵的计算时间和医疗资源。

VariViT：面向可变图像尺寸的 Vision Transformer 技术总结

1. 研究背景与问题 (Problem)

Vision Transformer (ViT) 凭借其自注意力机制在表征学习中取得了最先进的性能。然而，将 ViT 应用于医学图像分析（特别是包含不规则结构如肿瘤的图像）时，面临以下核心挑战：

固定尺寸输入的局限性：传统 ViT 要求将图像分割为固定大小的 Patch，这迫使输入图像必须经过预处理（如调整大小、填充或裁剪）以匹配预定义尺寸。
前景/背景比例失衡：医学图像中的感兴趣区域（ROI，如肿瘤）形状和大小各异。使用固定边界框裁剪会导致不同样本中“前景（肿瘤）与背景（健康组织）”的比例差异巨大。固定尺寸往往包含过多背景，导致模型注意力分散，浪费计算资源。
信息失真：对医学图像进行强制缩放（Resizing）可能会引入伪影或扭曲现有特征，掩盖真实的病理异常，从而干扰诊断。
计算效率与精度的权衡：处理大尺寸图像计算成本高昂，而缩小尺寸又可能导致关键信息丢失。

现有的变体（如 FlexiViT, Pix2Struct, NaViT）虽然尝试解决可变尺寸问题，但往往通过插值（导致信息损失或计算复杂）或随机丢弃 Token（导致信息丢失）来实现，这在医学图像这种小目标、高敏感度的场景下并非最优解。

2. 方法论 (Methodology)

作者提出了 VariViT，一种专为处理可变图像尺寸而设计的改进型 ViT 模型。其核心在于保持 Patch 大小一致的同时，灵活适应不同的序列长度。主要技术组件包括：

2.1 中心选择策略 (Center and Select)

这是 VariViT 处理可变位置编码的核心创新：

原理：在肿瘤分类任务中，3D 裁剪通常基于分割掩码，并将肿瘤质心对齐到 3D 裁剪的中心。这意味着无论肿瘤大小如何，其质心在空间上是重合的，提供了一个可靠的参考点。
实现：
1. 初始化一个针对最大图像尺寸的固定正弦位置编码（3D 网格）。
2. 对于较小尺寸的图像，不采用插值（Interpolation），而是直接从大网格的中心“选择”（Select）一个子集作为该图像的位置编码。
3. 计算公式：根据当前图像尺寸 $G'$ 和大网格中心 $(C_l, C_h, C_w)$ ，确定每个维度的起止范围，提取对应的子网格。
优势：避免了插值带来的信息损失和近似误差，以极低的计算成本保留了原始位置信息。

2.2 新型批处理策略 (Batching Strategies)

为了解决不同尺寸图像无法直接组成 Batch 的问题，作者提出了两种策略：

自定义批次采样器 (Custom Batch Sampler, CBS)：
- 将相同尺寸的图像分组到同一个 Batch 中。
- 不同 Batch 之间可以包含不同尺寸的图像。
- 效果：显著减少了填充（Padding）带来的计算浪费，加快了训练速度。
梯度累积 (Gradient Accumulation, GA)：
- 允许在一个 Batch 内包含不同尺寸的图像。
- 通过累积多个小 Batch 的梯度后再更新权重，模拟大 Batch 训练。
- 效果：提高了数据利用率，同时保持了训练稳定性。

2.3 模型架构

基于 3D ViT-S/16 架构（12 个编码器块，384 维嵌入，6 个注意力头）。
保持 Patch 大小固定（16x16x16），仅动态调整序列长度（Patch 数量）和位置编码。

3. 主要贡献 (Key Contributions)

新颖的位置编码策略：提出了“中心选择（Center and Select）”方法，专为不同尺寸的图像设计，无需插值即可动态调整位置编码，有效保留了 3D 空间信息。
高效的批处理机制：设计了 CBS 和 GA 两种策略，专门解决医学图像尺寸异构带来的计算挑战，显著降低了计算复杂度。
广泛的验证：在两个具有挑战性的 3D 脑 MRI 数据集上进行了验证，证明了模型在处理高度可变肿瘤尺寸任务中的优越性。

4. 实验结果 (Results)

作者在两个数据集上进行了评估：

胶质瘤数据集：用于预测 IDH 突变状态（二分类）及胶质瘤亚型分类（多分类）。
脑肿瘤数据集：用于区分原发性脑肿瘤（胶质瘤）和继发性脑肿瘤（转移瘤）。

关键性能指标：

IDH 突变状态预测：
- VariViT-GA 模型取得了 0.942 (AUC) 和 0.755 (F1-Score)，优于 Vanilla ViT (0.927/0.744) 和 ResNet-18 (0.928/0.716)。
- 在 t-SNE 可视化中，VariViT 展现了更清晰的类别聚类分离。
原发 vs. 继发肿瘤分类：
- VariViT-GA 取得了 0.954 (AUC) 和 0.763 (F1-Score)，再次超越所有基线模型（包括 Pix2Struct 和 ResNet-18）。
计算效率：
- 提出的批处理策略使训练时间比传统架构减少了 高达 30%。
- VariViT-CBS 在保持高性能的同时，训练速度最快。
消融实验：
- 对比了独立固定、插值固定、插值学习和“中心选择”四种位置编码策略。结果表明，“中心选择”在 IDH 预测任务中表现最佳，证明了避免插值的重要性。

5. 意义与结论 (Significance)

医学图像分析的针对性优化：VariViT 解决了医学图像中 ROI 大小不一且对缩放敏感的核心痛点，通过保留原始空间结构而非强制缩放，提升了特征提取的判别力。
效率与精度的双赢：通过创新的批处理策略和位置编码方法，不仅提高了模型在复杂任务（如基因型预测）上的准确率，还显著降低了计算成本，使其更适用于临床实际部署。
通用性：虽然实验基于脑 MRI，但该框架具有通用性，可推广至其他模态和需要处理不规则解剖结构的医学图像任务中。

总结：VariViT 通过“中心选择”位置编码和灵活的批处理策略，成功打破了 ViT 对固定输入尺寸的依赖，为医学图像分析提供了一种更高效、更精准的表征学习方案。