Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification

本論文は、2 次元および 3 次元の医療画像分類タスクにおいて、ViT（Vision Transformer）のファインチューニング時にパッチサイズを小さく設定することで分類精度が向上し、特にサイズ 1、2、4 のモデルをアンサンブルすることでさらに性能を高められることを、12 のデータセットを用いた大規模評価を通じて実証したものである。

要約

この論文は、**「AI が医療画像を診断する際、画像を『どのくらいの大きさのピース』に切り分けるかが、どれほど重要か」**という不思議な発見について書かれています。

まるでパズルを解くような話なので、わかりやすく解説しますね。

🧩 核心となるアイデア：「画像はパズルだ」

まず、Vision Transformer（ViT）という最新の AI 技術について考えてみましょう。この AI は、画像を認識する際、**「画像を小さな四角いピース（パッチ）に切り分けて、それをパズルのように組み立てて理解する」**という仕組みを持っています。

これまでの研究では、この「ピースの大きさ」は**「14×14」や「16×16」といった固定されたサイズ*が当たり前のように使われていました。
しかし、この論文の著者たちは疑問に思いました。
*「もし、ピースを**もっと小さく（1×1 や 2×2 など）に切り分けたら、AI はもっと細かな病変を見つけられるのではないか？」
「逆に、ピースを*大きく（28×28 など）して、全体像だけを見ていたら、重要な見落としはないか？」*

🔍 実験：12 種類の医療画像で試してみた

著者たちは、X 線、CT スキャン、超音波など、2 次元（普通の写真）と 3 次元（立体のデータ）の医療画像データセットを 12 種類集めました。そして、「ピースの大きさ」を変えながら AI を学習させ、どれが一番上手に診断できるかをテストしました。

🏆 驚きの結果：「小さければ小さいほど、診断が上手になる！」

結論から言うと、ピースを小さくするほど、AI の診断精度が劇的に向上しました。

• 大きなピース（28×28）： 画像を「大きな塊」でしか見ていないため、細かい病変や微細な構造を見逃してしまいます。まるで、遠くから山を眺めて「山があるな」としか言えない状態です。
• 小さなピース（1×1 や 2×2）： 画像を「極小の粒」まで細かく見ています。これにより、皮膚のわずかな色の変化や、CT 画像の中の小さなしこりまで捉えることができます。まるで、顕微鏡で細胞一つ一つまで観察しているような状態です。

具体的な数字で言うと：

• 2 次元の画像（X 線など）： 小さなピースを使うと、診断精度が最大で約 13% 上がりました。
• 3 次元の画像（CT など）： 立体データではその差がさらに大きく、約 24% も精度が向上しました！

⚖️ トレードオフ：「高品質な診断」には「高いコスト」がかかる

しかし、ここには一つ大きな「代償」があります。

• ピースを小さくする＝計算量が爆発する
  パズルのピースを 1 個から 100 個に増やせば、それを組み合わせる作業（計算）は劇的に増えます。
  • 2 次元の場合：計算コストは約 4 倍に。
  • 3 次元の場合：計算コストはなんと 64 倍にもなります！

これは、**「高解像度の精密な診断をするには、より強力なコンピュータ（GPU）が必要になる」**という意味です。小さな病院や、リアルタイムで診断が必要な現場では、この計算コストが壁になる可能性があります。

🤝 賢い解決策：「チームワーク」で最強を目指す

著者たちは、さらに面白いアイデアを試しました。
「ピースの大きさ 1、2、4 でそれぞれ学習させた AI 3 体が、『チーム』になって意見を出し合う（アンサンブル学習）」という方法です。

• 1 個の AI： 完璧ではないかもしれない。
• 3 つの AI が協力する： 互いの弱点を補い合い、さらに高い精度を達成しました。
  • 特に 2 次元の画像では、この「チーム戦」が最も効果的でした。

💡 この研究が教えてくれること（まとめ）

1. 医療 AI にとって「細かさ」は命： 従来の「大きなピース」で画像を見るやり方は、医療のような「微細な違いが命取りになる」分野では、もったいないかもしれません。
2. 3D データは特に重要： CT や MRI などの立体画像では、ピースを小さくする効果が 2 次元よりもさらに大きいです。
3. 計算コストとのバランス： 小さなピースは素晴らしいですが、計算が重くなります。実際の病院で使うには、「必要な精度」と「使えるコンピュータの性能」のバランスを見極める必要があります。

一言で言えば：
「医療画像を AI に見せるなら、『拡大鏡』のように細かく切り分けて見せるほど、AI は賢く診断できるよ。ただし、その分だけ AI の頭脳（計算力）を大きくしてあげないと、パンクしちゃうけどね！」という発見でした。

この研究は、医療 AI をもっと正確に、そして現実的に使うための重要な指針を示しています。

技術概要

この論文「Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification（2 次元および 3 次元医用画像分類における Vision Transformer のファインチューニングへのパッチサイズの効果）」の技術的概要を日本語でまとめます。

1. 研究の背景と課題 (Problem)

Vision Transformer (ViT) は、画像分類タスクにおいて最先端のパフォーマンスを達成し、大規模な視覚および視覚 - 言語基盤モデルのバックボーンとして広く採用されています。しかし、ViT の設計における重要な初期選択である**「パッチサイズ（画像を分割する領域の大きさ）」**の影響については、特に医用画像の分野（2 次元および 3 次元の両方を含む）において十分に研究されていません。

既存の研究の多くは、自然画像データセットに焦点を当てており、医療用画像（MRI、CT など）の特性や、医療分野で一般的である「ゼロから学習するのではなく、事前学習済みモデルをファインチューニングする」というアプローチを考慮したパッチサイズの体系的な評価が不足していました。また、パッチサイズを小さくするとトークン数が急増し、計算コストが飛躍的に上昇するため、大規模な計算リソース（多数の GPU など）がないと研究が困難という課題もありました。

2. 手法 (Methodology)

本研究は、以下の手法を用いてパッチサイズが ViT の性能に与える影響を包括的に評価しました。

• データセット: MedMNIST V2 コレクションから、7 つの 2 次元データセット（超音波、眼底、皮膚、OCT、CT、X 線など）と 5 つの 3 次元データセット（腹部 CT、胸部 CT、脳 MRA など）の計 12 種類を使用しました。計算リソースの制約（単一 GPU）を考慮し、すべての画像を最小解像度（2 次元：28x28、3 次元：28x28x28）に統一しました。
• モデル: 事前学習済み（ImageNet）のViT-Smallモデルを使用し、医療データにファインチューニングを行いました。
  • 2 次元: 標準的な ViT アーキテクチャを使用。
  • 3 次元: 2 次元の重みを深度軸に沿って反復させる「ウェイトインフレーション（weight inflation）」法を用いて 3 次元化し、3 次元パッチを処理可能にしました。
• 実験設定: パッチサイズ $P$ を $\{28, 14, 7, 4, 2, 1\}$ の範囲で変化させ、各サイズでモデルをファインチューニングしました。
  • $P=28$ は画像全体を 1 つのトークンとするグローバルな表現、$P=1$ はピクセルレベルに近い微細な表現に対応します。
• 評価指標: 精度 (Accuracy)、バランス精度 (Balanced Accuracy)、ROC 曲線下面積 (AUC) を測定。また、計算コストとして GFLOPs を記録しました。
• アンサンブル学習: パッチサイズ 1, 2, 4 で学習したモデルの予測を単純平均して融合する戦略も検証しました。
• ハードウェア: 単一の NVIDIA RTX 4090 GPU を使用して実験を完結させました。

3. 主な貢献 (Key Contributions)

1. 医用画像におけるパッチサイズの体系的評価: 2 次元および 3 次元の医用画像データセットを用い、パッチサイズが ViT の分類性能に与える影響を初めて包括的に評価しました。
2. 単一 GPU での実証: 大規模な計算クラスターに依存せず、単一の高性能 GPU だけで詳細なパッチサイズ分析が可能であることを示しました。
3. 3 次元データへの適用: 従来の研究が主に 2 次元画像に限定されていたのに対し、3 次元医用画像（ボクセルデータ）におけるパッチサイズの効果を明らかにしました。
4. オープンソース化: 実装コードを GitHub で公開し、研究の透明性と再現性を担保しました。

4. 結果 (Results)

実験結果は、パッチサイズを小さくすることが、ほとんどのケースで分類性能の向上につながることを示しました。

• 2 次元データセット:
  • 中〜大規模なデータセット（トレーニングサンプルが数千〜数万）において、パッチサイズを小さくするほど性能が向上する傾向が明確でした。
  • パッチサイズ 2が全体的に最も高い性能を示し、パッチサイズ 28（最大）と比較して、バランス精度で最大**12.78%**の改善が見られました（OrganMNIST データセットなど）。
  • 小さなパッチサイズ（1, 2, 4）のモデルをアンサンブルすることで、さらに性能が向上しました。
• 3 次元データセット:
  • 3 次元データにおいても同様の傾向が見られ、パッチサイズ 1が最も高い性能を示しました。
  • パッチサイズ 1 と 14 を比較した場合、バランス精度で最大23.78%、AUC で最大**19.37%**の改善が確認されました（VesselMNIST3D データセットなど）。
  • 3 次元ではパッチサイズを半分にするごとにトークン数が $N^3$ 倍、計算コストが $N^6$ 倍に増加するため、パッチサイズ 14 や 28 のような大きなサイズでは性能が著しく低下しました。
• 計算コストとのトレードオフ:
  • 性能向上の代償として、計算コスト（GFLOPs）は劇的に増加しました。
  • 2 次元ではパッチサイズ 28 から 1 にすると計算コストが約 400 倍（0.04 GFLOPs → 16.71 GFLOPs）に、3 次元ではさらに激しく、800 倍以上（0.40 GFLOPs → 800+ GFLOPs）に増加しました。
• アテンションマップの分析:
  • 小さなパッチサイズ（P2）のモデルは、診断的に重要な領域に対してより焦点を絞ったアテンションを示すのに対し、大きなパッチサイズ（P28）のモデルは均一で情報量の少ないアテンションを示すことが確認されました。

5. 意義と結論 (Significance and Conclusion)

本研究は、医用画像分析における Vision Transformer の設計指針に重要な示唆を与えています。

• 微細なトークン化の重要性: 医用画像では、病変や組織の微細な構造が診断に不可欠であるため、大きなパッチサイズ（従来の 14x14 や 16x16 など）では情報が失われ、性能が低下します。パッチサイズを小さくすることで、ViT はより局所的で臨床的に意味のある特徴を捉えることができます。
• 実用性の示唆: 大規模な計算リソースがなくても、適切なデータセットサイズを選べば詳細なパッチサイズ分析が可能であることを実証しました。
• 今後の課題: 小さなパッチサイズは計算コストが非常に高くなるため、リソースが限られた臨床現場でのリアルタイム適用には課題が残ります。また、本研究は MedMNIST（解像度が低い）を使用しているため、高解像度の実際の臨床画像でも同様の傾向が当てはまるか、さらなる検証が必要です。

結論として、医用画像分類における ViT のファインチューニングでは、計算コストとのバランスを取りつつ、可能な限り小さなパッチサイズ（特に 2 次元では 2、3 次元では 1）を選択することが、高い分類精度を得るための有効な戦略であることが示されました。