💻 computer science

RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence Extending the Recurrent-Depth Transformer Architecture to Dense Prediction

本論文は、標準的な深いスタックを単一の共有ブロックに置き換える再帰的深さビジョントランスフォーマー「RD-ViT」を導入し、適応計算時間やミクスチャー・オブ・エキスパートなどのメカニズムを通じて心臓MRIベンチマークにおいて最先端のセマンティックセグメンテーション性能を達成しつつ、パラメータ数とデータ依存性を大幅に削減することを提案する。

原著者： Renjie He

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Renjie He

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

医療スキャン（心臓のMRIや歯科のX線など）を見て、心臓の腔や個々の歯のような特定の部分の輪郭を完璧に描くようにロボットに教えることを想像してみてください。このタスクは「セグメンテーション」と呼ばれます。

長らく、この仕事に最も優れたロボットはビジョン・トランスフォーマー（ViT）でした。標準的なViTを想像すると、それは10人の異なる専門家が列になって働くチームのようなものです。最初の専門家が画像を見て、2 番目の専門家がその結果を見て、3 番目の専門家が 2 番目の結果を見て、というように続きます。各専門家は独自の脳（パラメータ）を持っており、ゼロから訓練する必要があります。これは非常にうまく機能しますが、すべての専門家がそれぞれの特定の仕事を学ぶ必要があるため、膨大な量の訓練データ（数千の例）が必要です。

医療の世界では、数千のラベル付き例を得ることは困難です。医師は忙しく、画像のラベル付けには長い時間がかかります。そこで、この論文の著者たちは、*「はるかに少ないデータで、同じようにうまく学習するロボットを作れるだろうか？」*と問いかけました。

解決策：「反復する専門家」（RD-ViT）

著者たちは、RD-ViTという新しいロボットを作成しました。10 人の異なる専門家を雇う代わりに、1 人の天才的な専門家を雇い、画像を見て考え、再び見て、再び考え、このプロセスを数回繰り返すよう求めました。

この「反復する専門家」がこれほどうまく機能するようにした方法は以下の通りです。

1. 「ループ」（再帰的深さ）
異なる人々の長い列の代わりに、1 人が画像を見て、自分のメモを見て、再び見るという状態です。

問題点: 同じ人に 10 回見るように頼むだけでは、ループに陥ったり混乱したりする可能性があります。
解決策（LTI 安定注入）: 著者たちは、この専門家に特別な「安定性のルール」を与えました。これは車のショックアブソーバーのようです。専門家が画像を見る回数がどれほど多くても、このルールは彼らが狂ったり、立ち往生したりしないことを保証します。彼らは常に明確な答えに落ち着きます。これにより、ロボットは壊れることなく必要なだけ「考える」ことができます。

2. 「スマートな中断」（適応的計算時間）
医療画像のすべての部分が同じように難しいわけではありません。心臓の周りの空の空間は無視するのが簡単です。心筋の細くて波打つような縁は、追跡するのが非常に困難です。

比喩: 学生がテストを受けることを想像してください。簡単な質問（「空の色は何色ですか？」など）では、即座に答えます。難しい質問（「この複雑な積分を計算してください」など）では、考えるのに余分な時間を費やします。
仕組み: RD-ViT には、画像の微小な部分ごとに「停止ボタン」があります。もしその部分が簡単なら（背景など）、ロボットは 1 回または 2 回のループ後に考えるのをやめます。もしその部分が難しいなら（心臓の境界など）、ロボットはそれを正しくするために 3 回、4 回、または 5 回ループし続けます。これによりエネルギーが節約され、ロボットは重要な場所でより賢くなります。

3. 「専門家チーム」（エキスパートの混合）
ロボットが同じ「ループ」を繰り返し使用しているにもかかわらず、著者たちは**エキスパートの混合（MoE）**という捻りを加えました。

比喩: 1 人の専門家の頭の中に 8 人の目に見えないアシスタントのチームがいると想像してください。ロボットが「右心室」（心臓の一部）のパッチを見ると、自動的に「アシスタント #1」を呼び出します。「心筋」（心臓の筋肉）を見ると、「アシスタント #2」を呼び出します。
驚き: 著者たちは、どの部分をどのアシスタントに担当させるかをロボットに指示しませんでした。ロボットは自分でそれを理解したのです！「右心室」のアシスタントはその形状の専門家になり、「左心室」のアシスタントはそれらの形状の専門家になりました。これは追加の指示なしに、ロボットが仕事をうまくこなそうとするだけで起こります。

彼らは何を見つけましたか？

著者たちは、この新しいロボットを 2 つの非常に異なる医療タスクでテストしました。

1. 心臓（ACDC データセット）

課題: 彼らには非常に少ない訓練画像しかありませんでした（患者 100 名のみ）。
結果:
- 2D スライス（1 枚の平面画像を一度に見る）では、RD-ViT はデータが非常に少ないにもかかわらず、標準的な 10 人の専門家チームよりも優れていました。それはより速く学習し、より少ない間違いを犯しました。
- 3D ボリューム（心臓全体を見る）では、標準的なチームの方がわずかに優れていましたが、「専門家チーム」（MoE）を追加しない限りはそうでした。MoE を使用すると、RD-ViT は標準的なチームの精度の99.4%を達成しましたが、使用したメモリ（パラメータ）は半分未満でした。
- ボーナス: 彼らは、ロボットを 8 回ループするように訓練した場合、実際のテスト中に 16 回ループするように頼むと、再訓練なしでより良くなる（または同じまま）ことがわかりました。これは、教科書を変えることなく、より良い成績を得るためにより長く勉強し続けることができる学生のようなものです。

2. 歯（ToothFairy2 データセット）

課題: 彼らは同じロボットを 3D 歯科スキャンに適用し、32 本の異なる歯を特定して正しく番号を割り当てる（例：「歯 15」対「歯 25」）ことを試みました。これは、どの歯がどれであるかを知るために顎全体を見る必要があるため、困難です。
結果: ロボットは歯を正常に特定し、89.1% の精度で正しい番号を割り当てました。
成功した理由: ロボットの「グローバル・アテンション」により、顎全体を一度に見ることができました。右上の歯と左上の歯が異なることを識別できました。これは、小さな局所的な部分しか見ない古い単純なロボットが苦労する点です。

結論

この論文は、優れた医療セグメンテーションを行うために、膨大な数の異なる AI モデルの軍隊を必要としないことを示しています。代わりに、ループし、適応的に考え、内部に専門家を持つ 1 つの賢いモデルを使用できます。

データが不足している場合（特に 2D で）、より速く学習します。
異なる層間で「脳」を共有することでスペースを節約します。
指示されなくても、独自の戦略を編み出します（どの専門家がどの身体部位を担当するかなど）。
画像の難しい部分では「より深く考え」、簡単な部分では「あまり考えません」。

著者たちはすべてのコードと結果を公開し、この「再帰的」アプローチが、AI に人体を見ることを教えるための強力で効率的な方法であることを証明しました。

技術概要：RD-ViT：データ依存性を低減したセマンティックセグメンテーション向け再帰深度ビジョントランスフォーマー

問題定義

ビジョントランスフォーマー（ViT）は、セマンティックセグメンテーションのような密な予測タスクにおいて最先端の性能を達成しています。しかし、標準的な ViT はそのアーキテクチャ設計により、高いデータ依存性に悩まされています。すなわち、深いスタック内の各層は独立して学習されなければならない固有のパラメータを有しています。その結果、パラメータ数は深度に対して線形にスケールし（ $O(L \cdot d^2)$ ）、トレーニングデータが不足している場合、ViT は過学習を起こしやすくなります。この制限は、ラベル付きデータセットが小さく（例えば、ACDC 心臓 MRI ベンチマークには患者ボリューム 100 件のみ）、ラベル付けが高価かつ時間がかかる医療画像分野において特に重要です。本論文は、限られたトレーニングデータで高いセグメンテーション精度を達成しつつ、計算効率を維持できるアーキテクチャの必要性に対処します。

手法

著者らは、OpenMythos プロジェクトの再帰深度トランスフォーマー（RDT）の概念を密な予測タスクに適応させた RD-ViT（Recurrent-Depth Vision Transformer）を提案します。固有のトランスフォーマーブロックの深いスタックの代わりに、RD-ViT は単一の共有トランスフォーマーブロックを $T$ 回ループさせる方式を採用します。アーキテクチャは以下の 4 つの主要コンポーネントで構成されます。

プレリュードとコーダ： それぞれ初期特徴抽出と最終的な微調整のための標準的な ViT ブロック。
再帰ループ： 単一の ViT ブロックを反復適用する核心的な革新。このループにはいくつかの専門的なメカニズムが組み込まれています。
- LTI 安定注入： 長期的な再帰中の収束を確保するため、状態遷移行列 $A$ を $A = \exp(-\exp(\log d_t + \log A))$ としてパラメータ化します。この構成により、すべての固有値が厳密に $(0, 1)$ の範囲内に収まり、再帰が縮小写像となることが保証されます。これにより、安定した深度外挿（トレーニング時よりも多くのループでの推論）が可能になります。
- 適応計算時間（ACT）： 学習された停止メカニズムが、各反復で各パッチトークンに停止確率を割り当てます。「容易な」領域（例：均質な背景）のトークンは早期に停止し、「困難な」領域（例：境界）のトークンはより多くの反復を経ます。これにより空間計算マップが作成され、リソースが動的に割り当てられます。
- ディプスワイズ LoRA： 完全ランクの重みを複製することなく、共有ブロックがさまざまな深度で異なる振る舞いをするようにするため、ループインデックス付きスケーリングを適用した低ランク適応（LoRA）アダプターが適用されます。
- ミクスチャー・オブ・エキスパート（MoE）： オプションの疎な MoE 層が標準的なフィードフォワードネットワーク（FFN）に代わります。ルーターがトークンを特定のエキスパートサブネットワークへ誘導し、共有ブロック内での条件付き計算とクラス固有の専門化を可能にします。
セグメンテーションヘッド： 転置畳み込みを用いて、パッチレベルの特徴をピクセル/ボクセルレベルの予測にアップサンプリングします。

このアーキテクチャは次元に依存せず、2D（Conv2d パッチ埋め込み経由）および 3D（Conv3d 経由）の両方の入力をサポートします。

主要な貢献

アーキテクチャの適応： LTI 安定注入、ACT、ディプスワイズ LoRA、および MoE を統合した、密な予測向けの完全な 2D/3D セグメンテーションアーキテクチャ。
データ効率の検証： ACDC 心臓 MRI データセットにおける実証的検証により、RD-ViT が標準 ViT よりも大幅に少ないパラメータとデータで、特に 2D 設定において同等以上の性能を発揮できることが示されました。
創発的な専門化： 明示的なルーター監督なしに、MoE エキスパートが異なる解剖学的構造（例：右心室、心筋、左心室）に対して自発的に専門化するという証拠。これは多クラスセグメンテーションのための構造的帰納バイアスを提供します。
深度外挿： LTI 安定性の保証により、トレーニング時に使用されたものよりも多くのループ反復（ $T$ ）で安全に推論でき、性能低下なしに実現できることを実証。
汎用性： CBCT ボリュームからの 3D 歯のインスタンスセグメンテーションと番号付けという、根本的に異なるタスクへの同一アーキテクチャの成功した適用。長距離の空間推論のためにグローバルアテンションを活用しています。

実験結果

心臓セグメンテーション（ACDC データセット）

3D ボリューム：
- RD-ViT Tiny + MoE（300 万パラメータ）は、Dice スコア 0.812 を達成し、標準 ViT ベースライン（0.817、570 万パラメータ）の 99.4% に達しました。パラメータ数はわずか 53% です。
- アブレーション： MoE が最大の改善をもたらしました（RD-ViT Tiny に対して +0.8 パーセントポイント）。ACT と LoRA はそれぞれ +0.3 および +0.2 パーセントポイントと、小さくても一貫した改善を提供しました。
- 深度外挿： 推論ループをトレーニング時の $T=8$ から $T=16$ に増加させても性能は安定しており、LTI 注入の安定性が確認されました。
2D スライスレベル：
- RD-ViT は、すべてのデータ割合において標準 ViT を上回りました。トレーニングデータ 10% では、RD-ViT は 0.774 の Dice を達成し、標準 ViT の 0.762 を上回りました。100% データでは、0.882 対 0.872 でした。
- 著者らは、低解像度の 3D 設定よりも、2D スライスにおける豊かな空間的コンテキストが反復的微調整をより効果的にしていることをその理由として挙げています。

歯のセグメンテーション（ToothFairy2 データセット）

3D 歯のインスタンスセグメンテーションと FDI 番号付け（33 クラス）に適用。
単一フェーズの RD-ViT Tiny + MoE モデル（540 万パラメータ）は、以下の結果を達成しました。
- 0.797 の Seed Dice（歯対背景）。
- 89.1% の FDI 分類精度。
これらの結果は、トランスフォーマーのグローバル自己アテンションが、局所的な CNN 受容野がしばしば苦労する歯の番号付けに必要な長距離の顎四分位コンテキストを効果的に捉えていることを示唆しています。

計算効率

ACT 動力学： 平均ポンド時間（実効反復数）はトレーニング中に約 2.6 から約 1.4 に減少し、モデルが容易な領域をより高速に処理することを学習したことを示しています。
計算割り当て： ACT 停止マップは、心臓の境界でより高い計算割り当てを示し、均質な領域では低い割り当てを示しました。

意義と主張

本論文は、RD-ViT がデータ制限のある医療分野におけるパラメータ効率的なセグメンテーションのための実用的なアーキテクチャ戦略を提供すると主張しています。重み共有（再帰）と条件付き計算（MoE）を組み合わせることで、このモデルは標準 ViT の約半分のパラメータで、ほぼ最先端の性能を達成します。

著者らは、LTI 安定注入が深度外挿を可能にするために重要であり、再トレーニングなしに速度と精度のトレードオフを調整する「無料の推論時ノブ」を提供すると強調しています。さらに、MoE エキスパートの自発的な専門化は、再帰深度アーキテクチャが複雑なセグメンテーション問題をクラス固有のサブタスクに自然に分解できることを示唆しています。

この研究は、2D と 3D の性能の間の二重性を浮き彫りにしています。RD-ViT は豊かな空間的コンテキストにより 2D で優れていますが、3D の性能は現在、再帰アーキテクチャ自体よりもモデル容量によってより制約されています。しかし、歯科画像への成功した転用は、このアーキテクチャのドメインに依存しない可能性を示しています。

本論文は、RD-ViT がすべての 3D シナリオで高度に最適化されたデータ集約型パイプラインを凌駕するわけではありませんが、データ依存性を大幅に低減し、効率的で解釈可能かつ適応的な医療画像セグメンテーションのための新しいパラダイムを提供すると結論付けています。すべてのコード、ノートブック、および結果は公開されています。