💻 computer science

RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence Extending the Recurrent-Depth Transformer Architecture to Dense Prediction

Der Artikel stellt RD-ViT vor, einen rekursiv-tiefen Vision Transformer, der Standard-tiefe Stapel durch einen einzigen gemeinsamen Block ersetzt, um die Parameteranzahl und Datenabhängigkeit erheblich zu reduzieren und gleichzeitig durch Mechanismen wie Adaptive Computation Time und Mixture-of-Experts einen State-of-the-Art-Performance bei der semantischen Segmentierung auf Benchmarks für kardiale MRT-Daten zu erreichen.

Ursprüngliche Autoren: Renjie He

Veröffentlicht 2026-05-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Renjie He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Roboter zu lehren, medizinische Scans (wie Herz-MRTs oder zahnärztliche Röntgenaufnahmen) zu betrachten und perfekte Umrisse um bestimmte Teile zu zeichnen, etwa die Herzkammern oder einzelne Zähne. Diese Aufgabe wird „Segmentierung" genannt.

Lange Zeit waren die besten Roboter für diese Arbeit Vision Transformer (ViTs). Stellen Sie sich einen Standard-ViT als ein Team von 10 verschiedenen Spezialisten vor, die in einer Reihe arbeiten. Der erste Spezialist betrachtet das Bild, der zweite betrachtet das Ergebnis des ersten, der dritte betrachtet das des zweiten und so weiter. Jeder Spezialist hat sein eigenes einzigartiges Gehirn (Parameter) und muss von Grund auf neu trainiert werden. Dies funktioniert unglaublich gut, erfordert jedoch eine massive Menge an Trainingsdaten (Tausende von Beispielen), da jeder Spezialist seine eigene spezifische Aufgabe lernen muss.

In der medizinischen Welt ist es schwierig, Tausende von gelabelten Beispielen zu erhalten. Ärzte haben wenig Zeit, und das Labeln von Bildern dauert lange. Daher stellten die Autoren dieses Papers die Frage: Können wir einen Roboter bauen, der genauso gut lernt, aber weit weniger Daten benötigt?

Die Lösung: Der „wiederholende Spezialist" (RD-ViT)

Die Autoren schufen einen neuen Roboter namens RD-ViT. Anstatt 10 verschiedene Spezialisten einzustellen, stellten sie einen brillanten Spezialisten ein und baten ihn, das Bild zu betrachten, nachzudenken, erneut zu betrachten, erneut nachzudenken und diesen Prozess mehrere Male zu wiederholen.

Hier ist, wie sie diesen „wiederholenden Spezialisten" so gut funktionieren ließen:

1. Die „Schleife" (Recurrent Depth)
Anstatt einer langen Reihe verschiedener Personen haben Sie eine Person, die das Bild betrachtet, dann ihre eigenen Notizen betrachtet und dann erneut hinsieht.

Das Problem: Wenn Sie dieselbe Person einfach bitten, 10 Mal hinzusehen, könnte sie in einer Schleife stecken bleiben oder verwirrt werden.
Die Lösung (LTI-Stable Injection): Die Autoren gaben diesem Spezialisten eine spezielle „Stabilitätsregel". Es ist wie ein Stoßdämpfer an einem Auto. Unabhängig davon, wie oft der Spezialist das Bild betrachtet, garantiert diese Regel, dass er nicht verrückt wird oder stecken bleibt. Er wird immer zu einer klaren Antwort finden. Dies ermöglicht es dem Roboter, so oft zu „denken", wie nötig, ohne zu brechen.

2. Der „intelligente Stopp" (Adaptive Computation Time)
Nicht jeder Teil eines medizinischen Bildes ist gleich schwer. Der leere Raum um das Herz herum ist leicht zu ignorieren. Der dünne, wellige Rand des Herzmuskels ist sehr schwer nachzuzeichnen.

Die Metapher: Stellen Sie sich einen Schüler vor, der einen Test macht. Bei einfachen Fragen (wie „Welche Farbe hat der Himmel?") antwortet er sofort. Bei schwierigen Fragen (wie „Berechnen Sie dieses komplexe Integral") verbringt er zusätzliche Zeit mit dem Nachdenken.
Wie es funktioniert: RD-ViT hat für jedes winzige Stück des Bildes einen „Stopp-Knopf". Wenn ein Stück einfach ist (wie der Hintergrund), hört der Roboter auf, darüber nachzudenken, nach 1 oder 2 Schleifen. Wenn ein Stück schwierig ist (wie eine Herzgrenze), wiederholt der Roboter die Schleife 3, 4 oder 5 Mal, um es richtig zu machen. Dies spart Energie und macht den Roboter dort schlauer, wo es zählt.

3. Das „Spezialistenteam" (Mixture of Experts)
Obwohl der Roboter dieselbe „Schleife" immer wieder verwendet, fügten die Autoren eine Wendung hinzu: Mixture of Experts (MoE).

Die Metapher: Stellen Sie sich vor, der einzelne Spezialist hat ein Team von 8 unsichtbaren Assistenten in seinem Kopf. Wenn der Roboter ein Stück „Rechter Ventrikel" (ein Teil des Herzens) sieht, ruft er automatisch „Assistent #1" an. Wenn er „Myokard" (Herzmuskel) sieht, ruft er „Assistent #2" an.
Die Überraschung: Die Autoren sagten dem Roboter nicht, welchen Assistenten er für welchen Teil verwenden soll. Der Roboter fand es selbst heraus! Der „Rechter Ventrikel"-Assistent wurde zum Experten für diese Form, und der „Linker Ventrikel"-Assistent wurde zum Experten für seine. Dies geschieht ohne zusätzliche Anweisungen, einfach dadurch, dass der Roboter versucht, die Aufgabe gut zu erledigen.

Was fanden sie heraus?

Die Autoren testeten diesen neuen Roboter an zwei sehr unterschiedlichen medizinischen Aufgaben:

1. Das Herz (ACDC-Datensatz)

Die Herausforderung: Sie hatten nur sehr wenige Trainingsbilder (nur 100 Patienten).
Das Ergebnis:
- Bei 2D-Schnitten (wenn man jeweils ein flaches Bild betrachtet) war der RD-ViT sogar mit sehr wenigen Daten besser als das Standard-Team mit 10 Spezialisten. Er lernte schneller und machte weniger Fehler.
- Bei 3D-Volumina (wenn man den gesamten Herzblock betrachtet) war das Standard-Team leicht besser, es sei denn, man fügte das „Spezialistenteam" (MoE) hinzu. Mit MoE erreichte der RD-ViT 99,4 % der Genauigkeit des Standard-Teams, verwendete aber weniger als die Hälfte des Speichers (Parameter).
- Bonus: Sie stellten fest, dass sie den Roboter, wenn sie ihn trainierten, 8 Mal zu schleifen, während des eigentlichen Tests 16 Mal schleifen lassen konnten, und er würde besser (oder gleichbleibend) werden, ohne neu trainiert werden zu müssen. Es ist wie ein Schüler, der länger lernen kann, um eine bessere Note zu bekommen, ohne sein Lehrbuch zu ändern.

2. Die Zähne (ToothFairy2-Datensatz)

Die Herausforderung: Sie versuchten denselben Roboter auf 3D-zahnärztlichen Scans, um 32 verschiedene Zähne zu identifizieren und korrekt zu nummerieren (z. B. „Zahn 15" vs. „Zahn 25"). Dies ist schwierig, weil man den gesamten Kiefer sehen muss, um zu wissen, welcher Zahn welcher ist.
Das Ergebnis: Der Roboter identifizierte die Zähne erfolgreich und wies die korrekten Nummern mit 89,1 % Genauigkeit zu.
Warum es funktionierte: Die „globale Aufmerksamkeit" des Roboters ermöglichte es ihm, den gesamten Kiefer auf einmal zu sehen. Er konnte unterscheiden, dass ein Zahn oben rechts anders ist als ein Zahn oben links, etwas, mit dem ältere, einfachere Roboter kämpfen, weil sie nur kleine, lokale Stücke betrachten.

Das Fazit

Das Paper zeigt, dass man keine massive Armee verschiedener KI-Modelle benötigt, um eine großartige medizinische Segmentierung durchzuführen. Stattdessen kann man ein intelligentes Modell verwenden, das Schleifen zieht, adaptiv denkt und interne Spezialisten hat.

Es lernt schneller, wenn Daten knapp sind (besonders in 2D).
Es spart Platz, indem es sein „Gehirn" über verschiedene Schichten hinweg teilt.
Es findet seine eigene Strategie (wie welcher Experte welchen Körperteil behandelt), ohne dass man es ihm sagt.
Es kann bei schwierigen Teilen des Bildes „schwerer nachdenken" und bei einfachen Teilen „weniger nachdenken".

Die Autoren veröffentlichten ihren gesamten Code und ihre Ergebnisse und bewiesen, dass dieser „rekurrente" Ansatz eine leistungsstarke und effiziente Methode ist, um KI beizubringen, den menschlichen Körper zu sehen.

Technische Zusammenfassung: RD-ViT: Recurrent-Depth Vision Transformer für die semantische Segmentierung mit reduzierter Datenabhängigkeit

Problemstellung

Vision Transformer (ViTs) haben in dichten Vorhersageaufgaben wie der semantischen Segmentierung state-of-the-art-Leistung erzielt. Standard-ViTs leiden jedoch aufgrund ihres architektonischen Designs unter einer hohen Datenabhängigkeit: Jede Schicht in einem tiefen Stack verfügt über eindeutige Parameter, die unabhängig voneinander gelernt werden müssen. Dies führt zu einer linearen Skalierung der Parameteranzahl mit der Tiefe ( $O(L \cdot d^2)$ ), was ViTs anfällig für Overfitting macht, wenn Trainingsdaten knapp sind. Diese Einschränkung ist insbesondere in der medizinischen Bildgebung kritisch, wo gelabelte Datensätze oft klein sind (z. B. enthält der ACDC-Cardiac-MRI-Benchmark nur 100 Patientenvolumina) und die Labeling-Prozesse teuer und zeitaufwendig sind. Die Arbeit adressiert die Notwendigkeit von Architekturen, die bei begrenzten Trainingsdaten eine hohe Segmentierungsgenauigkeit erreichen und gleichzeitig die Recheneffizienz wahren.

Methodik

Die Autoren schlagen RD-ViT (Recurrent-Depth Vision Transformer) vor, eine Architektur, die das Konzept des Recurrent-Depth Transformer (RDT) aus dem OpenMythos-Projekt auf dichte Vorhersageaufgaben überträgt. Anstelle eines tiefen Stacks eindeutiger Transformer-Blöcke verwendet RD-ViT einen einzigen geteilten Transformer-Block, der $T$ -mal durchlaufen wird. Die Architektur besteht aus vier Hauptkomponenten:

Prelude & Coda: Standard-ViT-Blöcke für die initiale Merkmalsextraktion bzw. die finale Verfeinerung.
Recurrent Loop: Die Kerninnovation, bei der ein einzelner ViT-Block iterativ angewendet wird. Diese Schleife integriert mehrere spezialisierte Mechanismen:
- LTI-Stable Injection: Um die Konvergenz während langer Rekursionshorizonte sicherzustellen, wird die Zustandsübergangsmatrix $A$ als $A = \exp(-\exp(\log d_t + \log A))$ parametrisiert. Diese Konstruktion garantiert, dass alle Eigenwerte strikt innerhalb von $(0, 1)$ liegen, wodurch die Rekursion eine Kontraktionsabbildung ist. Dies ermöglicht eine stabile Tiefenextrapolation (Inferenz mit mehr Schleifen als im Training).
- Adaptive Computation Time (ACT): Ein gelernter Halte-Mechanismus weist jedem Patch-Token in jeder Iteration eine Halte-Wahrscheinlichkeit zu. Tokens in „einfachen" Regionen (z. B. homogene Hintergründe) halten früh an, während Tokens in „schwierigen" Regionen (z. B. Grenzen) mehr Iterationen durchlaufen. Dies erzeugt eine räumliche Compute-Karte und weist Ressourcen dynamisch zu.
- Depth-wise LoRA: Um zu ermöglichen, dass der geteilte Block in verschiedenen Tiefen unterschiedlich agiert, ohne vollrängige Gewichte zu duplizieren, werden Low-Rank Adaptation (LoRA)-Adapter mit schlaufenindexierter Skalierung angewendet.
- Mixture-of-Experts (MoE): Optionale sparse MoE-Schichten ersetzen das Standard-Feed-Forward-Netzwerk (FFN). Ein Router leitet Tokens zu spezifischen Expert-Subnetzwerken, was bedingte Berechnung und klassenspezifische Spezialisierung innerhalb des geteilten Blocks ermöglicht.
Segmentation Head: Upsampling von Patch-Level-Merkmalen auf Pixel-/Voxel-Level-Vorhersagen mittels transponierter Faltungen.

Die Architektur ist dimensionsagnostisch und unterstützt sowohl 2D-Eingaben (via Conv2d-Patch-Embedding) als auch 3D-Eingaben (via Conv3d).

Hauptbeiträge

Architektur-Anpassung: Eine vollständige 2D/3D-Segmentierungsarchitektur, die LTI-stabile Injektion, ACT, depth-wise LoRA und MoE für dichte Vorhersagen integriert.
Validierung der Dateneffizienz: Empirische Validierung am ACDC-Cardiac-MRI-Datensatz, die zeigt, dass RD-ViT Standard-ViTs mit deutlich weniger Parametern und weniger Daten übertreffen oder gleichkommen kann, insbesondere in 2D-Umgebungen.
Emergente Spezialisierung: Nachweis, dass MoE-Experten spontan für verschiedene anatomische Strukturen (z. B. rechter Ventrikel, Myokard, linker Ventrikel) spezialisieren, ohne explizite Routing-Überwachung, was einen strukturellen induktiven Bias für die Mehrklassen-Segmentierung bietet.
Tiefenextrapolation: Demonstration, dass das Modell sicher mit mehr Schleifeniterationen ( $T$ ) als im Training verwendet werden kann, ohne Leistungseinbußen, dank der LTI-Stabilitätsgarantie.
Generalisierung: Erfolgreiche Anwendung derselben Architektur auf eine grundlegend andere Aufgabe: 3D-Zahn-Instanz-Segmentierung und -Nummerierung aus CBCT-Volumina, wobei globale Aufmerksamkeit für räumliches Langstrecken-Reasoning genutzt wird.

Experimentelle Ergebnisse

Kardiale Segmentierung (ACDC-Datensatz)

3D-Volumetrisch:
- RD-ViT Tiny + MoE (3,0 Mio. Parameter) erreichte einen Dice-Score von 0,812 und damit 99,4 % des Standard-ViT-Baselines (0,817 bei 5,7 Mio. Parametern), bei Verwendung von nur 53 % der Parameter.
- Ablation: MoE erbrachte den größten Gewinn (+0,8 Prozentpunkte gegenüber RD-ViT Tiny). ACT und LoRA lieferten kleinere, aber konsistente Verbesserungen (+0,3 bzw. +0,2 pp).
- Tiefenextrapolation: Die Leistung blieb stabil, als die Inferenz-Schleifen von $T=8$ (Training) auf $T=16$ erhöht wurden, was die Stabilität der LTI-Injektion bestätigt.
2D-Slice-Level:
- RD-ViT übertraf den Standard-ViT über alle Datenfraktionen hinweg. Bei 10 % Trainingsdaten erreichte RD-ViT einen Dice-Score von 0,774 gegenüber 0,762 für den Standard-ViT. Bei 100 % Daten erreichte er 0,882 gegenüber 0,872.
- Die Autoren führen dies auf den reicheren räumlichen Kontext in 2D-Slices zurück, der eine iterative Verfeinerung effektiver macht als in der niedriger aufgelösten 3D-Umgebung.

Zahnsegmentierung (ToothFairy2-Datensatz)

Anwendung auf 3D-Zahn-Instanz-Segmentierung und FDI-Nummerierung (33 Klassen).
Ein einphasiges RD-ViT Tiny + MoE-Modell (5,4 Mio. Parameter) erreichte:
- 0,797 Seed Dice (Zahn vs. Hintergrund).
- 89,1 % FDI-Klassifizierungsgenauigkeit.
Die Ergebnisse deuten darauf hin, dass die globale Selbst-Aufmerksamkeit des Transformers den für die Zahnnummerierung erforderlichen Langstrecken-Kontext des Kieferquadranten effektiv erfasst, eine Aufgabe, bei der lokale CNN-Rezeptorfelder oft Schwierigkeiten haben.

Recheneffizienz

ACT-Dynamik: Die mittlere Ponder-Zeit (effektive Iterationen) sank während des Trainings von ~2,6 auf ~1,4, was darauf hindeutet, dass das Modell lernte, einfache Regionen schneller zu verarbeiten.
Compute-Zuweisung: ACT-Halte-Karten zeigten eine höhere Compute-Zuweisung an kardialen Grenzen und eine geringere Zuweisung in homogenen Regionen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RD-ViT eine viable architektonische Strategie für parameter-effiziente Segmentierung in datenlimitierten medizinischen Domänen bietet. Durch die Kombination von Gewichts-Sharing (Rekurrenz) mit bedingter Berechnung (MoE) erreicht das Modell nahezu state-of-the-art-Leistung mit etwa der Hälfte der Parameter eines Standard-ViT.

Die Autoren betonen, dass die LTI-stabile Injektion entscheidend ist, um Tiefenextrapolation zu ermöglichen, und bieten einen „kostenlosen Inferenz-Zeit-Regler" an, um Geschwindigkeit und Genauigkeit ohne Nachtraining abzuwägen. Darüber hinaus deutet die spontane Spezialisierung der MoE-Experten darauf hin, dass Rekurrent-Depth-Architekturen komplexe Segmentierungsprobleme natürlich in klassenspezifische Teilaufgaben zerlegen können.

Die Arbeit hebt eine Dichotomie zwischen 2D- und 3D-Leistung hervor: Während RD-ViT aufgrund des reichen räumlichen Kontexts in 2D glänzt, wird die 3D-Leistung derzeit eher durch die Modellkapazität als durch die rekurrente Architektur selbst begrenzt. Dennoch demonstriert die erfolgreiche Übertragung auf die zahnmedizinische Bildgebung das domänenagnostische Potenzial der Architektur.

Die Arbeit schließt mit der Feststellung, dass RD-ViT zwar in allen 3D-Szenarien noch nicht stark optimierte, datenintensive Pipelines übertreffen kann, aber die Datenabhängigkeit signifikant reduziert und ein neues Paradigma für effiziente, interpretierbare und anpassbare medizinische Bildsegmentierung bietet. Alle Codes, Notebooks und Ergebnisse sind öffentlich verfügbar.