PlaneCycle: Training-Free 2D-to-3D Lifting of Foundation Models Without Adapters

Die Arbeit stellt PlaneCycle vor, einen training- und adapterfreien Operator, der vortrainierte 2D-Foundation-Modelle durch zyklische räumliche Aggregation über orthogonale Ebenen hinweg nahtlos in leistungsfähige 3D-Modelle umwandelt, ohne zusätzliche Parameter oder Architekturänderungen zu erfordern.

Das Wesentliche

🌍 Das Problem: Der flache Fotograf und der 3D-Welt

Stell dir vor, du hast einen genialen Fotografen (das ist das KI-Modell), der seit Jahren Millionen von flachen 2D-Bildern (wie Fotos von Katzen oder Landschaften) gesehen hat. Er ist ein Meister darin, Muster auf einer flachen Ebene zu erkennen.

Jetzt möchtest du ihm aber 3D-Objekte zeigen, zum Beispiel einen menschlichen Körper, der aus vielen Schichten (wie bei einem CT-Scan) besteht.

• Der alte Weg: Man müsste den Fotografen komplett neu ausbilden, ihm neue Werkzeuge geben (Adapter) oder ihn sogar umbauen. Das kostet aber enorm viel Zeit, Geld und Energie (Strom).
• Der einfache Weg: Man zeigt ihm einfach nur einzelne Schichten (Scheiben) nacheinander. Aber das Problem dabei ist: Der Fotograf vergisst, wie diese Schichten zusammenhängen. Er sieht die Welt wie ein Stapel loser Blätter, nicht wie einen zusammenhängenden Block.

💡 Die Lösung: PlaneCycle – Der „Magische Drehstuhl"

Die Forscher haben eine clevere Idee namens PlaneCycle entwickelt. Das Besondere daran: Man muss den Fotografen nicht neu ausbilden und ihm keine neuen Werkzeuge geben. Es ist komplett „kostenlos" (training-free).

Stell dir vor, du hast einen 3D-Würfel (z. B. einen Brokkoli oder einen menschlichen Kopf).

1. Der Trick: Anstatt den Würfel nur von oben zu betrachten (wie ein normales Foto), setzt du den Würfel auf einen magischen Drehstuhl.
2. Die Rotation: Der Stuhl dreht sich langsam und zeigt dem Fotografen den Würfel nacheinander aus drei verschiedenen Winkeln:
   • Von oben (horizontal)
   • Von der Seite (sagittal)
   • Von vorne (koronal)
3. Der Zyklus: Der Fotograf schaut sich den Würfel kurz von oben an, merkt sich die Details, dreht sich dann zur Seite, merkt sich die neuen Details, und dann nach vorne. Er macht das immer wieder im Kreis.

Durch dieses ständige Drehen und Betrachten aus verschiedenen Richtungen versteht der Fotograf plötzlich, dass die einzelnen Schichten nicht isoliert sind, sondern ein zusammenhängendes 3D-Objekt bilden. Er „lernt" die 3D-Struktur, ohne jemals ein einziges neues Bild gesehen oder einen einzigen Parameter verändert zu haben.

🚀 Warum ist das so genial?

• Kein Umbau nötig: Der Fotograf bleibt genau so, wie er ist. Seine „Gehirnwindungen" (die Architektur) werden nicht verändert.
• Sofort einsatzbereit: Sobald du ihm den Würfel auf den Drehstuhl setzt, kann er 3D-Objekte verstehen. Du musst ihn nicht wochenlang trainieren.
• Besser als die Konkurrenz:
  • Wenn man ihn nur einzelne Schichten zeigt (der alte Weg), verpasst er den Gesamtzusammenhang.
  • Wenn man ihn den ganzen Würfel auf einmal zeigt (der 3D-Weg), braucht er riesige Rechenpower und viel Zeit, um zu lernen.
  • PlaneCycle ist wie ein schneller, effizienter Tanz: Er verbindet die Geschwindigkeit des 2D-Modells mit dem Verständnis für 3D.

🏥 Was bringt das in der echten Welt?

Stell dir vor, ein Arzt hat einen CT-Scan eines Patienten.

• Früher musste man spezielle, teure 3D-KI-Modelle trainieren, die oft nur für einen bestimmten Zweck funktionierten.
• Mit PlaneCycle kann man die riesigen, bereits trainierten KI-Modelle (die wir schon für 2D-Bilder haben) sofort für medizinische 3D-Diagnosen nutzen.
• Das spart enorme Mengen an Energie (Strom) und Zeit. Es ist nachhaltig, weil wir die bereits geleistete „Lernarbeit" der großen Modelle einfach wiederverwenden können.

Zusammenfassung in einem Satz

PlaneCycle ist wie ein Zaubertrick, bei dem man einem flachen 2D-KI-Modell einen 3D-Würfel auf einen Drehstuhl setzt, damit es die Welt dreidimensional versteht – ohne dass man das Modell selbst auch nur ein einziges Mal neu trainieren muss.

Technische Zusammenfassung

1. Problemstellung

Großskalige 2D-Grundmodelle (Foundation Models) wie DINOv3 weisen starke, übertragbare Repräsentationen auf, die in vielen Domänen, einschließlich der medizinischen Bildgebung, erfolgreich eingesetzt werden. Die Übertragung dieser Modelle auf volumetrische 3D-Daten (z. B. CT, MRT) ist jedoch herausfordernd:

• Slice-by-Slice-Ansatz: Die gängige Methode, 2D-Modelle schichtweise auf 3D-Volumina anzuwenden, ignoriert die Abhängigkeiten zwischen den Schichten (Cross-Slice-Dependencies) und führt zu inkonsistenten 3D-Repräsentationen.
• Vollständige 3D-Modelle: Das Umwandeln von 2D-Architekturen in vollständige 3D-Modelle oder das Hinzufügen von Adapters erfordert oft ein komplettes Neulernen (Retraining) oder zusätzliche Parameter. Zudem skaliert die Selbst-Aufmerksamkeit (Self-Attention) bei Transformer-Architekturen quadratisch mit der Sequenzlänge, was bei 3D-Volumina zu einem massiven Anstieg der Rechenkosten führt.
• Ressourcen: Die Entwicklung neuer 3D-Grundmodelle ist aufgrund des begrenzten Zugangs zu hochwertigen 3D-Daten und des enormen Trainingsaufwands (z. B. 9 Millionen GPU-Stunden für DINOv3) oft nicht nachhaltig.

Die zentrale Frage lautet: Kann die 3D-Fähigkeit aus vortrainierten 2D-Grundmodellen ohne Änderung der Architektur oder Parameter freigeschaltet werden?

2. Methodik: PlaneCycle

Die Autoren stellen PlaneCycle vor, einen trainingsfreien und adapterfreien Operator, der architekturagnostisch (funktioniert mit CNNs und Vision Transformern/ViTs) ist.

• Kernprinzip: PlaneCycle nutzt den originalen, vortrainierten 2D-Rückgrat (Backbone) erneut, verteilt die räumliche Aggregation jedoch zyklisch über orthogonale Ebenen (HW, DW, DH) durch die gesamte Netzwerktiefe.
• Ablauf (Algorithmus 1):
  1. Reshaping: Ein 3D-Feature-Map ($D \times H \times W$) wird in $P$ Scheiben umgeformt, wobei $P$ die aktive Ebene ist (z. B. Axial, Koronal, Sagittal).
  2. Flattening: Jede Scheibe wird in eine Token-Sequenz umgewandelt.
  3. Aggregation: Die Tokens werden mit globalen Tokens (falls vorhanden, z. B. CLS-Token) verkettet und durch die gefrorenen 2D-Schichten ($F_\theta$) geleitet. Dies geschieht für jede der drei Ebenen (HW, DW, DH) zyklisch.
  4. Restaurierung: Die Features werden zurück in das 3D-Volumen umgeformt.
• Besonderheiten:
  • Keine neuen Parameter: Es werden keine zusätzlichen Gewichte eingeführt.
  • Zyklische Ebenen: Die Feature-Interaktion wechselt zyklisch zwischen den Ebenen (z. B. HW $\to$ DW $\to$ DH $\to$ HW), was eine progressive 3D-Fusion ermöglicht.
  • Globale Tokens: Um Inkonsistenzen bei der Token-Länge beim Wechsel der Ebenen zu vermeiden, werden globale Tokens mittels adaptivem Average Pooling (Strategien PCm und PCg) angepasst.
  • Positional Encodings: Bei ViTs werden die RoPE (Rotary Positional Embeddings) plattformspezifisch neu indiziert, ohne lernbare Parameter hinzuzufügen.

3. Wichtige Beiträge

• Training-Free 2D-zu-3D Lifting: Der erste Ansatz, der 3D-Fähigkeiten direkt aus vortrainierten 2D-Modellen (wie DINOv3) extrahiert, ohne das Modell neu zu trainieren oder die Architektur zu modifizieren.
• Architekturagnostisch: Der Operator ist sowohl für CNNs als auch für Transformer (ViT) geeignet.
• Intrinsische 3D-Fusion: Selbst ohne Feinabstimmung (Zero-Shot) erzeugt PlaneCycle kohärente 3D-Feature-Maps, die über die reine Schichtweise-Bearbeitung hinausgehen.
• Effizienz: Die Methode behält die rechnerische Effizienz von 2D-Modellen bei und vermeidet die quadratische Komplexität von vollem 3D-Attention.

4. Ergebnisse

Die Evaluation erfolgte auf sechs 3D-Klassifizierungs- und drei 3D-Segmentierungsbenchmarks (z. B. Organ, Nodule, Synapse) unter Verwendung von DINOv3-Backbones (ViT-S/B/L).

• Linear Probing (Gefrorener Backbone):
  • PlaneCycle (insbesondere die Variante PCg) übertrifft sowohl schichtweise 2D-Baselines als auch vollständig vortrainierte 3D-Modelle (wie ViViT) signifikant.
  • Im Durchschnitt über sechs Datensätze erreichte PCg mit ViT-B/16 eine Verbesserung von ca. 3,0 AUC und 6,0 ACC gegenüber dem 3D-Standard (R-ACS).
  • Ohne jegliches Training (Zero-Shot) zeigte PlaneCycle bereits starke diskriminierende 3D-Repräsentationen (gemessen durch FeatDice).
• Full Fine-Tuning:
  • Nach vollständiger Feinabstimmung erreicht PlaneCycle die Leistung von Standard-3D-Architekturen und übertrifft diese in einigen Segmentierungsaufgaben um bis zu 2,6 Dice-Punkte.
  • Gleichzeitig bleibt der Trainingsaufwand deutlich geringer als bei vollem 3D-Flattening (z. B. 120 min vs. deutlich länger für ViT-L/16 auf LIDC).
• Effizienz: PlaneCycle reduziert die Selbst-Aufmerksamkeits-Komplexität im Vergleich zu vollem 3D um den Faktor $D$ (Tiefe des Volumens), da pro Schicht nur 2D-Token verarbeitet werden.

5. Bedeutung und Fazit

PlaneCycle demonstriert, dass 3D-Fähigkeiten nicht zwingend durch teure 3D-Vor-Trainings oder komplexe Adapter-Strukturen erreicht werden müssen. Stattdessen kann die immense Wissensbasis bestehender 2D-Grundmodelle durch einen einfachen, parametrischen Mechanismus für 3D-Aufgaben genutzt werden.

• Nachhaltigkeit: Die Methode ermöglicht die Wiederverwendung von 2D-Modellen (die oft auf natürlichen Bildern vortrainiert wurden) für medizinische 3D-Anwendungen, was den CO2-Fußabdruck und die Rechenkosten senkt.
• Praktische Anwendbarkeit: Da keine strukturellen Änderungen nötig sind, kann PlaneCycle nahtlos in bestehende Pipelines integriert werden und ist kompatibel mit zukünftigen Techniken wie LoRA oder 3D-Vor-Training.
• Zukunftspotenzial: Die Ergebnisse deuten darauf hin, dass selbst sehr große Modelle (z. B. DINOv3-7B) für 3D-Aufgaben „geliftet" werden können, was bisher in 3D-Szenarien nicht erreicht wurde.

Zusammenfassend bietet PlaneCycle einen effizienten, skalierbaren und leistungsstarken Weg, um die Lücke zwischen 2D-Grundmodellen und 3D-Anwendungen zu schließen.