MIP Candy: A Modular PyTorch Framework for Medical Image Processing

MIP Candy ist ein modularer, auf PyTorch basierendes Open-Source-Framework für die medizinische Bildverarbeitung, das durch eine flexible Konfigurationsarchitektur und integrierte Werkzeuge für den gesamten Workflow von der Dateneingabe bis zur Evaluation eine effiziente und anpassbare Entwicklung ermöglicht.

Das Wesentliche

Stell dir vor, du bist ein Koch, der ein komplexes Gericht zubereiten will: die medizinische Bildanalyse. Deine Zutaten sind riesige 3D-Scans von Patienten (wie CTs oder MRTs), die in seltsamen, speziellen Formaten gespeichert sind. Deine Aufgabe ist es, dem Computer beizubringen, genau zu erkennen, wo ein Tumor beginnt und wo er endet – voxel für voxel.

Bisher war das wie Kochen in einer Küche, die entweder zu leer oder zu vollgestopft war:

1. Die leere Küche (PyTorch/TensorFlow): Du hast die Grundwerkzeuge (Messer, Herd), aber du musst dir das Rezept selbst ausdenken, den Ofen selbst bauen und die Zutaten selbst waschen. Das ist viel Arbeit und jeder macht es anders.
2. Die vollgestopfte Küche (nnU-Net): Hier ist alles fertig: Der Ofen ist voreingestellt, das Rezept steht auf dem Kühlschrank. Du musst nur den Knopf drücken. Aber wenn du das Rezept ändern willst (z. B. weniger Salz, ein anderes Gemüse), musst du den ganzen Ofen zerlegen. Du hast keine Kontrolle über die Details.

MIP Candy ist die Lösung: Es ist wie eine modulare "Smart-Kitchen", die dir das Beste aus beiden Welten bietet.

Hier ist, wie es funktioniert, erklärt mit einfachen Analogien:

1. Der "Baukasten"-Ansatz (Modularität)

Stell dir MIP Candy wie einen riesigen LEGO-Kasten vor.

• Du kannst die komplette Küche nutzen, um sofort ein Gericht zu kochen.
• Oder du nimmst dir nur das spezielle Messer (eine bestimmte Verlustfunktion) oder den speziellen Mixer (eine bestimmte Datenverarbeitung) und baust es in deine eigene Küche ein.
• Du musst nichts neu erfinden. Alles passt perfekt zusammen, weil es aus demselben Set kommt.

2. Der "Magische Baumeister" (LayerT)

Normalerweise musst du, wenn du eine neue Art von Kochtopf willst, einen komplett neuen Topf gießen (eine neue Programmklasse schreiben).
LayerT ist wie ein magischer 3D-Drucker in deiner Küche.

• Du sagst ihm einfach: "Ich brauche einen Topf, der aus Edelstahl ist und einen Deckel hat."
• Der Drucker baut dir den Topf genau so, wie du ihn brauchst, ohne dass du den ganzen Ofen neu bauen musst.
• Das bedeutet: Du kannst die "Kochmethoden" (Convolution, Normalisierung) während des Laufens austauschen, ohne den Code neu zu schreiben.

3. Die "Augen des Küchenchefs" (Daten-Inspektion)

Bevor du kochst, schaut MIP Candy in deinen Kühlschrank (die Daten).

• Es sagt dir: "Hey, in diesem Scan sind 30% Tumor und 70% gesundes Gewebe."
• Es berechnet automatisch, wie groß deine Schnitzel (Patches) sein müssen, damit du genug vom Tumor siehst.
• Es findet die "schlechtesten Fälle" (z. B. wo der Tumor am schwersten zu sehen ist) und zeigt sie dir an, damit du weißt, wo du noch üben musst.

4. Der "Orakel-Wecker" (Vorhersage des Ergebnisses)

Das ist vielleicht das Coolste: MIP Candy hat eine Kristallkugel.

• Während dein Modell lernt, schaut es auf den Fortschritt und sagt dir: "Wenn du noch 20 Minuten weitermachst, wirst du das perfekte Ergebnis haben. Danach bringt es nichts mehr."
• Es berechnet die ETC (Estimated Time of Completion) – also wann du fertig bist. Du musst nicht stundenlang warten, um zu sehen, ob es funktioniert.

5. Der "Notizbuch-Manager" (Transparenz)

Früher war Training ein "Black Box"-Prozess: Du hast auf "Start" gedrückt und wartest 3 Tage. Dann siehst du nur das Endergebnis.
Mit MIP Candy hast du eine Live-Übertragung:

• Du siehst jede Woche (jeden "Epoch"), wie gut das Modell wird.
• Es zeigt dir Bilder von den Fällen, bei denen das Modell am meisten danebenliegt (die "schlimmsten Fälle"), damit du sofort siehst, was schiefgeht.
• Es schreibt alles in ein digitales Notizbuch (wie Notion oder MLflow), damit du und dein Team genau sehen können, was passiert ist.

6. Der "Rettungsanker" (Wiederherstellung)

Stell dir vor, dein Computer stürzt mitten in der Nacht ab, während er lernt.

• Bei alten Systemen warst du am Morgen wieder bei Null.
• Bei MIP Candy ist das wie ein Spielstand in einem Videospiel. Das System speichert genau, wo du warst. Du kannst den Computer neu starten, und es setzt genau dort fort, wo es aufgehört hat, als wäre nichts passiert.

Zusammenfassung

MIP Candy ist ein Werkzeugkasten für Forscher, der ihnen erlaubt, medizinische Bilder zu analysieren, ohne sich in technischem Kleinkram zu verlieren.

• Es ist einfach: Du musst im Grunde nur eine Zeile Code schreiben ("Baue mir das Netz"), und der Rest läuft automatisch.
• Es ist flexibel: Du kannst alles ändern, wenn du willst.
• Es ist ehrlich: Es zeigt dir genau, wie gut es funktioniert und wann du aufhören solltest.

Es ist wie ein Super-Assistent, der dir nicht nur die Küche aufräumt, sondern dir auch sagt, wann das Essen fertig ist, und dir hilft, die besten Rezepte zu finden – alles kostenlos und offen für jeden.

Technische Zusammenfassung

1. Problemstellung

Die medizinische Bildverarbeitung, insbesondere die Segmentierung, stellt spezifische Herausforderungen dar, die von allgemeinen Deep-Learning-Frameworks (wie PyTorch oder TensorFlow) nicht vollständig abgedeckt werden:

• Datenkomplexität: Medizinische Daten liegen oft in domänenspezifischen Formaten vor (NIfTI, DICOM, MHA), sind volumetrisch (3D), hochauflösend und weisen oft anisotrope Voxelabstände auf.
• Mangel an Flexibilität vs. Automatisierung: Bestehende Lösungen bewegen sich meist in zwei Extremen:
  • Komponentenbibliotheken (z. B. MONAI, TorchIO) bieten flexible Bausteine, erfordern jedoch einen erheblichen manuellen Aufwand, um eine vollständige Trainingspipeline zu konstruieren.
  • End-to-End-Pipelines (z. B. nnU-Net) bieten automatisierte Workflows mit hervorragenden Ergebnissen, sind aber monolithisch, schwer zu modifizieren und bieten wenig Einblick in den Trainingsprozess („Black Box").
• Fehlende Transparenz: Viele Frameworks geben erst nach Abschluss des Trainings ein Endergebnis aus, ohne Echtzeit-Einblicke in Metriken, Vorhersagen oder den optimalen Stoppzeitpunkt zu bieten.

2. Methodik und Systemarchitektur

MIP Candy (MIPCandy) ist ein auf PyTorch basierendes Framework, das die Lücke zwischen modularer Flexibilität und vollständiger Pipeline-Automatisierung schließt. Es ist als Apache-2.0 Open-Source-Projekt verfügbar und nutzt moderne Python-Features (Python 3.12+).

Die Architektur besteht aus neun lose gekoppelten Modulen:

• Datenpipeline: Unterstützt Multi-Format-I/O (via SimpleITK), K-Fold-Cross-Validation und eine spezielle Datenerkundung (inspect()), die automatisch Vordergrund-Bounding-Boxen, Klassenverteilungen und Intensitätsstatistiken berechnet. Dies ermöglicht eine ROI-basierte Patch-Sampling-Strategie.
• LayerT-Konfigurationssystem: Ein zentrales Designelement. Anstatt Unterklassen für jede Kombination von Faltungs-, Normalisierungs- und Aktivierungsschichten zu definieren, verwendet MIPCandy LayerT. Dies ist ein verzögerter Konfigurationsmechanismus, der Modultypen und Konstruktorargumente speichert und erst zur Laufzeit instanziiert. Dies ermöglicht den Austausch von Schichten ohne Subklassing.
• Trainingsframework: Basiert auf einer Trainer-Klasse, die den Lebenszyklus verwaltet. Ein TrainerToolbox-Dataclass kapselt Modell, Optimierer, Scheduler und Kriterium.
  • Voreinstellungen: SegmentationTrainer bietet vorkonfigurierte Defaults (z. B. kombinierte Dice-Cross-Entropy-Loss, SGD mit Nesterov, Polynom-Lernraten-Scheduler).
  • Deep Supervision & EMA: Werden durch einfache Flags aktiviert.
  • Zustandswiederherstellung: Der gesamte Trainingszustand wird pro Epoche serialisiert, um Unterbrechungen nahtlos fortzusetzen.
• Inferenz & Evaluation: Eine Predictor-Klasse spiegelt das Trainer-Interface wider. Die Evaluator-Klasse unterstützt benutzerdefinierte Metriken und Dice-Familien-Metriken.
• Bundle-Ökosystem: Modelle und Konfigurationen werden als eigenständige „Bundles" (Modell, Trainer, Predictor) bereitgestellt, die ohne Modifikation des Kerns integriert werden können.

3. Schlüsselbeiträge

Die Arbeit präsentiert fünf Hauptbeiträge:

1. LayerT: Ein verzögerter Konfigurationsmechanismus, der den Austausch von Konvolutions-, Normalisierungs- und Aktivierungsschichten zur Laufzeit ohne Subklassing ermöglicht.
2. Hierarchisches Trainingsframework: Integriert Deep Supervision, Exponential Moving Average (EMA), Zustandswiederherstellung und Multi-Frontend-Experiment-Tracking (Weights & Biases, Notion, MLflow).
3. Datenerkundungssystem: Automatisierte Berechnung von Vordergrund-Statistiken für ROI-basiertes Patch-Sampling.
4. Vorhersage von Validierungsscores: Durch Anwendung von Quotientenregression (rationale Funktionen) auf die Validierungskurve werden der maximal erreichbare Score und der optimale Stoppzeitpunkt (Estimated Time of Completion, ETC) geschätzt.
5. Erweiterbares Bundle-Ökosystem: Ein einheitliches Muster für die Paketierung von Modellarchitekturen (z. B. U-Net, UNet++, V-Net, MedNeXt) und Trainern, das eine einfache Wiederverwendung ermöglicht.

4. Ergebnisse und Funktionalität

Das Framework wurde in Fallstudien für 2D-Hautläsionssegmentierung (PH2-Datensatz) und 3D-Tumorsegmentierung (BraTS 2021) demonstriert:

• Minimaler Codeaufwand: Ein vollständiger Trainingsworkflow kann durch die Implementierung einer einzigen Methode (build_network) in einem SegmentationTrainer gestartet werden.
• Transparenz: MIPCandy generiert automatisch detaillierte Artefakte:
  • Strukturierte Konsolenausgaben pro Epoche mit Metriken und ETC.
  • Visualisierung von Lernkurven (Loss, Validierungsscore).
  • Vorhersage-Vorschauen: Nach jeder Validierung werden die schlechtesten Fälle (basierend auf dem Score) als Überlagerungen (Input, Ground Truth, Vorhersage) gespeichert, um Fehlermodi sofort zu identifizieren.
  • 3D-Visualisierungen via PyVista für volumetrische Daten.
• Experiment-Tracking: Nahtlose Integration mit externen Tools (Notion, WandB, MLflow) zur persistenten Protokollierung von Metadaten und Ergebnissen.

5. Bedeutung und Fazit

MIP Candy adressiert die praktischen Schmerzpunkte der medizinischen Bildsegmentierungsforschung, indem es die Vorteile von End-to-End-Pipelines (Einfachheit, vorkonfigurierte Defaults) mit der Modularität von Komponentenbibliotheken kombiniert.

• Flexibilität: Forscher behalten die volle Kontrolle über jeden Aspekt des Prozesses, können aber auch mit minimalen Anpassungen starten.
• Transparenz: Im Gegensatz zu „Black-Box"-Ansätzen bietet MIPCandy Echtzeit-Einblicke in den Trainingsfortschritt, was die Diagnose von Modellfehlern und die Ressourcenplanung (durch ETC-Vorhersagen) verbessert.
• Wiederverwendbarkeit: Das Bundle-Ökosystem fördert die Reproduzierbarkeit und den Austausch von Modellen innerhalb der Community.

Zukünftige Arbeiten umfassen die Erweiterung der Metrikbibliothek (z. B. Hausdorff-Distanz), die Implementierung von Sliding-Window-Inferenz für große Volumina und die Unterstützung von semi-überwachtem Lernen.