⚡ electrical engineering

Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Dieser Artikel stellt das Framework Active Selective Semi-supervised Fine-tuning (ASSFT) vor, das die Anpassung medizinischer Vision-Grundlagenmodelle für die volumetrische Segmentierung verbessert, indem es eine Active-Learning-Strategie, die informative Stichproben basierend auf Wissensdivergenz und anatomischer Schwierigkeit auswählt, mit einem semi-überwachten Ansatz kombiniert, der zuverlässige ungelabelte Daten nutzt, um die Leistung unter begrenzten Annotationsbudgets zu maximieren.

Ursprüngliche Autoren: Jin Yang, Daniel S. Marcus, Aristeidis Sotiras

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jin Yang, Daniel S. Marcus, Aristeidis Sotiras

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten Medizinstudenten, der Jahre damit verbracht hat, Millionen von allgemeinen Anatomielehrbüchern zu studieren (dies ist das Medical Vision Foundation Model oder Med-VFM). Er kennt den menschlichen Körper in- und auswendig, hat aber noch nie eine bestimmte Art von MRT-Gerät oder die einzigartigen Patientendaten eines bestimmten Krankenhauses gesehen.

Nun möchten Sie, dass dieser Student in einem neuen Krankenhaus (dem Zielbereich) anfängt zu arbeiten, um Ärzten dabei zu helfen, Organe auf 3D-Scans zu segmentieren (wie das Zeichnen von Umrisen um die Leber oder die Nieren). Das Problem? Die Scans des neuen Krankenhauses sehen leicht anders aus, und der Student wurde noch nicht darauf trainiert. Wenn Sie ihn einfach raten lassen, wird er Fehler machen. Wenn Sie ihn bitten, jeden einzelnen neuen Scan zu studieren und einen menschlichen Experten die Beschriftung vornehmen zu lassen, würde es ewig dauern und ein Vermögen kosten.

Dieser Artikel stellt eine intelligente, effiziente Methode vor, um diesen Studenten zu trainieren: Active Selective Semi-supervised Fine-tuning (ASSFT). Denken Sie daran als an ein „Super-Tutor"-System, das dem Studenten hilft, den spezifischen Stil des neuen Krankenhauses mit den geringstmöglichen Beispielen zu erlernen.

So funktioniert das System, aufgeteilt in einfache Schritte:

1. Die „Super-Tutor"-Strategie (Aktives Lernen)

Anstatt den Studenten zufällige Scans studieren zu lassen, agiert das System wie ein kluger Tutor, der genau weiß, welche Beispiele dem Studenten am meisten beibringen werden.

Das System verwendet zwei spezielle „Brillen", um die besten Scans auszuwählen, die dem Studenten gezeigt werden sollen:

Brille #1: Die „Wissenslücke"-Linse (DKD)
Stellen Sie sich vor, der Student hat eine mentale Landkarte des Körpers. Diese Linse sucht nach Scans, bei denen die Landkarte des Studenten völlig falsch ist oder Lücken aufweist. Sie fragt: „Zeigt dieser Scan etwas, das der Student noch nie gesehen hat?" Wenn die Antwort ja lautet, ist es ein hochpriorisiertes Lernziel. Sie stellt zudem sicher, dass der Student nicht einfach denselben seltsamen Lebertyp zweimal studiert; sie sorgt dafür, dass er eine Vielfalt neuer Dinge sieht.
Brille #2: Die „Tricky Anatomy"-Linse (ASD)
Manchmal ist ein Scan nicht deshalb verwirrend, weil er neu ist, sondern weil das Organ seltsam geformt oder schwer zu erkennen ist. Diese Linse betrachtet spezifisch die Organe (den Vordergrund) und ignoriert den leeren Raum (den Hintergrund). Sie fragt: „Ist dieses Organ schwer zu umreißen?" Wenn der Student Schwierigkeiten hat zu erraten, wo die Niere aufhört und der Muskel beginnt, markiert diese Linse diesen Scan als höchste Priorität für das Studium.

Das Ergebnis: Das System wählt nur die verwirrendsten und einzigartigsten Scans aus, bittet einen menschlichen Experten um Beschriftung und unterrichtet dann den Studenten. Dies spart eine enorme Menge an Zeit, da der Student zuerst aus den „schwierigen Teilen" lernt.

2. Die „Selbstbewusstes Raten"-Strategie (Selektives semi-überwachtes Lernen)

Sobald der Student aus den vom Experten beschrifteten Beispielen gelernt hat, liegen immer noch Tausende unbeschrifteter Scans in dem Stapel herum. Das System ignoriert sie nicht. Stattdessen lässt es den Studenten versuchen, sie selbst zu beschriften, jedoch mit einem Sicherheitsnetz.

Das Sicherheitsnetz: Das System erlaubt dem Studenten nur, Scans „selbstständig zu studieren", bei denen der Student sehr zuversichtlich ist und bei denen der Scan den bereits vom Experten beschrifteten Scans sehr ähnlich sieht.
Der Filter: Wenn der Student unsicher ist oder der Scan völlig anders aussieht als das, was er gelernt hat, sagt das System: „Nein, rate bei diesem hier noch nicht." Dies verhindert, dass der Student durch eigene Fehler schlechte Gewohnheiten (falsche Beschriftungen) lernt.

3. Die Schleife

Der Prozess wiederholt sich in einem Zyklus:

Wählen Sie die besten neuen Beispiele mit Hilfe der beiden Linsen aus (Wissenslücke + Tricky Anatomy).
Lassen Sie sie von einem Menschen beschriften.
Lassen Sie den Studenten diese neuen Beschriftungen plus die „sicheren" unbeschrifteten Scans studieren, die er richtig geraten hat.
Wiederholen Sie dies, bis der Student ein Experte für die Daten des neuen Krankenhauses ist.

Warum ist das eine große Sache?

Der Artikel testete dies an fünf verschiedenen medizinischen Datensätzen (verschiedene Körperteile, verschiedene Scan-Typen wie CT und MRT). Sie stellten fest, dass:

Es schneller ist: Das System erreichte Expertenniveau unter Verwendung nur eines winzigen Bruchteils der beschrifteten Daten, die traditionelle Methoden benötigen.
Es intelligenter ist: Es schlug konsequent andere Methoden, die entweder zufällige Scans auswählten oder nur auf „Unsicherheit" achteten.
Es ohne die alten Daten funktioniert: Normalerweise benötigen Sie, um ein Modell anzupassen, Zugriff auf die ursprünglichen Trainingsdaten. Dieses System funktioniert sogar dann, wenn diese ursprünglichen Daten aus Datenschutzgründen gesperrt sind.

Kurz gesagt: Dieser Artikel bietet medizinischer KI einen Weg, schnell einen neuen Job zu erlernen, indem sie nur die interessantesten und schwierigsten Beispiele studiert, während sie sorgfältig die einfachen Dinge und die verwirrenden Raten ignoriert. Es verwandelt eine „Einheitsgröße"-KI in einen spezialisierten Experten mit sehr wenig menschlicher Hilfe.

Technischer Überblick: Aktives selektives semi-überwachtes Fine-Tuning für medizinische Vision-Grundmodelle

1. Problemstellung

Medizinische Vision-Grundmodelle (Med-VFMs), die mittels selbstüberwachtem Lernen auf großen, ungelabelten medizinischen Datensätzen vortrainiert wurden, haben ein starkes Potenzial für die Analyse medizinischer Bilddaten gezeigt. Ihre Leistung in nachgelagerten Aufgaben, insbesondere bei der volumetrischen Segmentierung medizinischer Bilddaten, bleibt jedoch begrenzt, wenn sie auf neue Zielbereiche angewendet werden.

Aktuelle Anpassungsstrategien weisen drei Hauptbeschränkungen auf:

Ineffiziente Stichprobenauswahl: Bestehende Methoden des Active Learning (AL) und der aktiven Domänenanpassung (ADA) stützen sich häufig auf zufällige Stichproben oder einfache Unsicherheits-/Diversitätsmetriken. Diese Ansätze nutzen das vortrainierte Wissen der Med-VFMs nicht explizit, um Stichproben zu identifizieren, die „nicht erlernte" Muster des Zielbereichs enthalten. Darüber hinaus neigen bildbasierte Metriken dazu, die Auswahl zugunsten von Unsicherheiten im Hintergrund zu verzerren und dabei informative Vordergrund-Anatomiestrukturen zu vernachlässigen.
Abhängigkeit von Quelldaten: Viele Methoden der Domänenanpassung erfordern den Zugriff auf Daten aus dem Quellbereich, um die Anpassung zu steuern. In der Praxis sind die Vortrainingsdaten für Med-VFMs aufgrund von Datenschutzbeschränkungen oft nicht verfügbar, was diese Methoden unanwendbar macht.
Verrausktes semi-überwachtes Training: Obwohl semi-überwachtes Lernen (SSL) reichlich vorhandene ungelabelte Ziel-Daten nutzen kann, führt die naive Verwendung aller pseudo-gelabelten Stichproben zu Rauschen, insbesondere in frühen Anpassungsrunden, wenn das Modell noch nicht zuverlässig ist. Dies kann die Leistung verschlechtern oder dazu führen, dass das Modell sich an verrauschte Pseudo-Labels anpasst, anstatt von hochwertigen gelabelten Daten zu lernen.

Die zentrale Herausforderung besteht darin, Med-VFMs unter einem begrenzten Annotationsbudget effizient an Zielbereiche anzupassen, ohne Quelldaten zu verwenden, und dabei den Nutzen sowohl gelabelter als auch ungelabelter Ziel-Stichproben zu maximieren.

2. Methodik: Aktives selektives semi-überwachtes Fine-Tuning (ASSFT)

Die Autoren schlagen ASSFT vor, ein Framework, das eine Active-Learning-Strategie mit einem selektiven semi-überwachten Fine-Tuning-Mechanismus integriert. Das Framework arbeitet iterativ über $R$ Runden, ohne dass ein Zugriff auf Quelldaten erforderlich ist.

2.1. Aktive Testzeit-Stichproben-Abfragestrategie

Um die informativsten Stichproben für die Annotation auszuwählen, führen die Autoren eine Abfragestrategie ein, die auf zwei komplementären Metriken basiert: Diversifizierte Wissensdivergenz (DKD) und Anatomische Segmentierungsschwierigkeit (ASD).

Diversifizierte Wissensdivergenz (DKD): Diese Metrik identifiziert Stichproben, die neues Wissen im Verhältnis zum vortrainierten Modell einbringen, und stellt gleichzeitig die Diversität innerhalb des Ziel-Datensatzes sicher. Sie besteht aus zwei Komponenten:
- Prior- und adaptive Wissensdivergenz (PAKD): Misst den Kosinusabstand zwischen Feature-Embeddings des initialen vortrainierten Encoders $E^{(0)}$ und des adaptierten Encoders $E^{(i)}$ . Ein hoher PAKD-Wert zeigt an, dass die Stichprobe domänenspezifische Informationen enthält, die vom Modell noch nicht erfasst wurden.
- Paarweise Dissimilarität (PD): Misst die semantische Dissimilarität einer Kandidaten-Stichprobe im Verhältnis zu zuvor gerankten Stichproben mit hohem PAKD, um Redundanz zu vermeiden und die Intra-Domänen-Diversität zu fördern.
- DKD-Score: Definiert als Produkt aus PAKD und PD.
Anatomische Segmentierungsschwierigkeit (ASD): Diese Metrik konzentriert sich auf die Schwierigkeit der Segmentierung von Vordergrund-Anatomiestrukturen und nicht auf das gesamte Bildvolumen.
- Um eine Dominanz des Hintergrunds zu verhindern, wird ein Temperatur-Skalierungsmechanismus $\tau(r)$ auf die Hintergrundklassen-Wahrscheinlichkeit angewendet, der sich dynamisch von 3 auf 1,5 über die Anpassungsrunden hinweg verringert.
- Basierend auf den angepassten Wahrscheinlichkeiten wird eine binäre Vordergrund-Maske generiert.
- Der ASD-Score wird als Entropie der Klassenwahrscheinlichkeiten innerhalb der Vordergrundregion berechnet. Ein hoher ASD-Wert weist auf komplexe anatomische Muster hin, die für das Modell herausfordernd sind.
Einheitliches Abfragekriterium: DKD- und ASD-Scores werden normalisiert und mittels Quantil-Mapping transformiert, um Vergleichbarkeit sicherzustellen, und anschließend summiert, um den finalen Abfrage-Score $Q(x)$ zu bilden. Die Top $N_B$ Stichproben werden für die Experten-Annotation ausgewählt.

2.2. Selektives semi-überwachtes Fine-Tuning

Um ungelabelte Daten zu nutzen, ohne Rauschen einzuführen, verwendet das Framework in jeder Runde einen dreistufigen Prozess:

Überwachtes Fine-Tuning: Das Modell wird zunächst unter Verwendung der aktuell verfügbaren gelabelten Ziel-Stichproben aktualisiert.
Auswahl zuverlässiger ungelabelter Stichproben: Eine Teilmenge ungelabelter Stichproben wird basierend auf folgenden Kriterien für Pseudo-Labeling ausgewählt:
- Vorhersagekonfidenz: Der Abstand zwischen den beiden höchsten vorhergesagten Klassenwahrscheinlichkeiten in Vordergrundregionen.
- Semantische Distanz: Der minimale Kosinusabstand zwischen dem Feature-Embedding der Kandidaten-Stichprobe und den Embeddings gelabelter Stichproben (Anker).
- Stichproben mit hoher Konfidenz und geringer semantischer Distanz gelten als zuverlässig. Die Anzahl der ausgewählten Stichproben ( $N_{SU}$ ) steigt mit der Iterationszahl ( $N_{SU} = N_B \cdot r$ ).
Pseudo-Label-basiertes Fine-Tuning: Für die ausgewählten zuverlässigen Stichproben werden Pseudo-Labels generiert. Diese werden mit dem gelabelten Satz kombiniert, um einen erweiterten Trainingsdatensatz für weiteres Fine-Tuning zu bilden.

Hinweis: Stichproben, die für Pseudo-Labeling ausgewählt wurden, werden explizit vom Kandidatenpool für die nächste Active-Learning-Runde ausgeschlossen, um redundante Annotationen zu vermeiden.

3. Hauptbeiträge

ASSFT-Framework: Ein einheitliches Framework zur Anpassung von Med-VFMs an volumetrische Segmentierungsaufgaben, das Active Learning und selektives semi-überwachtes Lernen integriert und ohne Quelldaten operiert.
Aktive Testzeit-Stichproben-Abfrage: Eine neuartige Strategie, die DKD und ASD nutzt, um informative Stichproben auszuwählen. DKD erfasst Wissensneuartigkeit und Diversität, während ASD anatomische Komplexität priorisiert und damit die Einschränkungen herkömmlicher unsicherheitsbasierter Methoden adressiert.
Selektives semi-überwachtes Fine-Tuning: Ein Mechanismus, der zuverlässige ungelabelte Stichproben basierend auf Vorhersagekonfidenz und semantischer Nähe zu gelabelten Daten selektiv einbindet und so die Risiken verrauschter Pseudo-Labels mindert.
Umfassende Validierung: Ausführliche Experimente über fünf verschiedene volumetrische medizinische Bildsegmentierungsaufgaben hinweg (unterschiedliche Modalitäten, anatomische Strukturen und Datensatzskalen).

4. Experimentelle Ergebnisse

Die Autoren bewerteten ASSFT an fünf Datensätzen: AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI und Abdominal MRI.

Leistung: ASSFT übertraf konsistent State-of-the-Art-AL- und ADA-Methoden (einschließlich Random, Entropy, Core-set, BADGE, SANN, UGTST und CUP) über alle Datensätze und Abfragebudgets hinweg.
- Auf AMOS2022-CT erreichte ASSFT mit nur 5 % abgefragten Stichproben einen Dice-Score von 80,51 und übertraf damit die starke Baseline UGTST um ca. 4,7 Punkte und die zufällige Auswahl um ca. 7,2 Punkte.
- Auf AMOS2022-MRI (Anpassung über Modalitäten hinweg) verbesserte ASSFT den Dice-Score von einer nahezu Zero-Shot-Baseline von 0,46 auf 52,06 mit 5 % abgefragten Stichproben, ein Gewinn von über 51 Punkten.
- Auf Abdominal MRI (Few-Shot-Szenario) erreichte ASSFT einen Dice-Score von 83,98 mit nur 3 gelabelten Stichproben (3-Shot) und übertraf damit andere Methoden signifikant.
Effizienz: Die Methode nähert sich schnell der Leistungsobergrenze bei vollständig überwachtem Training (100 % gelabelte Daten) mit einem Bruchteil der Annotationskosten an. Beispielsweise ermöglichten auf FLARE 2021 25 % abgefragte Stichproben dem Modell, 97,96 % der vollständig überwachten Leistung zu erreichen.
Ablationsstudien:
- Das Entfernen der semi-überwachten Komponente (nur DKD+ASD) führte zu geringerer Leistung und bestätigte den Wert des selektiven Pseudo-Labelings.
- Die alleinige Verwendung von PAKD oder PD war der kombinierten DKD-Metrik unterlegen.
- Die dynamische Temperaturskalierung in ASD erwies sich als überlegen gegenüber fester Temperatur oder keiner Maskierung.
- Eine statistische Analyse (Mann-Whitney-U-Test) bestätigte, dass für Pseudo-Labeling ausgewählte Stichproben signifikant höhere Dice-Scores aufwiesen als nicht ausgewählte Stichproben ( $p < 0,01$ ).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ASSFT eine annotations-effiziente und generalisierbare Lösung für den Einsatz von Med-VFMs in klinischen Umgebungen bietet, in denen:

Quelldaten nicht verfügbar sind: Die Methode operiert in einem setting der quellfreien Domänenanpassung, was für medizinische Daten unter Datenschutzbeschränkungen entscheidend ist.
Annotationen knapp sind: Durch die aktive Auswahl der informativsten Stichproben und die Nutzung zuverlässiger ungelabelter Daten erreicht das Framework hohe Leistung mit minimalem Experten-Labeling-Aufwand.
Domänenverschiebungen signifikant sind: Das Framework demonstriert Robustheit über verschiedene Bildgebungsmodalitäten hinweg (CT zu MRI) und bei variierenden anatomischen Komplexitäten.

Die Autoren betonen, dass ihr Ansatz die spezifischen Einschränkungen der Anwendung von Grundmodellen auf medizinische Segmentierung adressiert, insbesondere die Notwendigkeit, Wissensneuartigkeit, Datendiversität und aufgaben spezifische anatomische Schwierigkeiten in Einklang zu bringen. Sie schließen, dass ASSFT die Übertragung von Med-VFMs in praktische klinische Workflows erleichtert, indem es die Annotationslast erheblich reduziert und gleichzeitig eine hohe Segmentierungsgenauigkeit beibehält.