💻 computer science

Label tree semantic losses for rich multi-class medical image segmentation

Dieser Beitrag stellt zwei neuartige baumbasierte semantische Verlustfunktionen vor, die hierarchische Labelstrukturen nutzen, um die Mehrklassen-Segmentierung medizinischer Bilder zu verbessern, und zeigt konsistente Leistungssteigerungen gegenüber Basismodellen sowohl bei der vollständig überwachten Parzellierung des gesamten Gehirns als auch bei Aufgaben der neurochirurgischen hyperspektralen Bildgebung mit spärlicher Annotation.

Ursprüngliche Autoren: Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, jeden einzelnen Teil eines menschlichen Gehirns oder einer chirurgischen Szene zu erkennen. In der Vergangenheit waren Computer wie strenge Lehrer, die jeden Fehler gleich behandelten. Wenn der Computer eine „linke Niere" mit einer „rechten Niere" verwechselte, erhielt er dieselbe „Durchgangsnote" wie bei einer Verwechslung einer „Niere" mit einem „Toaster".

In der Medizin sind jedoch nicht alle Fehler gleichwertig. Zwei ähnliche Hirnregionen zu verwechseln ist ein kleiner Fehler; eine Hirnregion mit einem völlig anderen Organ zu verwechseln, ist ein riesiger.

Diese Arbeit stellt eine neue Methode vor, um Computern das Verständnis von Beziehungen beizubringen. Die Autoren bauten einen „Stammbaum" für medizinische Bezeichnungen, in dem ähnliche Dinge gruppiert sind, und entwickelten zwei spezielle „Notensysteme" (Verlustfunktionen), die diesen Baum nutzen, um intelligenteres Feedback zu geben.

Hier ist eine Aufschlüsselung ihrer Ideen mit einfachen Analogien:

1. Das Problem: Das „Einheitsgrößen"-Notensystem

Derzeit wird die meisten medizinische KI mit einem Standardnotensystem trainiert. Wenn die KI „Klasse A" rät, obwohl die Antwort „Klasse B" ist, wird sie bestraft. Wenn sie „Klasse A" rät, obwohl die Antwort „Klasse Z" ist (was völlig anders ist), erhält sie exakt dieselbe Strafe.

Das ist wie ein Lehrer, der einem Schüler für das falsche Schreiben von „Katze" als „Hund" (ein kleiner Fehler) dieselbe „Fünf" gibt wie für das falsche Schreiben von „Auto" als „Flugzeug" (ein riesiger Fehler). Da medizinische Bilder detaillierter werden und Hunderte von winzigen, ähnlichen Klassen enthalten, wird dieses alte System ineffizient, weil es nicht versteht, dass einige Fehler der Wahrheit „näher" sind als andere.

2. Die Lösung: Der „Stammbaum" der Bezeichnungen

Die Autoren organisierten alle medizinischen Bezeichnungen (wie verschiedene Teile des Gehirns oder Gewebetypen) in einer Hierarchie, oder einem Stammbaum.

Die Wurzel: Die Spitze des Baums ist eine breite Kategorie (z. B. „Gehirn").
Die Äste: Diese teilen sich in Hauptgruppen auf (z. B. „Linke Hemisphäre", „Rechte Hemisphäre").
Die Blätter: Dies sind die spezifischen, winzigen Details (z. B. „Linker Temporallappen").

Sie entwickelten zwei neue Methoden, um die KI basierend auf diesem Baum zu benoten:

A. Der „Reisekosten"-Bewerter (Wasserstein-Abstands-Verlust)

Stellen Sie sich den Bezeichnungsbaum als eine Stadtkarte vor.

Wenn die KI einen Fehler macht, berechnet der Computer die Distanz, die sie auf der Karte zurücklegen muss, um von der falschen Antwort zur richtigen zu gelangen.
Wenn die KI zwei benachbarte Viertel verwechselt (wie „Linker Temporallappen" und „Rechter Temporallappen"), sind die „Reisekosten" gering, also ist die Strafe klein.
Wenn die KI ein Viertel mit einer völlig anderen Stadt verwechselt (wie „Gehirn" und „Leber"), sind die „Reisekosten" enorm, also ist die Strafe streng.
Das Ergebnis: Die KI lernt, dass kleine, „nahe" Fehler in Ordnung sind, aber sie muss große, „ferne" Fehler vermeiden.

B. Der „Familienverantwortungs"-Bewerter (Baum-gewichtete Kreuzentropie)

Stellen Sie sich die KI als Schüler vor, der eine Prüfung schreibt.

Im alten System wird der Schüler nur für die endgültige Antwort bewertet (das spezifische Blatt des Baums).
In diesem neuen System wird der Schüler auch für die Schritte bewertet, die er dorthin geführt haben. Hat er den „Gehirn"-Ast korrekt identifiziert? Hat er den „Linken Hemisphäre"-Ast korrekt identifiziert?
Selbst wenn der Schüler das winzige Blatt falsch bekommt, erhält er Teilpunkte, wenn er die großen Äste richtig hatte. Dies ermutigt die KI, die „Großbild"-Struktur der Anatomie zu lernen, was ihr hilft, bessere Vermutungen über die winzigen Details anzustellen.

3. Umgang mit „fehlenden" Informationen (Spärliche Annotationen)

In der realen Welt haben Ärzte keine Zeit, jedes einzelne Pixel in einem medizinischen Bild zu kennzeichnen. Oft markieren sie nur die wichtigen Teile und lassen den Rest blank.

Die alte Falle: Wenn ein Pixel nicht markiert ist, gehen alte KI-Systeme davon aus, es sei „Hintergrund" (nichts). Das ist gefährlich, weil dieser leere Raum tatsächlich ein Tumor sein könnte, den der Arzt einfach vergessen hat zu markieren.
Der neue Trick: Die Autoren kombinierten ihren „Stammbaum"-Bewertungsansatz mit einem „Detektiv"-System. Der KI wird gesagt: „Wenn du nicht zu 100 % sicher bist, dass ein Pixel zu einer der markierten Familien gehört, markiere es als 'Unbekannt' (Out-of-Distribution), anstatt zu raten, es sei Hintergrund." Dies verhindert, dass die KI unmarkierte Bereiche selbstbewusst falsch klassifiziert.

4. Was sie fanden (Die Ergebnisse)

Die Autoren testeten diese neuen Notensysteme an zwei sehr unterschiedlichen Aufgaben:

Gehirn-MRT (Ganzhirn-Parzellierung): Aufschlüsselung eines 3D-Gehirnscans in 100+ winzige Regionen.
- Ergebnis: Der „Reisekosten"-Bewerter (Wasserstein) war der Gewinner. Er verbesserte die Fähigkeit der KI erheblich, kleine, schwer zu erkennende Gehirnstrukturen korrekt zu identifizieren, verglichen mit Standardmethoden.
Chirurgische Kamera (Hyperspektralbildgebung): Identifizierung von Geweben während einer Gehirnoperation mit einer speziellen Kamera, die Farben sieht, die für das menschliche Auge unsichtbar sind.
- Ergebnis: Der „Familienverantwortungs"-Bewerter (Baum-gewichtet) funktionierte hier am besten, insbesondere wenn die Trainingsdaten spärlich (unvollständig) waren. Es half der KI, zwischen „normalem" und „abnormalem" Gewebe genauer zu unterscheiden.

Zusammenfassung

Die Arbeit argumentiert, dass wir durch das Beibringen von KI, die Beziehungen zwischen medizinischen Bezeichnungen zu verstehen (unter Verwendung einer Stammbaum-Struktur), anstatt jede Bezeichnung als isolierte Insel zu behandeln, intelligentere, robustere medizinische Bildgebungswerkzeuge entwickeln können. Diese Werkzeuge machen weniger katastrophale Fehler und sind besser darin, mit den chaotischen, unvollständigen Daten umzugehen, mit denen echte Ärzte arbeiten.

Technischer Überblick: Semantische Verluste auf Label-Bäumen für reiche Mehrklassen-Segmentierung medizinischer Bilder

Problemstellung
Eine reichhaltige und präzise Segmentierung medizinischer Bilder ist entscheidend für die präoperative Planung, die intraoperative Navigation und die postoperative Beurteilung. Standard-Lernverfahren für Segmentierungsaufgaben bestrafen jedoch typischerweise alle Klassifikationsfehler gleich, wodurch sie die semantischen Beziehungen innerhalb des Label-Raums nicht ausnutzen. Diese Einschränkung wird zunehmend problematisch, wenn die Kardinalität der Labels wächst, um subtil unterschiedliche Klassen einzuschließen (z. B. spezifische Gehirn-Subregionen oder Gewebetypen). Darüber hinaus sind Daten in der chirurgischen Bildgebung und bei groß angelegten Annotationsbemühungen oft nur spärlich mit „nur-positiven" Labels annotiert, wobei nicht annotierte Regionen nicht als Hintergrund angenommen werden können. Bestehende Ansätze verfügen häufig über keine Mechanismen, um Label-Hierarchien zu nutzen oder die Mehrdeutigkeit nicht annotierter Pixel auf semantisch sinnvolle Weise zu behandeln.

Methodik
Die Autoren schlagen einen Rahmen vor, der eine hierarchische Organisation von Labels (einen Label-Baum) über zwei komplementäre semantische Verlustfunktionen in den Trainingsprozess integriert. Diese Verluste sind so konzipiert, dass sie sowohl mit dichter Supervision (z. B. Ganzhirn-Parzellierung) als auch mit spärlichen, hintergrundfreien Annotationen (z. B. hyperspektrale Bildgebung in der Neurochirurgie) arbeiten.

Wasserstein-Distanz-basierter Segmentierungsverlust ( $\mathcal{L}_{wass+seg}$ ):
Dieser Verlust nutzt die Wasserstein-Distanz (optimaler Transport), um die Kosten der Transformation vorhergesagter Wahrscheinlichkeitsverteilungen in Ground-Truth-Verteilungen zu messen. Die „Ground-Distance"-Matrix ( $M$ ) wird aus dem Label-Baum abgeleitet, wobei der Abstand zwischen zwei Blattknoten durch die Pfadlänge zwischen ihnen in der Hierarchie definiert wird. Diese Formulierung bestraft Fehler basierend auf ihrer semantischen Schwere; die Fehlklassifikation einer Klasse als semantisch ferner Verwandter zieht eine höhere Strafe nach sich als die Fehlklassifikation als naher Verwandter. Der finale Verlust ist eine Kombination aus der Wasserstein-Distanz und einem generischen Segmentierungsverlust (z. B. Dice oder Kreuzentropie).
Baum-gewichteter semantischer Kreuzentropie-Verlust ( $\mathcal{L}_{twce+seg}$ ):
Dieser Ansatz erweitert die Standard-Kreuzentropie (CE), indem er Wahrscheinlichkeiten über alle Knoten im Label-Baum aggregiert, nicht nur über die Blattknoten. Unter Verwendung einer Adjazenzmatrix zur Darstellung von Eltern-Kind-Beziehungen berechnet das Modell aggregierte Wahrscheinlichkeiten für innere Knoten. Der Verlust wird dann als gewichtete Summe der CE über alle Knoten berechnet, wobei die Gewichte auf der Kantenstruktur basieren. Dies ermöglicht es dem Modell, Supervisionssignale auf mehreren Abstraktionsebenen (grob und fein) zu erhalten.
Integration mit spärlichem Lernen nur mit positiven Beispielen:
Die vorgeschlagenen Verluste werden in einen Rahmen für das Training mit spärlichen, nur positiven Annotationen integriert (basierend auf Wang et al., 2026). In diesem Setting wird das Modell nur auf annotierten positiven Klassen trainiert. Während der Inferenz markiert ein Out-of-Distribution (OOD)-Erkennungsmechanismus Pixel mit niedriger maximaler vorhergesagter Wahrscheinlichkeit als Hintergrund. Die Autoren erweitern dies, indem sie Wahrscheinlichkeiten auf einer gewählten Hierarchieebene (z. B. Top-Level-Knoten) aggregieren, um die OOD-Schwelle zu bestimmen, was eine robustere Hintergrunderkennung ermöglicht, ohne die Leistung bei positiven Klassen zu verschlechtern.

Hauptbeiträge

Neuartige Verlustfunktionen: Einführung zweier baumbasierter semantischer Verluste (Wasserstein-basiert und baum-gewichtete CE), die hierarchische Label-Beziehungen während der Optimierung explizit kodieren.
Vielseitiger Rahmen: Demonstration, wie diese Verluste sowohl für dicht supervidierte Ganzhirn-Parzellierung (WBP) als auch für spärlich supervidierte hyperspektrale Bildgebung in der Neurochirurgie (HSI) anwendbar sind, einschließlich der Integration mit OOD-Erkennung zur Hintergrundidentifikation.
Leistungsverbesserung: Empirische Belege zeigen, dass die Einbeziehung von Experten definierten oder anatomisch abgeleiteten Label-Hierarchien zu einer semantisch sinnvolleren Supervision und einer verbesserten Segmentierungsleistung im Vergleich zu Standard-Baselines führt.
Robustheit bei kleinen Strukturen: Spezifische Verbesserungen wurden bei kleinen anatomischen Strukturen mit begrenzten Annotationen beobachtet, bei denen Standard-Baselines oft Schwierigkeiten haben.

Experimentelle Ergebnisse
Die Autoren bewerteten ihren Ansatz an zwei unterschiedlichen Aufgaben:

Ganzhirn-Parzellierung (WBP): Verwendung von 3D-T1-gewichteten MRT-Daten aus drei Datensätzen (Mindboggle42, AOMIC, IXI) mit vollständiger Supervision.
- Ergebnisse: Der Wasserstein-basierte kombinierte Verlust ( $\mathcal{L}_{wass+seg}$ ) schnitt konsistent besser ab als die Standard-nnU-Net-Baseline (Dice + CE) und der Generalisierte Wasserstein-Dice-Verlust. Die Verbesserungen waren für Metriken im Zusammenhang mit kleinen Strukturen (Dicesmall, NSDsmall) und Oberflächenüberlappung (NSD) am signifikantesten. Die statistische Analyse bestätigte signifikante Gewinne bei NSD und Metriken für kleine Strukturen in fast allen Trainings-Test-Szenarien.
Neurochirurgische hyperspektrale Bildgebung (HSI): Verwendung spärlicher, nur positiver Annotationen aus intraoperativen chirurgischen Videos.
- Ergebnisse: Der vorgeschlagene Rahmen verbesserte die Leistung bei Top-Level-Klassen (z. B. Unterscheidung von normalem vs. abnormalen Gewebe) im Vergleich zu Baselines, die nur auf Blattknoten trainiert wurden. Die hierarchie-gewichtete Top-Level-Supervision ( $\mathcal{L}_{twce+seg}$ mit spezifischen Kantengewichten) zeigte im spärlichen Setting starke Unterstützung. Eine Analyse der Konfusionsmatrix ergab, dass die vorgeschlagenen Methoden semantisch unplausible Fehler reduzierten (z. B. Verwechslung von normalem und abnormalen Gewebe) im Vergleich zur Baseline.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Nutzung der Struktur des Label-Raums als Informationsquelle für reiche Segmentierungsaufgaben entscheidend ist, insbesondere beim Umgang mit subtilen Klassenvariationen und spärlichen Daten. Durch die Abkehr von einer einheitlichen Fehlerbestrafung ermöglichen die vorgeschlagenen Methoden Modellen, „bessere Fehler" zu machen (d. h. Fehler, die semantisch näher an der Wahrheit liegen). Die Autoren betonen, dass ihr Ansatz Standard-Baselines verbessert, ohne architektonische Änderungen an den Segmentierungsnetzwerken (z. B. nnU-Net oder U-Net) zu erfordern, was ihn zu einer praktischen Erweiterung für bestehende Pipelines macht. Die Arbeit schließt eine Lücke in der chirurgischen Bildgebung, wo eine solche hierarchische semantische Supervision bisher unerforscht war, und bietet eine skalierbare Lösung für das Training an großen, spärlich annotierten Datensätzen.