In search of truth: Evaluating concordance of AI-based anatomy segmentation models

Diese Arbeit stellt ein praktisches Framework vor, das durch die Harmonisierung von Segmentierungsergebnissen und die Bereitstellung von Visualisierungstools die Evaluierung der Übereinstimmung und die Markierung von Abweichungen verschiedener KI-basierter Anatomie-Segmentierungsmodelle auf CT-Daten ohne Ground-Truth-Annotationen ermöglicht.

Das Wesentliche

🏥 Die große Suche nach Uneinigkeit: Wer stimmt nicht mit der Gruppe überein?

Stell dir vor, du hast einen riesigen Berg von Röntgenbildern (Tausende davon!) von Lungenkrebs-Patienten. Du möchtest wissen: Wie groß sind die Organe? Wie sehen die Rippen aus? Aber es gibt ein riesiges Problem: Niemand hat diese Bilder von Hand mit genauen Umrandungen versehen (das wäre wie das Ausmalen von Millionen Bildern – viel zu teuer und langsam).

Früher war man hier handlungsunfähig. Aber jetzt gibt es Künstliche Intelligenz (KI), die das Ausmalen automatisch übernimmt. Das Problem: Es gibt nicht eine KI, sondern viele verschiedene Modelle (wie TotalSegmentator, MOOSE, CADS usw.). Sie alle versuchen, diese Umrandungen automatisch zu ziehen, aber sie stimmen nicht immer miteinander überein.

Genau das haben die Forscher in diesem Papier gelöst. Sie haben eine neue Methode entwickelt, um die KIs gegeneinander zu vergleichen, nicht um einen "Sieger" zu küren, sondern um herauszufinden, wo sie sich nicht einig sind. Wo die KIs streiten, müssen menschliche Experten hinschauen.

🛠️ Das Werkzeug: Der "Einheits-Übersetzer"

Stell dir vor, die verschiedenen KIs sprechen alle unterschiedliche Sprachen und benutzen unterschiedliche Namen für die gleichen Dinge.

• KI A nennt die Lunge "Lunge".
• KI B nennt sie "Pulmo".
• KI C malt die Rippe links blau, die rechte rot.

Das macht einen Vergleich unmöglich. Die Forscher haben also einen digitalen Übersetzer gebaut.

1. Harmonisierung: Sie haben alle Ergebnisse der KIs in ein einheitliches Format (wie eine universelle Sprache) übersetzt. Jetzt nennt jede KI die Lunge gleich und benutzt die gleiche Farbe.
2. Der Split-Screen: Sie haben eine neue Software-Erweiterung für 3D Slicer und einen Web-Viewer gebaut. Damit kann man sich alle sechs KI-Ergebnisse für ein und dasselbe Bild gleichzeitig nebeneinander ansehen. Stell dir das vor wie einen Split-Screen im Fernsehen oder eine Vergleichs-Test-Anordnung im Supermarkt, bei der man sechs verschiedene Marken von Cornflakes direkt nebeneinander hält, um sie sofort vergleichen zu können.

🏆 Der Vergleich: 6 KIs gegen 24 Körperteile

Die Forscher haben 18 Röntgenbilder genommen und alle 6 KIs darauf losgelassen. Sie haben sich auf 24 wichtige Teile konzentriert: Lungen, Herz, Rippen und Wirbel.

Hier ist, was sie herausgefunden haben, mit ein paar Vergleichen:

• Die Lungen (Die Einigkeit): Hier waren sich alle KIs fast einig. Das ist wie wenn 6 verschiedene Köche alle sagen: "Der Kuchen ist rund." Da gab es kaum Streit.
• Das Herz (Der Verwirrungs-Cluster): Hier wurde es knifflig. Manche KIs malten das Herz als einen ganzen Block, andere teilten es in Kammern auf. Eine KI (CADS) malte das Herz sogar viel kleiner als die anderen, weil sie es anders definierte. Wenn man diese "Andersdenkende" herausnimmt, waren sich die anderen sehr ähnlich.
• Die Rippen und Wirbel (Die Problemkinder): Hier gab es Chaos! Vier der KIs (die alle aus demselben "Schulbuch" gelernt hatten) machten systematische Fehler.
  • Der Vergleich: Stell dir vor, du sollst eine Mauer aus Ziegeln bauen. Vier Maurer (die KIs) haben den Ziegel, der an der Ecke liegt, einfach vergessen oder mit dem Nachbarziegel verklebt. Sie sahen sich alle ähnlich, aber alle waren falsch.
  • Zwei andere KIs (MOOSE und CADS) haben die Ecken sauber gebaut. Sie waren die einzigen, die die Rippen und Wirbel korrekt getrennt haben.

🔍 Wie haben sie das ohne Musterlösung gemerkt?

Da niemand wusste, wie es wirklich aussah, haben die Forscher einen cleveren Trick angewendet: Der "Mehrheits-Check".

1. Der Konsens: Sie haben sich angesehen: Wo stimmen alle KIs überein? Das ist wahrscheinlich richtig.
2. Die Ausreißer: Wo weicht eine KI stark von der Masse ab?
   • Wenn 5 KIs sagen "Die Rippe ist hier" und eine sagt "Die Rippe ist dort", ist die Einzelne wahrscheinlich falsch.
   • Aber wenn alle 6 KIs sagen "Die Rippe ist hier", aber sie alle die Rippe falsch malen (weil sie alle denselben Fehler im Trainingsbuch hatten), dann merkt man das erst, wenn man genau hinschaut.
3. Der visuelle Check: Die Software hat automatisch die "seltsamen" Fälle markiert (wie rote Flaggen). Ein menschlicher Experte (ein Radiologe) hat sich dann nur diese wenigen roten Flaggen angesehen und bestätigt: "Ja, hier haben die KIs die Rippe mit dem Wirbel verklebt."

Wichtiger Hinweis: Dass alle KIs übereinstimmen (Konsens), bedeutet nicht automatisch, dass sie recht haben! Es bedeutet nur, dass sie sich einig sind. Eine Gruppe von KIs kann sich auch gemeinsam irren. Aber Uneinigkeit ist ein starkes Signal: Dort müssen menschliche Experten zuerst hinschauen.

🚀 Was bringt das uns?

Das Ergebnis ist wie ein Triage-System für KI-Modelle.

• Die Forscher haben gezeigt, dass man auch ohne perfekte Musterlösung herausfinden kann, wo die Modelle sich nicht einig sind.
• Sie haben herausgefunden, dass vier der populären KIs bei Knochen (Rippen/Wirbel) Fehler machen, die man vorher nicht kannte.
• Sie haben kostenlose Werkzeuge veröffentlicht, damit andere Forscher das Gleiche mit ihren eigenen Daten machen können.

Zusammenfassend:
Statt zu raten, welche KI die beste ist, haben die Forscher eine neue Art von "Frühwarnsystem" entwickelt. Dieses System vergleicht die KIs untereinander, findet die Uneinigkeiten und hilft uns, die Fälle zu identifizieren, die menschliche Aufmerksamkeit benötigen. Das ist ein großer Schritt, um KI in der Medizin sicherer und nützlicher zu machen.

Statt zu sagen "Modell X ist schlecht", geht es darum, herauszufinden, wo die Modelle DISAGREE, damit menschliche Experten wissen, wo sie zuerst hinschauen müssen.

Man kann die besten Ergebnisse erzielen, indem man:

1. Alle KIs eine gemeinsame Sprache sprechen lässt.
2. Prüft, wo die Gruppe übereinstimmt und wo nicht.
3. Intelligente Werkzeuge nutzt, um die Uneinigkeiten zu markieren und für die menschliche Überprüfung vorzuselektieren.

Andere Wissenschaftler können diese Tools nutzen, um zu bewerten, wie gut verschiedene KI-Modelle auf ihren eigenen medizinischen Daten übereinstimmen, und Bereiche der Uneinigkeit für eine genauere Inspektion zu markieren.

Sie haben ein Toolkit gebaut, das uns hilft, zu erkennen, wo KI-Modelle sich nicht einig sind, damit menschliche Experten diese Fälle priorisiert überprüfen können – und sicherstellen, dass wir bei der Automatisierung medizinischer Forschung potenzielle Fehler auffangen, bevor sie sich verbreiten.

Technische Zusammenfassung

Titel: In search of truth: Evaluating concordance of AI-based anatomy segmentation models

Verfasser: Giebeler et al. (2026)
Journal: Journal of Medical Imaging

---

1. Problemstellung

Die Verfügbarkeit großer öffentlicher Bilddatensätze (z. B. National Lung Screening Trial - NLST) bietet enorme Chancen für sekundäre Analysen und Hypothesenprüfungen. Ein zentrales Hindernis für die quantitative Auswertung dieser Daten ist jedoch der Mangel an manuellen Ground-Truth-Annotationen, die für das Training oder die Validierung von KI-Modellen erforderlich wären.
Gleichzeitig gibt es eine wachsende Zahl von KI-Modellen für die Ganzkörper-Segmentierung (z. B. TotalSegmentator, MOOSE, CADS), die ähnliche Funktionen bieten. Die Herausforderung besteht darin, diese Modelle auf Datensätzen zu bewerten, die keine Ground-Truth-Referenz besitzen. Herkömmliche Metriken wie der Dice-Similarity-Koeffizient (DSC) erfordern eine Referenzannotation, die hier fehlt. Zudem sind die Ausgabeformate und Bezeichnungen der anatomischen Strukturen zwischen den Modellen nicht standardisiert, was einen direkten Vergleich erschwert.
Das Ziel dieses Papers ist es nicht, das "beste" Modell zu finden, sondern einen Rahmen zu schaffen, wie man die Übereinstimmung (Konsens) zwischen mehreren Modellen auf großen Bilddatensätzen bewertet und Fälle identifiziert, in denen Modelle voneinander abweichen, um diese für eine priorisierte Expertenprüfung zu markieren.

2. Methodik

Die Autoren entwickelten einen praktischen Rahmenwerk (Framework) zur systematischen Bewertung und zum Vergleich von Segmentierungsmodellen ohne Ground Truth. Der Ansatz umfasst vier Hauptschritte:

• Harmonisierung der Daten:

  • Alle Segmentierungsergebnisse der sechs getesteten Open-Source-Modelle wurden in das standardisierte DICOM SEG-Format konvertiert.
  • Es wurde eine konsistente, terminologiebasierte Zuordnung der anatomischen Strukturen zu SNOMED-CT-Codes vorgenommen. Dies ermöglichte die Identifikation identischer Strukturen über verschiedene Modelle hinweg und die Zuweisung konsistenter Farben für die Visualisierung.
  • Ein Mapping-Workflow (teilweise unterstützt durch LLMs und manuelle Prüfung) verknüpfte modellspezifische Labels mit den SNOMED-CT-Termini.

• Quantitative Analyse (Konsens-basiert):

  • Da keine Ground Truth existiert, wurde ein Konsens-Segmentierung als Referenz verwendet (Voxel, die von allen Modellen für eine Struktur segmentiert wurden).
  • Zwei Metriken wurden berechnet:
    1. Dice Similarity Coefficient (DSC): Misst die räumliche Überlappung zwischen der Segmentierung eines einzelnen Modells und dem Konsens.
    2. Volumenverhältnis: Vergleicht das Volumen der einzelnen Modell-Segmentierung mit dem Konsensvolumen.
  • Strukturen, die von weniger als vier Modellen segmentiert wurden, oder solche mit unvollständiger Abdeckung in den CT-Scans (z. B. Bauchorgane in Thorax-CTs), wurden ausgeschlossen.

• Qualitative Analyse und Visualisierung:

  • Interaktive Streudiagramme: Die quantitativen Daten wurden in interaktiven Plots visualisiert, die Ausreißer (geringe Übereinstimmung) sofort sichtbar machen. Klickbare Punkte öffnen direkt die entsprechenden Scans in einem Viewer.
  • OHIF Viewer: Ein webbasiertes Tool zur schnellen, plattformunabhängigen Inspektion der DICOM SEG-Dateien.
  • 3D Slicer Extension (CrossSegmentationExplorer): Eine neu entwickelte Erweiterung für 3D Slicer, die einen synchronisierten, seitenvergleichenen Blick auf mehrere Segmentierungen desselben Bildvolumens ermöglicht. Dies erlaubt eine detaillierte, schichtweise Inspektion von Abweichungen.

• Datensatz:

  • Ausgewertet wurden 18 CT-Serien von 4 Patienten aus dem NLST-Datensatz.
  • Getestet wurden 6 Modelle: TotalSegmentator (v1.5 und v2.6), Auto3DSeg, MOOSE, MultiTalent und CADS.
  • Fokus lag auf 24 anatomischen Strukturen (Lungenlappen, Herz, Rippen, Wirbel, Brustbein).

3. Wichtige Beiträge

• Standardisierungs-Framework: Ein Workflow zur Harmonisierung heterogener KI-Ausgaben in ein interoperables DICOM SEG-Format mit standardisierten SNOMED-CT-Termini.
• Open-Source-Tools: Entwicklung und Veröffentlichung von:
  • Harmonisierungsskripten.
  • Der CrossSegmentationExplorer-Erweiterung für 3D Slicer.
  • Interaktiven Web-Plots zur Datenexploration.
• Konsens-basierte Evaluierungsstrategie: Eine Methodik zur Bewertung der Übereinstimmung zwischen Modellen ohne Ground Truth, die Uneinigkeiten für eine priorisierte menschliche Prüfung markiert. Hinweis: Ein Konsens zwischen Modellen garantiert nicht die Richtigkeit, sondern zeigt Bereiche der Übereinstimmung im Gegensatz zu Bereichen, die weiterer Überprüfung bedürfen.
• Öffentliche Verfügbarkeit: Alle Daten, Skripte und Ergebnisse wurden öffentlich über das Imaging Data Commons (IDC) und GitHub bereitgestellt.

4. Ergebnisse

Die Analyse deckte signifikante Unterschiede in der Leistung der Modelle auf:

• Lungen: Zeigten eine hervorragende Übereinstimmung (DSC > 95%, Volumenüberlappung > 90%) über alle Modelle hinweg.
• Herz: Zeigte moderate Übereinstimmung. Ein Hauptgrund war eine unterschiedliche anatomische Definition: CADS segmentierte das Herz als kompakten Körper (ohne große Gefäße), während andere Modelle Vorhöfe und Gefäße einschlossen. Nach Ausschluss von CADS verbesserte sich die Übereinstimmung der verbleibenden Modelle signifikant (DSC > 95%).
• Rippen und Wirbel (T2–T10): Zeigten die schlechteste Übereinstimmung (DSC oft < 80%, teilweise nahe 0%).
  • Fehleranalyse: Vier Modelle (TotalSegmentator 1.5/2.6, Auto3DSeg, MultiTalent), die alle auf demselben Trainingsdatensatz basierten, zeigten systematische Fehler:
    • Falsche Zuordnung von Labels (z. B. Wirbel T7 als T8).
    • Verschmelzung benachbarter Wirbel unter einem Label.
    • Einbeziehung von Nachbarnstrukturen (z. B. Teile der 7. Rippe in der 6. Rippe).
    • Lücken an den Rippen-Wirbel-Gelenken.
  • Die Modelle MOOSE und CADS (die nicht auf dem TotalSegmentator-Datensatz trainiert wurden) zeigten deutlich weniger Fehler und eine hohe Übereinstimmung untereinander (DSC > 90% für Wirbel).
• Sternum: Moderate Übereinstimmung, wobei CADS wiederholt eine abweichende Form des Processus xiphoideus aufwies.

5. Bedeutung und Fazit

Das Paper demonstriert, dass es möglich ist, die Qualität von KI-Segmentierungsmodellen auf großen Datensätzen ohne Ground-Truth-Annotationen effektiv zu bewerten, indem man sich auf die Analyse der Übereinstimmung konzentriert.

• Praktischer Nutzen: Der Ansatz dient als Triage-Tool, das es ermöglicht, problematische Modelle oder spezifische anatomische Regionen, in denen Modelle voneinander abweichen, schnell zu identifizieren. Dies ist entscheidend für fundierte Entscheidungen über die Eignung von Modellen für die weitere Verarbeitung ganzer Kohorten (z. B. des gesamten NLST-Datensatzes).
• Skalierbarkeit: Das Framework ist datensatz- und modellagnostisch und kann auf andere Modalitäten (MRI, PET) und Datensätze übertragen werden.
• Limitationen: Der Ansatz basiert auf Konsens; wenn alle Modelle denselben Fehler machen (z. B. durch gemeinsame Trainingsdaten), wird dieser nicht erkannt. Zudem ist die Stichprobengröße (18 Scans) noch klein für eine endgültige Generalisierung.
• Zukunft: Die Autoren planen, die Studie auf einen repräsentativeren Teil des NLST-Datensatzes zu erweitern und fortgeschrittene Konsens-Methoden (wie STAPLE) zu integrieren, um die konsensbasierte Qualitätsbewertung weiter zu verfeinern und die robusteste Segmentierung für die öffentliche Bereitstellung im Imaging Data Commons zu bestimmen.

Zusammenfassend liefert die Arbeit ein essentielles "Toolkit" für die medizinische Bildanalyse-Community, um den Einsatz von KI-Modellen in der klinischen Forschung und Sekundäranalyse fundierter und sicherer zu gestalten. Die Inter-Modell-Konsensanalyse erweist sich als eine praktikable und effektive Strategie für das Qualitätsmanagement in der medizinischen Bildgebung, die es Forschern ermöglicht, Diskrepanzen zu markieren und für eine Expertenprüfung zu priorisieren.