Quality versus quantity of training datasets for artificial intelligence-based whole liver segmentation

Die Studie zeigt, dass für die KI-gestützte Segmentierung der gesamten Leber hoch kuratierte Datensätze mit deutlich weniger Scans eine vergleichbare Leistung erzielen wie um eine Größenordnung größere, gemischt kuratierte Datensätze, wobei größere Mengen jedoch die Generalisierbarkeit verbessern können.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einen perfekten Kochkurs für die Zubereitung von Linseneintopf (in unserem Fall: die genaue Darstellung der Leber auf medizinischen Bildern) erstellen. Die große Frage lautet: Brauchen Sie eine Handvoll Rezepte von einem Michelin-Stern-Koch (hohe Qualität, wenig Menge) oder eine riesige Schüssel mit tausenden von Rezepten von Hobbyköchen, die nicht alle perfekt sind (geringere Qualität, aber große Menge)?

Genau darum geht es in dieser Studie. Hier ist die Geschichte, einfach erklärt:

Das Experiment: Der große Kochwettbewerb

Die Forscher hatten Zugriff auf fast 3.100 Bilder von Bauch-CT-Scans. Auf diesen Bildern war die Leber bereits von Experten nachgezeichnet (wie ein Umriss). Sie teilten diese Bilder in zwei Lager auf:

1. Das "Premium-Lager" (Hohe Qualität): Hier waren nur 244 Bilder. Diese waren von absoluten Top-Experten mit größter Sorgfalt und Präzision bearbeitet worden. Kein Fehler, keine Ungenauigkeit.
2. Das "Massen-Lager" (Hohe Menge): Hier waren fast 2.800 Bilder. Diese kamen von verschiedenen Quellen und waren vielleicht nicht jedes einzelne zu 100 % perfekt, aber es gab einfach viel mehr davon.

Dann ließen sie einen künstlichen Intelligenz-Koch (ein KI-Modell namens 3D nnU-Net) mit diesen beiden Lagern trainieren, um zu sehen, welcher Ansatz besser funktioniert.

Die Ergebnisse: Der Überraschungssieg

Das Ergebnis war faszinierend und ein wenig überraschend:

• Beim genauen Vergleich (3D-Messung): Der KI-Koch, der nur mit den 244 Premium-Bildern trainiert wurde, war genauso gut wie der Koch, der mit den 2.800 Massen-Bildern trainiert wurde. Sie schnitten fast identisch ab.

  • Die Analogie: Es ist, als würde ein Schüler, der nur 50 Seiten aus einem perfekten Lehrbuch gelernt hat, in einer Prüfung genauso gut bestehen wie ein Schüler, der 500 Seiten aus verschiedenen, etwas unordentlichen Büchern gelesen hat.

• Der Test mit Fremden (Generalisierung): Als die KI dann mit völlig neuen, fremden Bildern getestet wurde (die sie noch nie gesehen hatte), zeigte sich ein kleiner Unterschied. Der Koch mit den vielen Bildern war hier ein winziges bisschen robuster und flexibler. Er konnte sich besser auf neue Situationen einstellen, weil er so viele verschiedene "Rezepte" gesehen hatte.

Was bedeutet das für uns?

Die Forscher kamen zu einem klaren Fazit, das man sich wie eine Waage vorstellen kann:

1. Qualität ist König: Wenn Sie eine sehr präzise Aufgabe haben, müssen Sie nicht unbedingt zehntausende Daten sammeln. Eine kleine, aber extrem saubere und gut bearbeitete Menge reicht oft völlig aus, um ein hervorragendes Ergebnis zu erzielen.
2. Menge hat ihren Preis: Wenn es darum geht, dass die KI auch in völlig neuen, unbekannten Situationen (wie bei anderen Krankenhäusern) gut funktioniert, helfen große Mengen an Daten, auch wenn sie nicht perfekt sind. Sie geben der KI mehr "Erfahrungswerte".

Zusammenfassend:
Es gibt keine einfache Antwort auf die Frage "Qualität oder Quantität?". Es ist wie beim Reisen: Wenn Sie nur eine Stadt besuchen wollen, reicht ein guter Reiseführer (Qualität). Wenn Sie aber die ganze Welt bereisen wollen, brauchen Sie vielleicht eine riesige Bibliothek an Reiseführern, auch wenn einige davon veraltet sind (Quantität). Für die KI-gestützte Leber-Untersuchung hat sich gezeigt, dass man oft mit weniger, aber besserem Material genauso weit kommt wie mit riesigen Datenbergen – es kommt ganz darauf an, was das genaue Ziel ist.

Technische Zusammenfassung

Technische Zusammenfassung: Qualität versus Quantität von Trainingsdatensätzen für die KI-gestützte Segmentierung der gesamten Leber

1. Problemstellung

Die segmentierungsbasierte Bildanalyse mittels Künstlicher Intelligenz (KI) bietet großes Potenzial für medizinische Anwendungen, steht jedoch vor der Herausforderung, dass hochwertige, kuratierte Datensätze oft begrenzt verfügbar sind. Dies wirft eine fundamentale Frage für das Training von Modellen auf: Ist es effektiver, eine große Menge an Daten mit gemischter Kuratierungsqualität zu verwenden oder eine kleinere Menge an Daten mit extrem hoher Kuratierungsqualität? Die Studie zielt darauf ab, den Einfluss von Annotationsqualität versus Datenmenge auf die Leistung von KI-Modellen zur Segmentierung der gesamten Leber zu quantifizieren.

2. Methodik

Die Forscher nutzten einen umfangreichen Datensatz von 3.089 abdominalen Computertomographie (CT)-Scans mit manuell erstellten Konturen der gesamten Leber. Die Daten stammen von zwei Quellen:

• Dem MD Anderson Cancer Center (MDA).
• Dem MICCAI-Challenge-Datensatz.

Datenaufteilung und Experimentalsetup:

• Testdaten: 249 Scans wurden für den Test zurückbehalten.
• Externe Validierung: Davon wurden 30 Scans (aus dem MICCAI-Challenge-Datensatz) speziell für die externe Validierung reserviert.
• Trainingsgruppen: Die verbleibenden Daten wurden in zwei Hauptgruppen unterteilt:
  1. Hoch kuratierte Gruppe (Highly Curated): Daten mit sehr strengen Annotationsstandards.
  2. Gemischt kuratierte Gruppe (Mixed Curation): Daten mit variierenden Annotationsstandards.
• Modelltraining: Aus diesen Gruppen wurden zufällig Stichproben unterschiedlicher Größen gezogen, um 3D nnU-Net-Segmentierungsmodelle zu trainieren.

Bewertungsmetriken:
Die Leistung der Modelle wurde anhand folgender Metriken evaluiert:

• Dice-Similarity-Koeffizient (DSC) für das 3D-Volumen.
• Surface DSC mit 2-mm-Rand (SD 2mm).
• 95. Perzentil der Hausdorff-Distanz (HD95).
• 2D-DSC für axiale Schnittbilder (Slice DSC).

3. Schlüsselbeiträge und Ergebnisse

Die Studie liefert vergleichende Analysen zwischen Modellen, die mit kleinen, hochwertigen Datensätzen und solchen, die mit großen, gemischten Datensätzen trainiert wurden.

• Äquivalenz bei 3D-Volumenmetriken:
  Das Modell, das mit der hoch kuratierten Gruppe (244 Scans) trainiert wurde, zeigte eine statistisch nicht signifikant unterschiedliche Leistung im Vergleich zum Modell, das mit der gemischt kuratierten Gruppe (2.840 Scans – also eine Größenordnung mehr) trainiert wurde.

  • DSC: 0,971 (beide Modelle).
  • SD 2mm: 0,958 (beide Modelle).
  • HD95: 2,98 mm (hoch kuratiert) vs. 2,87 mm (gemischt kuratiert).
  • Statistische Signifikanz: p > 0,999 für alle genannten Metriken.

• Überlegenheit bei Generalisierbarkeit und lokalen Details:
  Auf den 30 externen Validierungsdaten zeigte sich ein anderer Trend. Das Modell mit der größeren, gemischt kuratierten Gruppe (710 Scans) schnitt in der 2D-Auswertung (Slice DSC) signifikant besser ab als das hoch kuratierte Modell (244 Scans).

  • Slice DSC (gemischt): 0,929.
  • Slice DSC (hoch kuratiert): 0,923.
  • Statistische Signifikanz: p = 0,012.

4. Signifikanz und Fazit

Die Studie kommt zu dem Schluss, dass der Trade-off zwischen Datenqualität und -menge komplex und zielabhängig ist:

1. Qualität reicht für Basisleistung: Hoch kuratierte Datensätze können Modelle liefern, die in Bezug auf die globale 3D-Überlappung (DSC) und Oberflächenmetriken genauso gut performen wie Modelle, die mit Datensätzen trainiert wurden, die um den Faktor 10 größer sind.
2. Quantität fördert Generalisierbarkeit: Größere, gemischt kuratierte Datensätze bieten Vorteile bei der Generalisierbarkeit auf externe Daten und bei der Verbesserung lokaler Detailgenauigkeiten (wie in den Slice-DSC-Metriken sichtbar).

Technische Implikation: Für Anwendungen, bei denen die globale Volumenberechnung im Vordergrund steht, kann eine intensive Kuratierung eines kleineren Datensatzes effizienter sein. Für Anwendungen, die eine hohe Robustheit gegenüber variierenden Datenquellen oder eine präzise lokale Konturierung erfordern, kann die Nutzung größerer, weniger streng kurierter Datensätze vorteilhafter sein.