Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Technisches Resümee: Kohortenübergreifende Evaluierung von Schilddrüsen-Ultraschall-Deep-Learning über verschiedene Endpunktdefinitionen hinweg

Problemstellung
Die Leistungsfähigkeit von Modellen der künstlichen Intelligen (KI) zur Interpretation von Schilddrüsen-Ultraschallbildern hängt stark von den Kohortencharakteristika und dem spezifisch verwendeten Evaluierungsendpunkt ab. Eine kritische Herausforderung auf diesem Gebiet ist die Austauschbarkeit verschiedener diagnostischer Endpunkte: die postoperative Pathologie (ein definitives diagnostisches Ergebnis) gegenüber radiologisch zugewiesenen Risikokategorien wie dem American College of Radiology Thyroid Imaging Reporting and Data System (TI-RADS) (ein managementorientierter Verdachtsscore). Diese Endpunkte repräsentieren unterschiedliche Stadien des diagnostischen Pfades und sind nicht austauschbar. Darüber hinaus generalisieren Deep-Learning-Modelle, die auf einem Datensatz trainiert wurden, oft nicht auf unabhängige Kohorten, da Verschiebungen in der Population, der Ausrüstung, den Akquisitionsprotokollen und den Label-Definitionen auftreten. Diese Studie adressiert die Notwendigkeit, Klassifikatoren für Schilddrüsen-Ultraschall zu benchmarken, während sie gleichzeitig die Evaluierung gegen Malignitäts-Ergebnisse explizit von der Übereinstimmung mit TI-RADS-basierten Risikokategorien trennt und dabei eine bildbasierte Datenleckage (Data Leakage) kontrolliert.

Methodik
Die Studie verwendete eine durch Duplikate kontrollierte Benchmarking-Pipeline auf Bildebene unter Verwendung einer festen Analyseumgebung (Python 3.10, PyTorch 2.5.1).

• Datensätze:

  • Entwicklungsarchiv: Eine öffentliche Mendeley Data-Veröffentlichung mit 387 B-Mode-Ultraschallbildern und 1.332 Feinnadelaspirations-Zytologie-Blöcken (FNA), die aus 385 Quellfällen stammen. Die Labels waren binär (Papilläres Schilddrüsenkarzinom [PTC] vs. Benigne) basierend auf der postoperativen Diagnose. Patienten-Identifikatoren waren nicht verfügbar, was verifizierte Patienten-Ebenen-Splits verhinderte.
  • Externe Kohorten: Zwei eingefrorene Modelle wurden ohne Retraining oder Schwellenwertanpassung evaluiert auf:
    1. TN3K: Ein Teilbereich von 1.228 Bildern mit datensatzseitig bereitgestellten benignen/malignen Labels.
    2. DDTI: 637 Bilder, die gegen einen binären Endpunkt evaluiert wurden, der aus radiologischen TI-RADS-Kategorien abgeleitet wurde (Gruppierung von Niedrigverdacht TI-RADS 2–3 vs. Hochverdacht TI-RADS 4–5).

• Datenvorverarbeitung und Kontrolle der Datenleckage:

  • Duplikat-Kontrolle: Bilder wurden mittels MD5-Hashes (exakte Duplikate) und Perceptual Hashes (nahezu identische Bilder) gruppiert. Diese Gruppen wurden innerhalb einzelner Partitionen (Train, Validierung, Test) gehalten, um eine bildbasierte Datenleckage zu verhindern.
  • Vorverarbeitung: Bilder wurden auf 224×224 Pixel skaliert. Ein exploratives Experiment testete das automatische texturbasierte Region-of-Interest (ROI)-Cropping zur Unterdrückung peripherer Grenzflächenartefakte.

• Modellarchitektur und Training:

  • Es wurden fünf Backbone-Architekturen trainiert: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50 und DenseNet-121.
  • Die Modelle wurden mit ImageNet-Gewichten initialisiert und mittels Class-Weighted Binary Cross-Entropy Loss unter Verwendung der AdamW-Optimierung feinjustiert.
  • Ein Ensemble wurde durch Mittelung der Sigmoid-Wahrscheinlichkeiten von ConvNeXt-Small, EfficientNet-B3, Swin-Tiny und ResNet-50 konstruiert.
  • Die Kalibrierung wurde mittels Temperature Scaling, Brier Score und Expected Calibration Error (ECE) bewertet.

• Evaluierungsstrategie:

  • Die Leistung wurde mittels AUROC, AUPRC, Genauigkeit (Accuracy), Sensitivität, Spezifität und F1-Score gemessen.
  • Konfidenzintervalle wurden über nicht-parametrisches Bootstrap-Resampling (2.000 Replikate) generiert.
  • Die Zytologie- und Ultraschallmodalitäten wurden als separate, nicht gepaarte Bildverteilungen analysiert; es wurde keine patienteninterne Vergleichsgenauigkeit geschätzt.

Wesentliche Beiträge

1. Trennung der Endpunkt-Provenienz: Die Studie unterscheidet explizit zwischen der Bewertung der Fähigkeit eines Modells, Malignität vorherzusagen (gegenüber Pathologie-Labels) und dessen Übereinstimmung mit der radiologischen Risikostratifizierung (TI-RADS).
2. Duplikat-kontrolliertes Benchmarking: Implementierung von exaktem und Perceptual Hashing zur Vermehen von bildbasierter Datenleckage in Abwesenheit von Patienten-Identifikatoren, ein häufiges Problem in öffentlichen medizinischen Bildarchiven.
3. Cross-Kohorten-Frozen-Evaluierung: Evaluierung eingefrorener Modelle auf zwei distinkten externen Kohorten (TN3K und DDTI) ohne Retraining, was verdeutlicht, wie die Leistung je nach Akquisition und Endpunktdefinition variiert.
4. Deskriptiver Modalitätskontrast: Ein nicht geparierter Vergleich der Ultraschall- versus Zytologie-Leistung innerhalb des Entwicklungsarchivs, wobei klargestellt wird, dass solche Vergleiche Bildverteilungen beschreiben und keine klinische Überlegenheit etablieren.

Ergebnisse

• Interne Leistung (Entwicklungsarchiv):

  • Zytologie: Das ConvNeXt-Small Modell erreichte eine AUROC von 0,988 (95 % KI 0,976–0,998), und das Ensemble erreichte 0,986.
  • Ultraschall: Das EfficientNet-B3 Modell erreichte eine AUROC von 0,745 (95 % KI 0,612–0,865), und das Ensemble erreichte 0,733.
  • ROI-Cropping: Automatisches ROI-Cropping verbesserte die AUROC des Ultraschall-Ensembles von 0,745 auf 0,817.
  • Kalibrierung: Temperature Scaling verbesserte die Zuverlässigkeit der Wahrscheinlichkeiten (ECE reduzierte sich von 0,032 auf 0,014), ohne die rangbasierten Metriken zu verändern.

• Externe Kohorten-Evaluierung (eingefrorene Modelle):

  • TN3K (Malignitäts-Labels): Das Ultraschall-Ensemble erreichte eine AUROC von 0,825, und ResNet-50 erreichte 0,888. Diese Ergebnisse zeigen eine gute Diskriminationsfähigkeit gegenüber den im Datensatz verteilten benignen/malignen Labels.
  • DDTI (TI-RADS-Endpunkt): Gegenüber dem TI-RADS-basierten Endpunkt erreichte das Ensemble eine AUROC von 0,477 und ResNet-50 erreichte 0,437. Dies deutet auf eine geringe bis keine Übereinstimmung mit der TI-RADS-Kategorisierung hin.
  • Interpretation: Die Autoren merken an, dass der Kontrast zwischen den TN3K- und DDTI-Ergebnissen nicht allein auf die Labeldefinition zurückgeführt werden kann, da sich gleichzeitig Kohorte, Ausrüstung, Akquisition und Krankheitsspektrum änderten.

• Modalitätsvergleich: Eine deskriptive, nicht gepaarte Bootstrap-Analyse zeigte eine Differenz der Zytologie-minus-Ultraschall-AUROC von 0,247 (95 % KI 0,120–0,384). Die Autoren betonen, dass dies nicht beweist, dass die Zytologie klinisch überlegen ist, da die Bildsätze nicht patientengematcht waren.

Signifikanz und Behauptungen
Die Arbeit behauptet, dass eingefrorene Schilddrüsen-Ultraschallmodelle über Kohorten hinweg unterschiedlich performen, die sich in Akquisition und Endpunktdefinition unterscheiden. Der starke Kontrast zwischen der hohen Leistung bei TN3K (Malignitäts-Labels) und der Leistung nahe dem Zufallsniveau bei DDTI (TI-RADS-Labels) unterstreicht, dass diese Endpunkte nicht austauschbar sind.

Die Studie stützt drei primäre Implikationen für die zukünftige Forschung:

1. Explizite Berichterstattung: Die Provenienz der Labels (z. B. postoperative Diagnose vs. TI-RADS) muss explizit angegeben werden.
2. Vorsichtige Interpretation: Kontraste in der Cross-Kohorten-Leistung sollten vorsichtig interpretiert werden, da sie das Zusammenwirken von Verteilungsverschiebungen und Endpunktdefinitionen widerspiegeln und nicht einen einzelnen kausalen Faktor.
3. Validierung auf Patientenebene: Zukünftige Studien benötigen eine externe Validierung auf Patientenebene gegen einen klinisch angemessenen Referenzstandard, um die Transportierbarkeit sicherzustellen.

Die Autoren schließen bescheiden, dass ihre Ergebnisse die Notwendigkeit verifizierter Splits auf Patientenebene und konsistenter Beschreibungen von Referenzstandards unterstützen, anstatt eine definitive Lösung für das Generalisierungsproblem in der Schilddrüsen-KI zu beanspruchen. Die Studie validiert keine Malignitätsdiagnose auf DDTI, da der TI-RADS-Endpunkt kein Malignitäts-Referenzstandard ist.