Cross-cohort evaluation of thyroid ultrasound deep learning across different outcome definitions: a duplicate-controlled benchmark

Technische Samenvatting: Cross-cohort Evaluatie van Deep Learning voor Schildklier-echografie over Verschillende Uitkomstdefinities

Probleemstelling
De prestaties van kunstmatige intelligentie (AI)-modellen voor de interpretatie van schildklier-echografie zijn sterk afhankelijk van de kenmerken van de cohort en de specifieke gebruikte evaluatie-eindpunt. Een cruciale uitdaging in het vakgebied is de uitwisselbaarheid van verschillende diagnostische eindpunten: postoperatieve pathologie (een definitieve diagnostische uitkomst) versus door radiologen toegewezen risicocategorieën zoals het American College of Radiology Thyroid Imaging Reporting and Data System (TI-RADS) (een op management gerichte verdenkingsscore). Deze eindpunten vertegenwoordigen verschillende stadia in het diagnostische traject en zijn niet uitwisselbaar. Bovendien falen deep learning-modellen die getraind zijn op één dataset vaak bij het generaliseren naar onafhankelijke cohorten vanwege verschuivingen in populatie, apparatuur, acquisitieprotocollen en labeldefinities. Deze studie adresseert de noodzaak om thyroid echografie-classificatoren te benchmarken, terwijl er expliciet onderscheid wordt gemaakt tussen evaluatie tegen maligniteit-uitkomsten en overeenstemming met TI-RADS-afgeleide risicocategorieën, waarbij tegelijkertijd controle wordt uitgeoefend op image-level data leakage.

Methodologie
De studie maakte gebruik van een duplicate-gecontroleerde, image-level benchmarking pipeline met een vaste analyse-omgeving (Python 3.10, PyTorch 2.5.1).

• Datasets:

  • Development Archive: Een publieke Mendeley Data release met 387 B-mode echografiebeelden en 1.332 fine-needle aspiration (FNA) cytology blokken afkomstig van 385 brongevallen. De labels waren binair (Papillary Thyroid Carcinoma [PTC] vs. Benigne) gebaseerd op de postoperatieve diagnose. Patiënt-niveau identificatoren waren niet beschikbaar, wat een geverifieerde patiënt-niveau split verhinderde.
  • Externe Cohorten: Twee bevroren modellen werden geëvalueerd zonder hertraining of drempelwaarde-aanpassing op:
    1. TN3K: Een subset van 1.228 beelden met door de dataset geleverde benigne/maligne labels.
    2. DDTI: 637 beelden geëvalueerd tegen een binair eindpunt afgeleid van radiologische TI-RADS categorieën (groepering van lage verdenking TI-RADS 2–3 vs. hoge verdenking TI-RADS 4–5).

• Data Preprocessing en Leakage Controle:

  • Duplicate Control: Beelden werden gegroepeerd met behulp van MD5-hashes (exacte duplicaten) en perceptuele hashes (bijna identieke beelden). Deze groepen werden binnen een enkele partitie (train, validatie, test) gehouden om image-level data leakage te voorkomen.
  • Preprocessing: Beelden werden herformaat naar 224×224 pixels. Een exploratief experiment testte automatische textuur-gebaseerde Region of Interest (ROI) cropping om perifere interface-artefacten te onderdrukken.

• Model Architectuur en Training:

  • Vijf backbone architecturen werden getraind: ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, ResNet-50, en DenseNet-121.
  • Modellen werden geïnitialiseerd met ImageNet gewichten en gefinetuned met class-weighted binary cross-entropy loss met AdamW optimalisatie.
  • Een ensemble werd geconstrueerd door het middelen van sigmoid waarschijnlijkheden van ConvNeXt-Small, EfficientNet-B3, Swin-Tiny, en ResNet-50.
  • Kalibratie werd beoordeeld met behulp van temperature scaling, Brier score, en Expected Calibration Error (ECE).

• Evaluatiestrategie:

  • Prestaties werden gemeten met behulp van AUROC, AUPRC, accuratesse, sensitiviteit, specificiteit, en F1-score.
  • Betrouwbaarheidsintervallen werden gegenereerd via non-parametrische bootstrap resampling (2.000 replicaten).
  • De cytology en echografie modaliteiten werden geanalyseerd als afzonderlijke, niet-gepaarde beeldverdelingen; er werd geen binnen-patiënt vergelijkbare nauwkeurigheid geschat.

Belangrijkste Bijdragen

1. Scheiding van Eindpunt-provenance: De studie maakt expliciet onderscheid tussen het evalueren van een model's vermogen om maligniteit te voorspellen (tegen pathologie-labels) en de overeenstemming met radiologische risicostratificatie (TI-RADS).
2. Duplicate-gecontroleerde Benchmarking: Implementatie van exacte en perceptuele hashing om image-level data leakage te voorkomen in afwezigheid van patiënt-niveau identificatoren, een veelvoorkomend probleem in publieke medische beeldarchieven.
3. Cross-Cohort Frozen Evaluatie: Evaluatie van bevroren modellen op twee verschillende externe cohorten (TN3K en DDTI) zonder hertraining, wat benadrukt hoe prestaties variëren op basis van acquisitie en eindpuntdefinitie.
4. Descriptieve Modality Contrast: Een niet-gepaarde vergelijking van echografie versus cytology prestaties binnen het development archive, waarbij wordt verduidelijkt dat dergelijke vergelijkingen beeldverdelingen beschrijven in plaats van klinische superioriteit vast te stellen.

Resultaten

• Interne Prestaties (Development Archive):

  • Cytology: Het ConvNeXt-Small model bereikte een AUROC van 0.988 (95% CI 0.976–0.998), en het ensemble bereikte 0.986.
  • Ultrasound: Het EfficientNet-B3 model bereikte een AUROC van 0.745 (95% CI 0.612–0.865), en het ensemble bereikte 0.733.
  • ROI Cropping: Automatische ROI cropping verbeterde de ultrasound ensemble AUROC van 0.745 naar 0.817.
  • Kalibratie: Temperature scaling verbeterde de betrouwbaarheid van de waarschijnlijkheid (ECE gereduceerd van 0.032 naar 0.014) zonder de rangorde-gebaseerde metrieken te wijzigen.

• Externe Cohort Evaluatie (Bevroren Modellen):

  • TN3K (Malignancy Labels): Het ultrasound ensemble bereikte een AUROC van 0.825, en ResNet-50 bereikte 0.888. Deze resultaten duiden op een goede discriminatie tegen de gedistribueerde benigne/maligne labels van de dataset.
  • DDTI (TI-RADS Eindpunt): Tegen het TI-RADS-afgeleide eindpunt bereikte het ensemble een AUROC van 0.477 en ResNet-50 bereikte 0.437. Dit duidt op weinig tot geen overeenstemming met de TI-RADS categorisering.
  • Interpretatie: De auteurs merken op dat het contrast tussen de TN3K en DDTI resultaten niet uitsluitend aan de labeldefinitie kan worden toegeschreven, aangezien cohort, apparatuur, acquisitie en ziektespectrum tegelijkertijd veranderden.

• Modality Vergelijking: Een descriptieve, niet-gepaarde bootstrap analyse toonde een cytology-minus-ultrasound AUROC verschil van 0.247 (95% CI 0.120–0.384). De auteurs benadrukken dat dit niet bewijst dat cytology klinisch superieur is, aangezien de beeldsets niet patiënt-gematcht waren.

Significantie en Claims
Het artikel claimt dat bevroren schildklier-echografie modellen verschillend presteren over cohorten die verschillen in acquisitie en uitkomstdefinitie. Het scherpe contrast tussen de hoge prestaties op TN3K (maligniteit-labels) en de prestaties rond toevalsniveau op DDTI (TI-RADS-labels) onderstreept dat deze eindpunten niet uitwisselbaar zijn.

De studie ondersteunt drie primaire implicaties voor toekomstig onderzoek:

1. Expliciete Rapportage: Label-provenance (bijv. postoperatieve diagnose versus TI-RADS) moet expliciet worden gerapporteerd.
2. Voorzichtige Interpretatie: Cross-cohort prestatiecontrasten moeten met voorzichtigheid worden geïnterpreteerd, aangezien ze een samenloop van distributieverschuivingen en eindpuntdefinities reflecteren in plaats van één enkele causale factor.
3. Patiënt-niveau Validatie: Toekomstige studies vereisen patiënt-niveau externe evaluatie tegen een klinisch passende referentiestandaard om transportabiliteit te waarborgen.

De auteurs concluderen bescheiden dat hun bevindingen de noodzaak ondersteunen voor geverifieerde patiënt-niveau splits en consistente beschrijvingen van de referentiestandaard, in plaats van een definitieve oplossing te claimen voor het generalisatieprobleem in thyroid AI. De studie valideert geen maligniteitsdiagnose op DDTI, aangezien het TI-RADS eindpunt geen maligniteit referentiestandaard is.