Calibrated Selective Prediction Using Deep Ensembles for ROI-Based Thyroid Nodule Ultrasound Classification Under Dataset Shift: A Retrospective Evaluation

Technische Samenvatting: Gecalibreerde Selectieve Predictie met behulp van Deep Ensembles voor ROI-gebaseerde Classificatie van Schildklierknobbels via Echografie onder Dataset Shift

Probleemstelling
Hoewel deep learning-modellen een hoge discriminatie hebben aangetoond bij het classificeren van schildklierknobbels op basis van echografiebeelden, is hoge nauwkeurigheid alleen onvoldoende voor klinische besluitvormingsondersteuning. In realistische scenario's kunnen modellen zelfverzekerde maar onbetrouwbare voorspellingen genereren voor ambigue gevallen, beelden van verschillende acquisitieprotocollen, of datadistributies die verschillen van de trainingsset (dataset shift). Een veilig klinisch systeem moet niet alleen beelden classificeren, maar ook gevallen identificeren waarin geautomatiseerde triage-suggesties onbetrouwbaar zijn en deze door te verwijzen naar menselijke experts. Dit vereist robuuste waarschijnlijkheidskalibratie, onzekerheidsschatting en een mechanisme voor selectieve predictie (classificatie met een afwijzingsoptie) dat conservatief opereert onder dataset shift.

Methodologie
De studie stelt een gekalibreerd, deterministisch, vijfledig deep-ensembleframework voor voor annotatie-ondersteunde classificatie van de regio van interesse (ROI) van schildklierknobbels. De methodologie omvat de volgende kerncomponenten:

• Dataset en Architectuur: Het framework maakt gebruik van de TN5000-dataset (5.000 beelden, verrijkt met maligniteit) voor ontwikkeling en interne kruisvalidatie, en de TN3K-dataset (614 beelden, andere klassendistributie en annotatiestijl) voor externe evaluatie onder dataset shift. Een ConvNeXt-Tiny backbone, aangevuld met een Squeeze-and-Excitation (SE) attention module, werd geselecteerd als de optimale architectuur.
• Ensemble en Kalibratie: Vijf onafhankelijk getrainde ensembleleden (met verschillende random seeds) worden gegenereerd. Om betrouwbare waarschijnlijkheidsschattingen te garanderen, wordt post-hoc vector scaling per lid toegepast met behulp van een specifieke kalibratiesubset (val_calib) binnen elke kruisvalidatie-fold.
• Onzekerheidsschatting: Mutual Information (MI) wordt gebruikt als de primaire operationele maatstaf voor ensemble-discrepantie. MI kwantificeert de divergentie tussen de entropie van de gemiddelde ensemblevoorspelling en de gemiddelde entropie van de individuele leden. Een hoge MI duidt op een hoge epistemische onzekerheid (discrepantie tussen de modellen).
• Selectief Triagebeleid: Een strikt drie-fasen retrospectief beleid wordt toegepast:
  1. Onzekerheidsdeur (Uncertainty Gate): Beelden met een MI die de fold-specifieke drempel overschrijdt, worden onmiddellijk toegewezen aan radiologische beoordeling.
  2. Uitsluitings-/Insluitingsdeur (Rule-Out/Rule-In Gates): Onder de beelden met een lage MI worden gekalibreerde maligniteitskansen geëvalueerd tegen fold-specifieke drempels.
     • Probabiliteiten onder een conservatieve uitsluitingsdrempel ($\tau_{low}$) ontvangen een beeld-gebaseerde "Geen-FNA" (Fine-Needle Aspiration) suggestie.
     • Probabiliteiten boven een conservatieve insluitingsdrempel ($\tau_{high}$) ontvangen een beeld-gebaseerde "FNA-aanbeveling".
     • Probabiliteiten die in de intermediaire "grijze zone" vallen, worden toegewezen aan radiologische beoordeling.
• Drempelselectie: Drempels worden uitsluitend afgeleid van de validatiesubset (val_es) van elke fold om aan strikte veiligheidscriteria te voldoen: een No-FNA Negative Predictive Value (NPV) van $\ge$ 98% en een FNA-aanbeveling Positive Predictive Value (PPV) van $\ge$ 95%.
• Externe Evaluatie: Een bevroren model en beleid afgeleid van TN5000 wordt ongewijzigd toegepast op TN3K om de transporteerbaarheid van kalibratie, onzekerheidsgedrag en beslissingsdrempels onder dataset shift te beoordelen.

Kernbijdragen

1. Frameworkontwikkeling: De auteurs ontwikkelden een gekalibreerd deterministisch deep-ensembleframework met ConvNeXt-Tiny met SE attention voor ROI-gebaseerde classificatie van schildklierknobbels.
2. Onzekerheidsgestuurde Deferral: De studie evalueert Mutual Information als een specifieke score voor ensemble-discrepantie om beelden te identificeren die ongeschikt zijn voor geautomatiseerde triage, wat verschilt van training-time onzekerheidsweging.
3. Conservatief Triagebeleid: Er wordt een drie-fasen beleid voorgesteld dat onzekerheidsgestuurde deferral combineert met probabiliteitsgebaseerde uitsluitings- en insluitingspaden, waardoor geautomatiseerde suggesties alleen worden gedaan voor gevallen met een lage discrepantie en extreme waarschijnlijkheden.
4. Externe Transporteerbaarheidsanalyse: De studie evalueert rigoureus een bevroren TN5000-afgeleid beleid op een onafhankelijke TN3K-cohort, waarbij expliciet wordt geanalyseerd hoe discriminatie, kalibratie en de geldigheid van drempels degraderen onder dataset shift.

Resultaten

• Interne Prestaties (TN5000): Het gekalibreerde ensemble bereikte een gepoolde out-of-fold AUC-ROC van 0,9395 en een Average Precision (AP) van 0,9715. De kalibratie was uitstekend, met een Expected Calibration Error (ECE) van 0,0088 en een Brier score van 0,0813.
• Interne Selectieve Predictie: Bij een nominale MI-retentieratio van 50%, wijsde het systeem 7,2% van de gevallen toe aan "Geen-FNA", 39,9% aan "FNA-aanbeveling" en 52,9% aan radiologische beoordeling. Dit behaalde een No-FNA NPV van 98,3% en een maligniteitsvangst van 99,83%.
• Externe Prestaties (TN3K): Onder dataset shift nam de discriminatie af (AUC-ROC 0,7870, AP 0,7254) en verslechterde de kalibratie aanzienlijk (ECE 0,1899, Brier score 0,2281).
• Externe Triage-uitkomsten: Het toepassen van het bevroren TN5000-beleid op TN3K resulteerde in 83,7% van de gevallen toegewezen aan radiologische beoordeling, 15,3% met een FNA-aanbeveling, en slechts 1,0% met een Geen-FNA suggestie. Hoewel geen enkele maligne afbeelding onterecht aan het No-FNA pad werd toegewezen (100% geobserveerde NPV), kwam dit door de hoge deferral-rate in plaats van een robuuste uitsluitingscapaciteit. De FNA-aanbeveling PPV daalde naar 76,6%, waardoor het doel van 95% dat tijdens de interne drempelselectie was vastgesteld, niet werd gehaald.

Betekenis en Claims
Het artikel claimt dat het voorgestelde gekalibreerde deep-ensembleframework succesvol sterke interne discriminatie en kalibratie demonstreert, wat een conservatief selectieve-predictieframework ondersteunt waarbij automatische suggesties worden achtergehouden voor gevallen met een hoge discrepantie. De auteurs stellen echter expliciet dat de externe evaluatie op TN3K een verminderde discriminatie, gedegradeerde kalibratie en beperkte transporteerbaarheid van de operationele drempels onder dataset shift laat zien.

Concluderend stellen de auteurs dat deze bevindingen niet ondersteuning bieden voor directe klinische inzet of claims van werkelijke reductie van biopten zonder lokale kalibratie, drempelvalidatie en prospectieve klinische evaluatie. In plaats daarvan positioneert de studie selectieve predictie als een voorzichtig mechanisme om beelden te identificeren die ongeschikt zijn voor autonome triage, waarbij de nadruk ligt op het feit dat geautomatiseerde beeldgebaseerde suggesties alleen moeten worden gedaan voor gevallen met een lage discrepantie, terwijl potentieel onbetrouwbare voorspellingen worden doorverwezen naar deskundige beoordeling. Het werk benadrukt de noodzaak van lokale validatie voordat dergelijke modellen in nieuwe klinische omgevingen worden toegepast.