Benchmarking Foundation Models for Renal Lesion Stratification in CT

Technische Samenvatting: Benchmarking van Foundation Modellen voor Stratificatie van Nierlaesies in CT

Probleemstelling
De stratificatie van nierlaesies via Computertomografie (CT) is een klinisch kritieke, doch data-schaarse taak. Hoewel richtlijnen contrastversterkte CT aanbevelen voor de karakterisering van niermassa's, blijft de niet-invasieve differentiatie tussen specifieke histologische subtypen (bijvoorbeeld het onderscheiden van goedaardige nieroncocytomen van kwaadaardige chromofobe RCC, of papillaire RCC Type I van andere entiteiten) uitdagend. Deep learning-benaderingen hebben veelbelovend getoond, maar worden vaak gehinderd door de lage prevalentie van specifieke subtypen, wat leidt tot datasets met verwaarloosbare steekproefgroottes voor zeldzame aandoeningen (bijvoorbeeld slechts 17 gevallen in cross-validatie). Deze schaarste beperkt de effectiviteit van standaard convolutionele neurale netwerken (CNN's) die vanaf nul worden getraind. De opkomst van open-source medische Foundation Modellen (FMs) biedt een potentiële oplossing door gebruik te maken van grootschalige pre-training om robuuste feature-representaties te extraheren. Het blijft echter onduidelijk of deze generalistische, voorgetrainde representaties effectief kunnen worden overgedragen naar specifieke, data-beperkte taken voor classificatie van nierlaesies zonder fine-tuning.

Methodologie
De studie voerde een rigoureuze benchmark uit van drie open-source medische FMs tegen gevestigde baselines, gebruikmakend van een bevroren feature-probing-protocol.

• Datasets: De trainingsset bestond uit 2.854 laesies van 1.279 deelnemers, samengevoegd uit een eigen cohort (2007–2022) en het KiTS23-dataset. Een externe testset van 234 laesies uit 140 CT-scans werd verkregen uit The Cancer Imaging Archive (TCIA). Laesies werden gecategoriseerd in zes klassen: cysten, clear cell RCC (ccRCC), papillaire RCC (pRCC), chromofobe RCC (chrRCC), nieroncocytoom (RO) en "Anders".
• Modelselectie: Drie FMs werden geëvalueerd: FMCIB (Foundation Model for Cancer Imaging Biomarkers), CT-FM (Vision Foundation Models for Computed Tomography) en MMM (MedicalMultitaskModeling).
• Experimentele Strategieën:
  1. Strategie A (End-to-End Learning): Een 3D ResNet-50 werd vanaf nul getraind en vergeleken met een FMCIB-model dat werd gefine-tuned met specifieke architecturale aanbevelingen (grotere classificatiekop, gesplitste leersnelheden).
  2. Strategie B (Bevroren Feature Probing): De primaire evaluatiemethode. Embeddings werden geëxtraheerd uit de drie FMs en een handgemaakte radiomics-pijplijn met behulp van bevroren encoders. Deze features werden ingevoerd in XGBoost-classifiers.
• Preprocessing: Afbeeldingen werden bijgesneden tot de omhullende doos van de laesie met een marge van 1 cm, opnieuw geschaald naar model-specifieke afmetingen (bijvoorbeeld 50×50×50 voxels voor FMCIB) en geaugmenteerd. Radiomics-features werden geëxtraheerd met PyRadiomics (107 features) uit opnieuw bemonsterde, geventileerde volumes.
• Evaluatie: Prestaties werden gemeten met de macro-gemiddelde Area Under the Receiver Operating Characteristic curve (AUC) en Average Precision (AP). Interne validatie gebruikte 10-voudige cross-validatie, terwijl externe validatie gebruikmaakte van een vastgehouden TCIA-set met niet-parametrische bootstrapping voor betrouwbaarheidsintervallen.

Belangrijkste Resultaten
De studie leverde twee primaire bevindingen op met betrekking tot de vergelijkende prestaties van FMs, deep learning vanaf nul en radiomics:

1. Superioriteit van Radiomics: De handgemaakte radiomics-baseline presteerde significant beter dan alle deep learning-benaderingen. Op de externe testset bereikte radiomics een AUC van 0,88 (AP 0,64). Dit was statistisch superieur aan de best presterende Foundation Model (MMM, AUC 0,77) met een gemiddeld verschil van 0,11 (95% BI [0,03, 0,18], p=0,002).
2. Foundation Model versus ResNet vanaf Nul: De prestaties van de bevroren FM-embeddings (AUC-bereik 0,69–0,77) waren vergelijkbaar met de 3D ResNet-50 die vanaf nul was getraind (AUC 0,72). Er werden geen statistisch significante verschillen gevonden tussen de FMs en de ResNet-baseline. Bovendien leverde het fine-tunen van het FMCIB-model geen verbeteringen op ten opzichte van het trainen van de ResNet vanaf nul (AUC 0,68 versus 0,64) en slaagde het er niet in de prestaties van de bevroren probing-benadering te evenaren (AUC 0,71).
3. Berekenings-efficiëntie: Waar de ResNet-baseline 16 uur GPU-training vereiste, vereiste de FM-probing-pijplijn (specifiek MMM) slechts 2,5 uur voor feature-extractie op een CPU, met daaropvolgende classifier-training die slechts seconden duurde. Dit toont een drastische reductie in hardware-eisen voor FMs aan.
4. Feature-analyse: UMAP-visualisaties gaven aan dat hoewel cysten en ccRCC duidelijke clusters vormden in alle embeddings, andere subtypen (pRCC, chrRCC, RO) aanzienlijke overlap vertoonden. Analyse van de feature-importantie van radiomics toonde aan dat textuurfeatures het meest bijdroegen (65%) aan de beslissing van de classifier, gevolgd door intensiteitsstatistieken en vorm.

Betekenis en Claims
Het artikel concludeert dat medische Foundation Modellen, hoewel ze een berekenings-efficiënt alternatief bieden voor het trainen van diepe netwerken vanaf nul in data-schaarse omgevingen, nog niet gevestigde radiomics-baselines overtreffen voor stratificatie van nierlaesies.

De auteurs betogen dat huidige generalistische FM-embeddings falen in het vastleggen van de fijnkorrelige textuur- en vormheterogeniteit die nodig is om te discrimineren tussen specifieke histologische subtypen, welke de primaire drijfveren zijn van classificatie-moeilijkheid in dit domein. De studie benadrukt dat de interpreteerbaarheid en expliciete engineering van radiomics-features momenteel een meer discriminerend signaal bieden dan de latente representaties van generalistische FMs.

Bovendien onderstreept het artikel het gebrek aan consensus over de optimale downstream-toepassing van medische FMs (bijvoorbeeld patchgrootte, resampling, feature-aggregatie), wat suggereert dat huidige benchmarks evenzeer implementatievariatie weerspiegelen als architecturale capaciteit. De auteurs stellen dat zolang optimalisatiekloven niet worden aangepakt en gestandaardiseerde evaluatieprotocollen niet zijn vastgesteld, radiomics de state-of-the-art blijft voor textuurgebaseerde taken voor classificatie van nierlaesies. De studie claimt niet dat FMs verouderd zijn, maar eerder dat hun huidige generalistische representaties ontoereikend zijn voor deze specifieke, hoog-risico, fijnkorrelige diagnostische taak zonder verdere domeinspecifieke aanpassing.