Distilling CT Foundation Models into Editable Concept Bottlenecks for Lung Nodule Malignancy Prediction

Technische Samenvatting: Destillatie van CT-fundamentele modellen naar bewerkbare conceptuele bottlenecks voor de voorspelling van maligniteit van longnoduli

Probleemstelling
Hoewel CT-fundamentele modellen (FM's) overdraagbare representaties bieden voor longbeeldvorming, functioneren classificatiemethoden die direct op hun embeddings opereren als "black boxes", wat een gebrek aan interpreteerbaarheid met zich meebrengt. Bestaande interpreteerbaarheidsmethoden, zoals post-hoc feature attributie (bijv. SHAP) of additieve glass-box modellen, falen vaak in het bieden van gecontroleerde, op kenmerken gebaseerde verklaringen. Concept Bottleneck Models (CBM's) pakken dit aan door voorspellingen te leiden via door mensen gedefinieerde intermediaire attributen. De klinische bruikbaarheid van CBM's hangt echter af van de mate waarin het model de beoogde radiologische kenmerken herstelt uit de onderliggende FM-embeddings. Het blijft onduidelijk hoe verschillende architecturen en pretraining-doelstellingen van fundamentele modellen deze concept-reconstructie en de daaropvolgende voorspelling van maligniteit beïnvloeden.

Methodologie
De studie stelt een raamwerk voor om twee verschillende, bevroren CT-fundamentele modellen te distilleren naar bewerkbare conceptuele bottlenecks voor het voorspellen van de maligniteit van longnoduli.

• Fundamentele Modellen: Twee bevroren encoders werden gebruikt zonder fine-tuning:
  1. CT-FM: Een self-supervised encoder voor de gehele CT die een 963-voxel gecentreerde nodule-patch verwerkt (512 dimensies).
  2. FMCIB: Een op de nodule gerichte contrastieve encoder die een nauwe 50×50×50 mm crop verwerkt bij een 1-mm isotrope resolutie (4.096 dimensies).
• Concept Mapping: Acht ridge-regressie koppen werden getraind op 2.610 noduli uit de LIDC-IDRI dataset om de bevroren embeddings te mappen naar acht door radiologen gedefinieerde semantische attributen: subtiliteit, interne structuur, verkalking, sfericiteit, marge, lobulatie, spicatie en textuur.
• Voorspellingsmodel: Een additieve "glass-box" classifier voorspelde maligniteit met behulp van de geschatte concepten en de grootte van de nodule ($\hat{y} = f(c, \text{size})$).
• Datasets en Evaluatie:
  • Training: Concept-koppen gebruikten LIDC-IDRI; maligniteitsmodellen gebruikten LUNA25 (training/validatie).
  • Interne Test: Gehouden LUNA25 testset (581 noduli).
  • Externe Test: DLCS-cohort (2.487 noduli).
  • Baselines: Prestaties werden vergeleken met enkel de grootte van de nodule en embedding-only lineaire probes (black-box comparatoren).
• Metrieken: Concept-getrouwheid (fidelity) werd gemeten via vijfvoudige cross-validatie $R^2$. Maligniteit-discriminatie werd beoordeeld met AUROC met 95% betrouwbaarheidsintervallen afgeleid van patiënt-gegroepeerde bootstrap-resampling.
• Editability (Bewerkbaarheid): Editability werd gekwantificeerd door de verandering in voorspelde risico wanneer concepten verschoven werden van het 10e naar het 90e percentiel.

Belangrijkste Resultaten

• Concept Fidelity (Getrouwheid): Het herstel van door radiologen gedefinieerde concepten was over het algemeen bescheiden maar varieerde significant tussen de fundamentele modellen. FMCIB vertoonde een hogere getrouwheid dan CT-FM voor belangrijke morfologische attributen: subtiliteit ($R^2$ 0,24 vs. 0,11), spicatie (0,17 vs. 0,08), textuur (0,17 vs. 0,07) en lobulatie (0,15 vs. 0,05). De getrouwheid was nabij nul voor verkalking, sfericiteit en interne structuur voor beide modellen. De studie merkte op dat de in-sample $R^2$ de getrouwheid aanzienlijk overschatte (bereikend tot ~0,98 voor FMCIB), wat de noodzaak van cross-validerende evaluatie bevestigt.
• Maligniteit-discriminatie:
  • Intern (LUNA25): Beide CBM's bereikten een AUROC van 0,86 (95% CI: 0,80–0,92 voor CT-FM; 0,79–0,92 voor FMCIB).
  • Extern (DLCS): CT-FM en FMCIB bereikten respectievelijk AUROC's van 0,72 (0,68–0,75) en 0,73 (0,70–0,76).
  • Vergelijking: De CBM's presteerden vergelijkbaar met de grootte van de nodule alleen (AUROC 0,86 intern, 0,73 extern) en presteerden beter dan hun respectievelijke embedding-only probes (bijv. 0,60 en 0,67 voor probes op DLCS). Dit geeft aan dat de grootte van de nodule de primaire drijfveer van discriminatie was, terwijl de conceptuele bottleneck de interpreteerbaarheid toevoegde in plaats van significante voorspellende winst.
• Editability en Decompositie: De additieve aard van de modellen maakte een transparante decompositie van voorspellingen mogelijk. Gecontroleerde interventies (het verschuiven van concepten van lage naar hoge waarden) lieten zien dat lobulatie, subtiliteit en spicatie de grootste veranderingen in het voorspelde risico veroorzaerden, terwijl sfericiteit, marge en verkalking minimale impact hadden.

Significantie en Claims
Het artikel claimt dat het distilleren van bevroren CT-fundamentele modellen naar door radiologen gedefinieerde conceptuele bottlenecks maligniteitsvoorspellers oplevert die zowel interpreteerbaar als bewerkbaar zijn, terwijl ze een prestatie behouden die vergelijkbaar is met de grootte van de nodule alleen. De primaire bijdrage is de demonstratie dat dergelijke modellen transparante, op kenmerken gebaseerde verklaringen kunnen bieden en gecontroleerde concept-interventies kunnen ondersteunen, zelfs als deze concepten zelf minder voorspellende informatie bijdragen dan de grootte van de nodule.

De auteurs concluderen bescheiden dat de conceptuele bottleneck primair dient om transparantie toe te voegen in plaats van de nauwkeurigheid te verbeteren. Ze benadrukken verder dat de concept-getrouwheid afhankelijk is van de onderliggende representatie van het fundamentele model, en dat nodule-gerichte encoders (FMCIB) morfologische attributen effectiever vastleggen dan volledige CT-encoders (CT-FM) voor specifieke attributen, hoewel architecturale verschillen voorkomen dat dit uitsluitend aan het gezichtsveld (field of view) kan worden toegeschreven. De studie erkent beperkingen, waaronder de afhankelijkheid van een enkele concept-annotatie-cohort, het gebruik van bevroren lineaire koppen en de evaluatie van slechts twee fundamentele modellen.