💻 computer science

Label-Free Foundational Model Selection for Medical Image Classification under Distribution Shift via Pseudo Label Discrepancy

Dit artikel stelt AURCC voor, een label-vrij selectiecriterium gebaseerd op pseudo-label discrepantie dat effectief fundamentele modellen rangschikt voor medische beeldclassificatie onder distributieverschuiving zonder dat doeldomein-annotaties of fijnafstemming vereist zijn.

Oorspronkelijke auteurs: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan Iñaki Larrea, Lucas Mansilla, Enzo Ferrante

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van medische beeldvorming zijn computers bijzonder vaardig geworden in het lezen van röntgenfoto's, waarbij ze vaak de prestaties van menselijke specialisten evenaren. Deze systemen worden getraind op enorme bibliotheken van afbeeldingen en leren tekenen van ziekten zoals longontsteking te herkennen. Echter, een aanzienlijk probleem doet zich voor wanneer deze getrainde systemen van het ene ziekenhuis naar het andere worden verplaatst. Net zoals een bestuurder die gewend is aan de brede, zonnige wegen van het ene land, moeite kan hebben met de smalle, regenachtige straten van een ander land, zo kan een kunstmatige intelligentie-model dat is getraind op gegevens van het ene ziekenhuis vaak wankelen wanneer het wordt geconfronteerd met de verschillende scanners, patiëntenpopulaties of beeldvormingsprotocollen van een nieuwe instelling. Deze verschuiving in omstandigheden staat bekend als een distributieverschuiving (distribution shift), en dit kan ervoor zorgen dat de nauwkeurigheid van een model drastisch afneemt. Het kerndilemma voor artsen en ziekenhuisbeheerders is dit: als ze verschillende krachtige, vooraf getrainde AI-modellen beschikbaar hebben, hoe weten ze dan welk model het beste zal werken bij hun specifieke ziekenhuis voordat ze het daadwerkelijk proberen? De gebruikelijke manier om het antwoord te vinden, vereist het testen van de modellen op nieuwe beelden en het controleren van de resultaten tegenover deskundige menselijke labels, maar het verkrijgen van die labels is duur, tijdrovend en vaak onmogelijk in de omgevingen waar de technologie het hardst nodig is.

Een team onderzoekers uit Argentinië heeft een nieuwe manier voorgesteld om dit selectiepuzzel op te lossen zonder nieuwe menselijke labels nodig te hebben. Ze richtten zich op een specifieke uitdaging: het kiezen van het beste borstfoto-model voor een nieuw ziekenhuis wanneer de enige beschikbare gegevens van dat ziekenhuis ongelabelde beelden zijn. De onderzoekers bouwden hun methode op een raamwerk genaamd SUDO, dat fungeert als een kwaliteitscontrole voor AI-systemen. In plaats van te vragen "Is deze diagnose correct?" — wat een mens vereist om "ja" of "nee" te zeggen — stelt hun methode een andere vraag: "Komt het vertrouwen van het model in zijn eigen voorspellingen overeen met de realiteit van de gegevens die het ziet?" Om dit te doen, neemt het systeem de ongelabelde beelden van het nieuwe ziekenhuis en groepeert deze op basis van hoe zeker de AI is in zijn voorspellingen. Bijvoorbeeld, het kan alle beelden groeperen waar de AI zeer zeker is dat er longontsteking is, en een andere groep waar de AI zeer zeker is dat dit niet het geval is.

De onderzoekers voeren vervolgens een slimme interne test uit op deze groepen. Ze doen even alsof de beelden in een specifieke groep eigenlijk het tegenovergestelde zijn van wat het model denkt, en ze controleren of de logica van het model standhoudt. Als het model werkelijk betrouwbaar is, zou zijn interne logica moeten bezwijken wanneer het wordt gedwongen een valse aanname over een groep beelden te accepteren. Als de logica te gemakkelijk standhoudt, suggereert dit dat de groep "verontreinigd" is met gemengde typen beelden die het model niet goed kan onderscheiden. Door te meten hoeveel de logica van het model wankelt over al deze verschillende groepen van vertrouwen, berekenen de onderzoekers één enkele score die de betrouwbaarheid van het model weerspiegelt. Ze noemen deze score de Area Under the Reliability-Completeness Curve, een getal dat hen vertelt hoe goed het model waarschijnlijk zal presteren zonder ooit een enkel door mensen geverifieerd label van het nieuwe ziekenhuis te hebben gezien.

Om dit idee te testen, verzamelden de onderzoekers zes verschillende geavanceerde AI-modellen ontworpen voor medische beeldvorming. Ze simuleerden een realistische scenario waarin deze modellen werden getraind op gegevens van drie verschillende grote ziekenhuizen en vervolgens werden gevraagd om longontsteking te voorspellen in een vierde, afwijkend ziekenhuis waar geen labels beschikbaar waren. Ze vergeleken hun nieuwe scoringsmethode met de traditionele aanpak, die simpelweg modellen rangschikt op basis van hoe goed ze presteerden op een kleine steekproef van gelabelde gegevens uit de oorspronkelijke trainingsziekenhuizen. De resultaten lieten zien dat hun nieuwe methode zeer effectief was. Wanneer de hoeveelheid gelabelde gegevens van de oorspronkelijke ziekenhuizen groot was, werkte de traditionele methode goed, zoals verwacht. Echter, in de moeilijkere en meer voorkomende situatie waarin de gelabelde gegevens schaars waren — wat de realiteit is van veel hulpbronnenarme ziekenhuizen — presteerde de nieuwe methode consequent beter dan de traditionele aanpak. In deze scenario's met weinig gegevens identificeerde de nieuwe score het best presterende model met een hoge mate van nauwkeurigheid, waarbij de ware prestatierangschikking bijna perfect werd benaderd.

De studie benadrukt een cruciaal inzicht voor de toekomst van medische AI: de beste manier om een model voor een nieuwe omgeving te kiezen is niet altijd door terug te kijken naar hoe het presteerde op oude gegevens, maar door vooruit te kijken naar hoe het zich gedraagt op de nieuwe, ongelabelde gegevens zelf. Door de structuur van de nieuwe gegevens en de interactie van het model ermee te analyseren, vonden de onderzoekers een manier om succes te voorspellen waar traditionele methoden falen. Deze aanpak is bijzonder waardevol omdat het lichtgewicht is en geen krachtige computers vereist; het hele proces kan worden uitgevoerd op standaard hardware met behulp van de wiskundige representaties van de beelden. Hoewel de studie specif kind gericht was op de detectie van longontsteking en borstfoto's, biedt het onderliggende principe een veelbelovend pad voor ziekenhuizen om nieuwe AI-instrumenten veilig en efficiënt te adopteren, waardoor wordt gewaarborgd dat de juiste technologie op de juiste plek wordt ingezet, zelfs wanneer de experts die nodig zijn voor verificatie niet beschikbaar zijn.

Technische Samenvatting: Label-vrije Selectie van Foundation Modellen voor Medische Beeldclassificatie onder Distributieverschuiving

1. Probleemstelling

De implementatie van foundation modellen (specifiek visuele taalmodellen zoals CLIP en zijn biomedische varianten) in de medische beeldvorming staat voor een kritieke flessenhals: distributieverschuiving. Klinische beelden komen vaak afkomstig van andere instellingen, scanners of patiëntenpopulaties dan de trainingsdata, wat leidt tot onvoorspelbare prestatievermindering.

Conventioneel vereist het selecteren van het beste model voor een nieuw, ongeannoteerd doeldomein (target domain) grondwaarheid-annotaties om prestatiemetingen (bijv. AUC) te evalueren. Het verkrijgen van dergelijke annotaties in implementatiesituaties is echter kostbaar en vaak onhaalbaar vanwege de benodigde tijd van deskundige radiologen. Dit creëert een praktisch dilemma: gegeven een gelabelde bronset en een ongeannoteerd doeldomein, hoe kan men kandidaten voor foundation modellen rangschikken op basis van hun verwachte prestaties in het doeldomein zonder toegang tot doel-labels?

2. Methodologie

De auteurs stellen een label-vrij selectiecriterium voor gebaseerd op het SUDO-framework, dat hier is aangepast om meerdere kandidaat-modellen te rangschikken. De kernmetriek is de Area Under the Reliability-Completeness Curve (AURCC).

De SUDO-procedure:

Partitionering: Voor een kandidaat-model $\phi_m$ wordt de ongeannoteerde doeldata gepartitioneerd in $K$ kwantielbins op basis van de voorspelde waarschijnlijkheden van de positieve klasse door het model.
Pseudo-label Discrepantie: Voor elke bin $b$ $b$ construeert de methode twee hulp-binaire trainingssets:
- Set 1: De samples in de bin worden toegewezen een pseudo-negatief label, gecombineerd met grondwaarheid positieve samples uit de bron-trainingsset.
- Set 2: De samples in de bin worden toegewezen een pseudo-positief label, gecombineerd met grondwaarheid negatieve samples uit de bron-trainingsset.
Hulp-evaluatie: Een logistische regressieclassificator wordt getraind op elke set en geëvalueerd op een gehouden-voor-de-test (held-out) bron-split. De SUDO-score voor de bin is het verschil in AUC tussen de negatieve en positieve aannames: $SUDO_b = s_0(b) - s_1(b)$ $S U D O_{b} = s_{0} (b) - s_{1} (b)$ .
- Een grote absolute waarde duidt op een bin die gedomineerd wordt door een enkele klasse (hoge betrouwbaarheid).
- Een waarde nabij nul duidt op klasse-contaminatie (lage betrouwbaarheid).
Aggregatie: De procedure wordt herhaald over 300 stochastische runs en gemiddeld. De AURCC wordt berekend door symmetrische kwantieldrempels van de distributie-extremen naar het midden te slepen, waarbij betrouwbaarheid (gemiddelde $|SUDO|$ ) wordt uitgezet tegen volledigheid (fractie van de gedekte samples). De oppervlakte onder deze curve dient als de uiteindelijke rangschikkingsscore.

Experimentele Regimes:
De methode wordt geëvalueerd onder twee adaptatiestrategieën met enkel bron-labels:

Zero-Shot (ZS): Geen taakspecifieke training. Waarschijnlijkheden worden afgeleid via text-prompt ensembling en beeld-tekst gelijkenis.
MLP-Probe (MP): Een ondiepe Multi-Layer Perceptron wordt getraind op bevroren bron-embeddings om een taakspecifieke beslissingsgrens te creëren. De SUDO-procedure opereert vervolgens op de waarschijnlijkheden gegenereerd door deze probe.

3. Belangrijkste Bijdragen

Label-vrij Rangschikkingsframework: Het artikel past SUDO aan van een hulpmiddel voor het beoordelen van een enkel ingezet systeem naar een mechanisme voor modelselectie tussen meerdere foundation modellen zonder doel-labels.
Systematische Benchmarking: De auteurs evalueren zes borstfoto (chest X-ray) foundation modellen (BioMedCLIP, CXR-CLIP, CheXzero, MedCLIP, MedImageInsight, en CLIP-base) over drie inter-hospitaal distributieverschuivingsscenario's (MIMIC-CXR, NIH ChestX-ray14, en CheXpert als bron; PadChest als doel).
Analyse van Middelenbeperkte Situaties: De studie onderzoekt expliciet de prestaties van het rangschikkingscriterium naarmate de grootte van de beschikbare gelabelde bronset afneemt, wat middelenbeperkte settings (RCS) simuleert.

4. Resultaten

Correlatie met Grondwaarheid: De AURCC-rangschikking correleert sterk met de werkelijke doelprestaties (AUC $_{target}$ ). In het MLP-Probe regime bereikt de Spearman-correlatie ( $\rho$ ) 0,943 ( $p < 0,05$ ) over alle scenario's en aantal bins ( $K \in \{5, 10, 20\}$ ).
Vergelijking met Baseline: De natuurlijke baseline van het rangschikken van modellen op basis van hun nauwkeurigheid op de gehouden-voor-de-test bronset (AUC $_{source}$ ) presteert goed wanneer de bronset groot is (bijv. $\rho = 1,000$ voor MIMIC). Echter, naarmate de bronomvang krimpt, degradeert de baseline.
Voordeel in Kleine-Bron Scenario's:
- Voor de NIH-dataset ( $N \approx 954$ ) en CheXpert ( $N \approx 113$ ) presteert AURCC consistent beter dan de bron-AUC baseline.
- Bij de extreme reductie naar $N=50$ gehouden-voor-de-test bronsamples, biedt AURCC in alle drie de scenario's een nauwkeuriger rangschikking dan de bron-baseline.
- In het Zero-Shot regime presteert AURCC vergelijkbaar met de bron-baseline, wat suggereert dat het voordeel van AURCC het meest uitgesproken is wanneer taakspecifieke adaptatie (via de MLP probe) de methode in staat stelt om structurele informatie in de doelverdeling te exploiteren die een eenvoudige bronmeting niet kan vatten.

5. Betekenis en Claims

Het artikel claimt dat AURCC een praktische oplossing biedt voor het "label-vrije rangschikkingsprobleem" bij de implementatie van medische AI. De primaire betekenis ligt in middelenbeperkte settings waar:

Doel-labels niet beschikbaar zijn: De methode vereist geen grondwaarheid uit het doeldomein.
Bron-labels schaars zijn: In tegen tegenstelling tot traditionele bron-gebaseerde evaluatie, die faalt wanneer de gelabelde bronset klein is, benut AURCC de structuur van de ongeannoteerde doeldata om de kwaliteit van de rangschikking te behouden.
Computationele efficiëntie: De gehele pipeline werkt op embeddings en draait op de CPU, waardoor instellingen modellen lokaal kunnen rangschikken op standaard hardware zonder dure fine-tuning of dataoverdracht.

De auteurs merken op dat hoewel de evaluatie beperkt is tot een binaire pneumonie-classificatietaak en een enkel doeldomein (PadChest), de resultaten suggereren dat AURCC structurele informatie over de doelverdeling vastlegt die verder gaat dan eenvoudige geaggregeerde bronmetingen, waardoor het een robuust instrument is voor het selecteren van foundation modellen onder distributieverschuiving.