🤖 machine learning

CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders

Het artikel introduceert CANDOR, een kansgekalibreerde discordantiemetriek die onthult dat bevroren foundation-encoders niet inherent blind zijn voor medische bevindingen, maar lijden onder zwakke geometrische scheiding en slechte kopselectie, zoals blijkt uit hun hoge foutpercentages bij de dichtstbijzijnde buren, zelfs wanneer lichtgewicht koppen sterke prestaties leveren.

Oorspronkelijke auteurs: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Gepubliceerd 2026-07-22

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om verschillende soorten vogels te herkennen. Je laat de robot miljoenen foto's zien, en het leert een "merel" of een "mus" te herkennen door naar de vormen en kleuren in de plaatjes te kijken. Dit is hoe moderne "foundation models" werken: het zijn gigantische, vooraf getrainde breinen die bijna alles hebben gezien, van katten tot auto's tot wolken. Stel je nu voor dat je dezezelfde robot wilt gebruiken om artsen te helpen bij het lezen van röntgenfoto's. Je wilt niet de hele robot opnieuw trainen; je wilt er alleen een klein, simpel "hoofdje" aan bevestigen dat zegt: "ja, er is een gebroken bot" of "nee, alles ziet er goed uit."

De grote vraag is: ziet de robot de breuk daadwerkelijk in zijn interne geheugen, of gokt hij gewoon op basis van andere aanwijzingen? Meestal controleren we of de robot goed is door te kijken hoe vaak het kleine hoofdje het juiste antwoord geeft. Maar wat als de interne kaart van de robot eigenlijk een rommeltje is? Wat als een foto van een gebroken bot diep vanbinnen in het brein van de robot meer lijkt op een foto van een gezond bot dan op een andere foto van een gebroken bot? Als dat waar is, is de robot niet "blind"—hij is gewoon verward. Het is als een bibliothecaris die boeken heeft geordend op kleur in plaats van op verhaal; ze kunnen een rode boeken vinden, maar ze kunnen je niet vertellen of het een mysterie of een romance is door alleen naar de plank te kijken. Dit artikel stelt een cruciale vraag: wanneer deze krachtige robots op hun plaats zijn bevroren, zijn ze dan echt blind voor medische details, of zijn ze gewoon slecht in het onderscheiden ervan?

Het probleem met de oude manier

Lamaag wetenschappers deze bevroren robots maten, deden ze dat op basis van hoe goed een simpel "hoofdje" hun kenmerken kon lezen. Als het hoofdje een hoge score haalde, namen iedereen aan dat de robot slim was. Maar de auteurs van dit artikel, Soroosh Tayebi Arasteh en zijn team, realiseerden zich dat deze methode was alsof je een chef beoordeelt op hoe goed hij een maaltijd kan serveren, zonder te controleren of het eten eigenlijk wel gaar is.

Ze ontdekten een verborgen val in de manier waarop we "verwarring" meten. Stel je voor dat je een vriend probeert te vinden in een drukke kamer. Als je vriend een rode hoed draagt, en er zijn 100 mensen met rode hoeden maar slechts 1 persoon met een blauwe hoed, en je vraagt de robot om de persoon met de blauwe hoed te vinden, dan kan de robot gewoon "blauw" gokken omdat het zeldzaam is. De oude meetinstrumenten werden gefopt door hoe algemeen of zeldzaam een ziekte was. Als een ziekte zeldzaam was, zeiden de instrumenten dat de robot "gecollabeerd" (volledig nutteloos) was, simpelweg omdat de wiskunde uit balans was, en niet omdat de robot eigenlijk slecht was. Het was alsof je een detective de schuld gaf omdat hij er niet in slaagde een naald in een hooistak te vinden, terwijl het echte probleem was dat de hooistak voor 99% uit naalden bestond en voor 1% uit hooi.

Ontmoet CANDOR: De eerlijke scheidsrechter

Om dit op te lossen, heeft het team een nieuw hulpmiddel uitgevonden genaamd CANDOR (Chance-Calibrated Discordance). Denk aan CANDOR als een scheidsrechter die ervoor zorgt dat het spel eerlijk verloopt voordat de fluit afgaat.

Zo werkt het: In plaats van de robot naar een rommelige menigte te laten kijken, zet CANDOR een perfect uitgebalanceerd spel op. Het neemt een foto van een patiënt met een specifiek probleem (zoals een klaplong, een pneumothorax genoemd) en vraat de robot om zijn vijf dichtstbijzijnde "buren" in zijn geheugen te vinden. Maar hier komt de truc: CANDOR dwingt de robot om te kiezen tussen twee groepen buren die exact even groot zijn. De ene groep bestaat uit patiënten met het probleem, en de andere groep uit patiënten zonder het probleem.

Als de robot echt goed is, zouden de patiënten met het probleem dichter bij de "probleemgroep" moeten liggen. Als de robot verward is, liggen de patiënten met het probleem dichter bij de "geen probleem"-groep. Omdat de groepen even groot zijn, heeft de robot een kans van 50/50 om het goed te raden door puur geluk. Dit geeft de wetenschappers een perfect "kansniveau" om mee te vergelijken.

De schokkende ontdekking: Niet blind, maar zwak

Toen het team CANDOR draaide op 22 verschillende krachtige robots over 20 verschillende datasets (inclus kind röntgenfoto's van de borstkas, oogscans en zelfs vogelfoto's), ontdekten ze iets verrassends.

Eerst bewezen ze dat de robots niet blind zijn. De oude instrumenten hadden het erop doen lijken dat de robots volkomen nutteloos waren voor zeldzame ziekten, maar CANDOR toonde aan dat de robots de informatie daadwerkelijk wel bezitten. Ze staren niet tegen een blinde muur aan; ze staan gewoon in een mistige kamer.

Echter, de robots zijn zeer zwak. Zelfs de beste robot in de studie, genaamd RAD-DINO, die specifelijk is getraind op röntgenfoto's van de borstkas, raakte nog steeds in de war bij 18,4% van de gevallen van een pneumothorax. Dit betekent dat voor bijna één op de vijf patiënten met een klaplong, de interne kaart van de robot die patiënt dichter bij een gezond persoon plaatste dan bij een andere persoon met een klaplong.

De cijfers waren nog extremer voor andere aandoeningen. Voor glaucoom (een oogziekte) presteerde de beste robot op het niveau van puur toeval (50%), wat betekent dat het niet beter was dan een muntje opgooien. Voor vogelsoorten was dezelfde robot een genie en raakte hij slechts 4,5% van de tijd in de war. Maar voor röntgenfoto's van de borstkas was hij 42,8% van de tijd verward. Het is alsof de robot een meesterkok is die een zeldzame specerij perfect kan identificeren, maar in de war raakt wanneer hem gevraagd wordt het verschil tussen zout en suiker te vertellen.

Waarom gebeurt dit?

Het team vroeg ook: "Wat maakt een robot verward?" Ze testten veel ideeën. Is het omdat de robot te klein is? Nee. Is het omdat hij getraind is op oude data? Nee. Is het omdat de ziekte zeldzaam is? Nee.

Ze vonden één ding dat verwarring sterk voorspelt: Erasure Retention (behoud na uitgummen). Stel je voor dat je een foto van een gebroken bot neemt en vervolgens een magische gum gebruikt om het gebroken deel weg te wissen, waardoor alleen het gezonde bot overblijft. Als je deze "uitgegumde" foto aan de robot laat zien, verandert zijn interne kaart dan?

Als de robot slim is, zou zijn kaart drastisch moeten verschuiven omdat het belangrijkste deel weg is.
Als de robot zwak is, beweegt zijn kaart nauwelijks. Het is alsof iemand naar een foto van een hond kijkt maar eigenlijk naar het gras op de achtergrond let; als je de hond uitgumt, merkt diegene het niet eens.

Het team vond dat de robots die nauwelijks bewogen wanneer het bewijs werd weggegumd, dezelfde robots waren die het meest in de war raakten. Dit suggereert dat de robots niet naar de ziekte zelf kijken, maar naar iets anders in de afbeelding, zoals de vorm van de ribbenkast of de belichting, en het eigenlijke probleem missen.

Het goede nieuws en het slechte nieuws

Het artikel eindigt met een hoopvolle maar realistische wending. Hoewel een enkele robot misschien in de war raakt, ontdekte het team dat als je een panel hebt van 11 verschillende robots, er bijna altijd één van hen is die het wel goed heeft.

Denk aan een groep detectives. Als één detective een aanwijzing mist, vangt een ander hem misschien wel op. Het team liet zien dat terwijl een enkele robot 35,9% van de gevallen kan missen, een slim systeem dat de beste robot voor elke specifieke afbeelding kiest, slechts 2,8% kan missen. De informatie is aanwezig; het is alleen verspreid over verschillende robots. Het probleem is niet dat de data ontbreekt; het is dat we nog geen systeem hebben gebouwd dat goed genoeg is om de juiste robot voor de klus te kiezen.

De kernboodschap

Dit artikel zegt niet dat we onze AI-artsen weg moeten gooien. In plaats daarvan geeft het ons een nieuwe, eerlijkere manier om te controleren of ze werken. Het vertelt ons dat deze bevroren robots niet blind zijn, maar fragiel. Ze kunnen gemakkelijk misleid worden en ze missen vaak de fijne details die er het meest toe doen. Door CANDOR te gebruiken, kunnen artsen en wetenschappers nu precies zien bij welke ziekten een robot zwak is, nog voordat ze hem gaan gebruiken. Het is een herinnering dat alleen omdat een robot groot en krachtig is, betekent niet dat hij alles helder ziet; soms heeft hij gewoon een betere kaart nodig.

Technisch overzicht: CANDOR – Kans-gekalibreerde Discordantie in Bevroren Foundation Encoders

Probleemstelling

De huidige evaluatie van bevroren foundation encoders leunt bijna uitsluitend op de prestaties van een lichtgewicht "head" (bijv. een lineaire classifier) die getraind is op de bevroren features van de encoder, typisch gemeten met de Area Under the Receiver Operating Characteristic Curve (AUROC). Deze metriek stuurt de keuzes voor implementatie aan, maar faalt in het blootleggen van een cruciale foutmodus: geometrische collaps.

Bestaande geometrische maten, zoals nearest-neighbor discordance, proberen te kwantificeren hoe goed een encoder klassen scheidt in zijn feature-ruimte. Echter, deze maten worden verward door klasse-prevalentie. Wanneer referentiebanken (positieve en negatieve monsters) van ongelijke grootte zijn, domineert de grotere bank de nearest-neighbor zoekopdracht vanwege de dichtheid in plaats van geometrische scheiding. Bijgevolg lijken zeldzame bevindingen "gecollabeerd" (d.w.z. positieven liggen dichter bij negatieven) simpelweg omdat negatieven talrijker zijn, en niet omdat de encoder een gebrek aan informatie heeft. Dit creëert een systematische bias waarbij de ernst van de gerapporteerde fout de zeldzaamheid van de bevinding volgt in plaats van de kwaliteit van de codering.

Methodologie: Het CANDOR-framework

De auteurs introduceren CANDOR (Chance-Calibrated Neighborhood DiscORdance), een maatstaf ontworpen om geometrische fouten te isoleren van prevalentie-bias.

Kernoperator

CANDOR meet het aandeel positieve monsters dat een encoder dichter bij hun tegenovergestelde label buren plaatst dan bij hun eigen soort, binnen een strikt gematchte acquisitiecontext (bijv. hetzelfde ziekenhuis, dezelfde projectie, hetzelfde aanzicht).

Context Matching: De dataset wordt gepartitioneerd in contexten $s$ op basis van acquisitie-covariaten (locatie, projectie, bron-dataset) om ervoor te zorgen dat vergelijkingen alleen worden gemaakt tussen afbeeldingen die enkel verschillen door de bevinding van belang.
Banks van gelijke grootte: Voor een query-positief $x$ in context $s$ , construeert de methode twee referentiebanken: een positieve bank $B^+_s$ en een negatieve bank $B^-_s$ , beide van gelijke grootte $n$ .
Discordance Metric ( $DM_g$ ): Voor een positieve query $x$ berekent de methode de gemiddelde cosinus-gelijkenis met zijn $k$ dichtstbijzijnde buren in de negatieve bank ( $c^-$ ) en de positieve bank ( $c^+$ ). De discordantie wordt gedefinieerd als $DM_g(x) = c^-(x) - c^+(x)$ .
De Operator ( $D$ ): De uiteindelijke metriek is de waarschijnlijkheid dat $DM_g(x) > 0$ voor een willekeurige positieve $x$ :
$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$
Dit vertegenwoordigt het aandeel positieven dat een encoder dichter bij de tegenovergestelde label plaatst dan bij hun eigen soort.

Theoretische Garanties

Exacte kansniveau: De auteurs bewijzen (Lemma 1) dat als de referentiebanken van gelijke grootte zijn, de labelgroepen uitwisselbaar zijn onder herlabeling. Daarom is de verwachte discordantierate voor een encoder zonder informatie over de bevinding (een "blinde" encoder) exact 0,5 (50%). Dit biedt een vaste, theoretische nulhypothese zonder dat empirische schatting nodig is.
Ongecorrigeerde Bias: De paper demonstreert dat ongelijke banks ( $m > n$ ) de discordantierate boven de 0,5 doen stijgen voor blinde encoders, waardoor de schijn van collaps voor zeldzame bevindingen systematisch wordt gecreëerd.

Aanvullende Instrumenten

Irreducibiliteitsgrens: De auteurs bewijzen dat als een positief monster een "discordante tweeling" heeft (een negatieve buur die dichterbij is dan elke positieve buur), de genormaliseerde marge ( $m/L$ ) van elke Lipschitz-head op die encoder wordt beperkt. Dit impliceert dat voor deze specifieke gevallen geen enkele hoeveelheid head-capaciteit de klassen kan scheiden; de fout is geometrisch.
Erasure Retention: Een label-vrije metriek die meet hoeveel de representatie verandert wanneer de geannoteerde bewijslastregio wordt geoccludeerd (met gemiddelde waarden gevuld). Hoge retentie (weinig beweging) suggereert dat de encoder niet naar het bewijs kijkt.
Neighborhood Impurity: Een label-vrije score die probeert discordante tweelingen te signaleren zonder grondwaarheid-labels, hoewel de paper vindt dat dit slecht presteert vergeleken met confidence-gebaseerde baselines.

Belangrijkste Bijdragen

Een kans-gekalibreerde operator: De introductie van referentiebanken van gelijke grootte fixeert het kansniveau exact op 0,5, wat de prevalentie-bias in bestaande discordantie-maten corrigeert.
Een irreducibiliteitsgrens: Een theoretisch bewijs dat discordante tweelingen een harde limiet opleggen aan de marge van elke Lipschitz-head, wat onderscheid maakt tussen "blinde" encoders (geen informatie) en "zwakke" encoders (informatie is aanwezig maar geometrisch gecomprimeerd).
Een uitgebreide kaart van falen: Een empirische analyse over 22 encoders, 20 datasets, 7 domeinen en 605.443 afbeeldingen, die onthult dat bevroren encoders niet blind zijn maar fijnmazige bevindingen zwak coderen, waarbij de foutpercentages significant variëren per domein.

Experimentele Resultaten

Omvang

De studie evalueert 22 bevroren encoders (inclusclusief RAD-DINO, DINOv3, CLIP, en domeinspecifieke modellen zoals Phikon en RETFound) over:

Borstthorax Radiografie: 12 bevindingen over 11 acquisitiecontexten (MIMIC-CXR, CheXpert, etc.).
Andere Medische Domeinen: Histopathologie, Fundus (Retinopathie, Glaucoom), Dermatologie, Mammografie.
Natuurlijke Domeinen: Vogelsoorten, Vliegtuigvarianten.

Belangrijkste Bevindingen

Niet Blind, Maar Zwak: In tegenstelling tot de hypothese dat encoders "blind" zijn voor fijnmazige medische bevindingen, laat de gecorrigeerde CANDOR-metriek zien dat geen enkele encoder echt blind is (alle scores liggen significant onder het 50% kansniveau). Ze zijn echter zwak.
- Voorbeeld: Het beste borstmodel (RAD-DINO) bereikt een AUROC van 84,5 voor pneumothorax, maar plaatst nog steeds 18,4% van de pneumothorax-positieven dichter bij een negatieve film dan bij een positieve film binnen hetzelfde ziekenhuis.
- Voorbeeld: Over 12 borstbevindingen is de gemiddelde discordantierate 27,7%.
Domeinvariantie: De zwakte is niet uniform.
- Opgelost: Histopathologie (tumor tiles) en vogelsoorten zijn goed opgelost (discordantierates ~2,7%–7,7%).
- Zwak: Borstbevindingen hebben een mediaan van 42,1%.
- Kansniveau: Glaucoom en mammografische maligniteit worden gecodeerd op of nabij het kansniveau (49,8%–50,0%), en presteren niet beter dan een willekeurig geïnitialiseerde ViT.
Selectie vs. Informatie: Hoewel een enkele Lipschitz-head wordt beperkt door de geometrie van discordante tweelingen, kan een "oracle" selector die de beste head per afbeelding kiest, aanzienlijke prestaties terugwinnen. In gevallen waar een enkele head 35,9% van de positieven mist, mist een selector onder 11 heads slechts 2,8%. Het tekort is selectie, niet informatie.
Erasure Retention Correlatie: Er is een sterke positieve correlatie (Spearman 0,855) tussen erasure retention (hoe weinig de embedding beweegt wanneer de bevinding wordt geoccludeerd) en de discordantierate. Encoders die nauwelijks bewegen wanneer het bewijs wordt verwijderd, zijn degenen die positieven naast hun tegenovergestelde plaatsen.
Geen Associatie met Andere Factoren: De fout is niet geassocieerd met de pre-training doelstelling (SSL vs. I-T vs. Supervised), model schaal, release jaar, of de grootte van de bevinding.

Betekenis en Claims

De paper claimt dat CANDOR een pre-training diagnostisch hulpmiddel is dat kan aangeven welke bevindingen een bevroren encoder slecht ondersteunt voordat er überhaupt een head getraind wordt.

Omkering van Conclusies: De correctie keert de interpretatie van encoder-falen om. In plaats van dat zeldzame bevindingen "gecollabeerd" worden door prevalentie, worden ze onthuld als een specifiek, meetbare zwakte in de codering.
Structurele Beperking: De fout is structureel. Als een discordante tweeling bestaat, voorkomt de geometrie zelf dat elke Lipschitz-head een brede marge bereikt. De enige ontsnapping is een niet-Lipschitz selectieregel (het kiezen van verschillende encoders voor verschillende afbeeldingen), wat toegang tot het label tijdens inferentie vereist.
Praktische Implicatie: Bevroren encoders zijn niet universeel "blind" voor fijnmazige klinische bewijslast; ze coderen specifieke soorten bewijslast (zoals borstbevindingen) eerder zwak. Deze zwakte is meetbaar, onherleidbaar door head-architectuur, en in kaart te brengen over domeinen.

De auteurs concluderen dat hoewel het gat tussen wat een panel van encoders weet en wat een enkele bevroren encoder kan extraheren groot is, de directe waarde van CANDOR ligt in het identificeren van "zachte grond" — specifieke bevindingen waarbij de bevroren geometrie onvoldoende is voor betrouwbare scheiding.