🤖 machine learning

CANDOR: Chance-Calibrated Discordance in Frozen Foundation Encoders

Il documento introduce CANDOR, una metrica di discordanza calibrata sulla probabilità che rivela come i codificatori di base congelati non siano intrinsecamente ciechi ai reperti medici, ma soffrano di una debole separazione geometrica e di una scarsa selezione della testa, come dimostrato dai loro elevati tassi di errore dei vicini più prossimi anche quando teste leggere ottengono prestazioni elevate.

Autori originali: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Pubblicato 2026-07-22

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Soroosh Tayebi Arasteh, Sven Nebelung, Daniel Truhn

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot a riconoscere diversi tipi di uccelli. Gli mostri milioni di foto e lui impara a individuare un "pettirosso" o un "passero" osservando le forme e i colori nelle immagini. È così che funzionano i moderni "modelli di base": sono cervelli giganti, pre-addestrati, che hanno visto quasi tutto, dai gatti alle auto fino alle nuvole. Ora, immagina di voler usare lo stesso robot per aiutare i medici a leggere le radiografie. Non vuoi riaddestrare l'intero robot; vuoi solo agganciare una "testa" minuscola e semplice che dica "sì, c'è un osso rotto" o "no, tutto sembra normale".

La grande domanda è: il robot vede effettivamente l'osso rotto nella sua memoria interna, o sta solo indovinando basandosi su altri indizi? Di solito, controlliamo se il robot è bravo vedendo quante volte la testina ottiene la risposta corretta. Ma cosa succederebbe se la mappa interna del robot fosse disordinata? Cosa succederebbe se, nel profondo del suo cervello, l'immagine di un osso rotto somigliasse più a un'immagine di un osso sano che a un'altra immagine di un osso rotto? Se ciò fosse vero, il robot non sarebbe "cieco", sarebbe solo "confuso". È come un bibliotecario che ha organizzato i libri per colore invece che per storia; può trovare un libro rosso, ma non può dirti se è un giallo o un romanzo solo guardando lo scaffale. Questo articolo pone una domanda cruciala: quando questi potenti robot sono congelati al loro posto, sono davvero ciechi ai dettagli medici o sono solo deboli nel distinguerli?

Il problema del vecchio metodo

Per molto tempo, gli scienziati hanno misurato questi robot congelati in base a quanto bene una semplice "testa" riuscisse a leggere le loro caratteristiche. Se la testa otteneva un punteggio alto, tutti assumevano che il robot fosse intelligente. Ma gli autori di questo articolo, Soroosh Tayebi Arasteh e il suo team, si sono resi conto che questo metodo era come giudicare uno chef in base a quanto bene riesce a servire un pasto senza controllare se il cibo sia effettivamente cotto.

Hanno scoperto una trappola nascosta nel modo in cui misuriamo la "confusione". Immagina di cercare un amico in una stanza affollata. Se il tuo amico indossa un cappello rosso, e ci sono 100 persone con cappelli rossi ma solo 1 persona con un cappello blu, e chiedi al robot di trovare la persona con il cappello blu, il robot potrebbe semplicemente rispondere "blu" perché è raro. Gli antichi strumenti di misurazione venivano ingannati da quanto una malattia fosse comune o rara. Se una malattia era rara, gli strumenti dicevano che il robot era "collassato" (completamente inutile) solo perché la matematica era sbilanciata, non perché il robot fosse realmente scarso. Era come incolpare un detective per non essere riuscito a trovare un ago in un pagliaio, quando il vero problema era che il pagliaio era fatto per il 99% di aghi e l'1% di fieno.

Entra in scena CANDOR: Il Giudice Equo

Per risolvere questo problema, il team ha inventato un nuovo strumento chiamato CANDOR (Chance-Calibrated Discordance - Discordanza Calibrata sulla Probabilità). Pensa a CANDOR come a un arbitro che si assicura che la partita sia equa prima che suoni il fischio d'inizio.

Ecco come funziona: invece di lasciare che il robot guardi una folla disordinata, CANDOR organizza un gioco perfettamente bilanciato. Prende l'immagine di un paziente con un problema specifico (come un polmone collassato, chiamato pneumotorace) e chiede al robot di trovare i suoi cinque "vicini" più prossimi nella sua memoria. Ma ecco il trucco: CANDOR costringe il robot a scegliere tra due gruppi di vicini che hanno esattamente la stessa dimensione. Un gruppo ha pazienti con il problema, e l'altro gruppo ha pazienti senza di esso.

Se il robot è davvero bravo, i pazienti con il problema dovrebbero essere più vicini al gruppo del "problema". Se il robot è confuso, i pazienti con il problema saranno più vicini al gruppo del "nessun problema". Poiché i gruppi sono della stessa dimensione, il robot ha il 50% di probabilità di indovinare per puro caso. Questo fornisce agli scienziati un perfetto "livello di probabilità" rispetto al quale confrontarsi.

La scoperta scioccante: Non cieco, solo debole

Quando il team ha testato CANDOR su 22 diversi robot potenti attraverso 20 dataset differenti (inclusi raggi X del torace, scansioni oculari e persino foto di uccelli), ha scoperto qualcosa di sorprendente.

In primo luogo, hanno dimostrato che i robot non sono ciechi. I vecchi strumenti avevano fatto sembrare che i robot fossero completamente inutili per le malattie rare, ma CANDOR ha dimostrato che i robot possied ability in realtà hanno l'informazione. Non stanno fissando un muro vuoto; sono solo fermi in una stanza nebbiosa.

Tuttavia, i robot sono molto deboli. Anche il miglior robot dello studio, chiamato RAD-DINO, che è addestrato specificamente su raggi X del torace, rimaneva confuso circa il 18,4% delle volte nei casi di pneumotorace. Ciò significa che per quasi uno paziente su cinque con un polmone collassato, la mappa interna del robot ha posizionato quel paziente più vicino a una persona sana che a un'altra persona con un polmone collassato.

I numeri erano ancora più netti per altre condizioni. Per il glaucoma (una malattia dell'occhio), il miglior robot si è comportato allo stesso livello del puro caso (50%), il che significa che non era meglio di un lancio di moneta. Per le specie di uccelli, lo stesso robot era un genio, confondendosi solo il 4,5% delle volte. Ma per i raggi X del torace, era confuso per il 42,8% delle volte. È come se il robot fosse uno chef stellato che sa identificare perfettamente una spezia rara, ma si confonde quando gli viene chiesto di distinguere tra sale e zucchero.

Perché succede questo?

Il team si è anche chiesto: "Cosa rende un robot confuso?". Hanno testato molte idee. È perché il robot è troppo piccolo? No. È perché è stato addestrato su dati vecchi? No. È perché la malattia è rara? No.

Hanno trovato una cosa che predice fortemente la confusione: la Ritenzione dell'Erasure (Erasure Retention). Immagina di prendere la foto di un osso rotto e poi di usare una gomma magica per cancellare la parte rotta, lasciando solo l'osso sano. Se mostri questa foto "cancellata" al robot, la sua mappa interna cambia?

Se il robot è intelligente, la sua mappa dovrebbe cambiare drasticamente perché la parte più importante è sparita.
Se il robot è debole, la sua mappa si muove appena. È come una persona che guarda la foto di un cane ma si sta concentrando sull'erba dello sfondo; se cancelli il cane, non se ne accorge.

Il team ha scoperto che i robot che si muovevano appena quando l'evidenza veniva cancellata erano gli stessi che si confondevano di più. Questo suggerisce che i robot non guardano la malattia in sé, ma guardano qualcos'altro nell'immagine, come la forma della gabbia toracica o l'illuminazione, perdendo di vista il problema reale.

Le buone e le cattive notizie

L'articolo si conclude con un colpo di scena speranzoso ma realistico. Anche se un singolo robot potrebbe confondersi, il team ha scoperto che se hai un pannello di 11 diversi robot, c'è quasi sempre uno di loro che indovina.

Pensa a un gruppo di detective. Se un detective perde un indizio, un altro potrebbe coglierlo. Il team ha dimostrato che mentre un singolo robot potrebbe mancare il 35,9% dei casi, un sistema intelligente che sceglie il miglior robot per ogni specifica immagine potrebbe mancare solo il 2,8%. L'informazione c'è; è solo sparsa tra diversi robot. Il problema non è che i dati mancano; è che non abbiamo costruito un sistema abbastanza buono da scegliere il robot giusto per il compito.

Il punto fondamentale

Questo articolo non dice che dobbiamo buttare via i nostri medici IA. Al contrario, ci offre un modo nuovo e più equo per controllare se stanno funzionando. Ci dice che questi robot congelati non sono ciechi, ma sono fragili. Possono essere facilmente ingannati e spesso perdono i dettagli fini che contano di più. Usando CANDOR, medici e scienziati possono ora individuare esattamente per quali malattie un robot è debole prima ancora di provare a usarlo. È un promemoria del fatto che solo perché un robot è grande e potente non significa che veda tutto chiaramente; a volte, ha solo bisogno di una mappa migliore.

Riepilogo Tecnico: CANDOR – Discordanza Calibrata sulla Probabilità nei Codificatori di Fondazione Congelati

Definizione del Problema

La valutazione attuale dei codificatori di fondazione congelati (frozen foundation encoders) si basa quasi esclusivamente sulle prestazioni di una "testa" leggera (ad esempio, un classificatore lineare) addestrata sulle caratteristiche congelate del codificatore, tipicamente misurata tramite l'Area Sotto la Curva ROC (AUROC). Questa metrica governa le scelte di implementazione, ma non riesce a rivelare un modo di guasto critico: il collasso geometrico.

Le misure geometriche esistenti, come la discordanza dei vicini più prossimi, tentano di quantificare quanto bene un codificatore separi le classi nel suo spazio delle caratteristiche. Tuttavia, tali misure sono confuse dalla prevalenza della classe. Quando i bank di riferimento (campioni positivi e negativi) sono di dimensioni disuguali, il bank più grande domina la ricerca del vicino più prossimo a causa della densità piuttosto che della separazione geometrica. Di conseguenza, i risultati rari appaiono "collassati" (ovvero, i positivi sono più vicini ai negativi) semplicemente perché i negativi sono più numerosi, non perché il codificatore manchi di informazioni. Ciò crea un bias sistematico in cui la gravità del guasto riportato segue la rarità del reperto piuttosto che la qualità della codifica.

Metodologia: Il Framework CANDOR

Gli autori introducono CANDOR (Chance-Calibrated Neighborhood DiscORdance), una misura progettata per isolare il guasto geometrico dal bias di prevalenza.

Operatore Centrale

CANDOR misura la proporzione di campioni positivi che un codificatore posiziona più vicino ai propri vicini con etichetta opposta rispetto ai propri simili, all'interno di un contesto di acquisizione strettamente coordinato (ad esempio, stesso ospedale, stessa proiezione, stessa vista).

Corrispondenza del Contesto: Il dataset è partizionato in contesti $s$ basati su covariate di acquisizione (sito, proiezione, dataset di origine) per garantire che i confronti avvengano solo tra immagini che differiscono unicamente per il reperto di interesse.
Bank di Dimensioni Uguali: Per un query positivo $x$ nel contesto $s$ , il metodo costruisce due bank di riferimento: un bank positivo $B^+_s$ e un bank negativo $B^-_s$ , entrambi di dimensione $n$ uguale.
Metrica di Discordanza ( $DM_g$ ): Per un query positivo $x$ , il metodo calcola la similitudine del coseno media rispetto ai suoi $k$ vicini più prossimi nel bank negativo ( $c^-$ ) e nel bank positivo ( $c^+$ ). La discordanza è definita come $DM_g(x) = c^-(x) - c^+(x)$ .
L'Operatore ( $D$ ): La metrica finale è la probabilità che $DM_g(x) > 0$ per un $x$ positivo casuale:
$D(g; F, s) = \Pr[DM_g(x) > 0 \mid F(x) = 1, x \in s]$
Questa rappresenta la quota di positivi che un codificatore posiziona più vicino all'etichetta opposta rispetto alla propria.

Garanzie Teoriche

Livello di Caso Esatto: Gli autori dimostrano (Lemma 1) che se i bank di riferimento sono di dimensioni uguali, i gruppi di etichette sono scambiabili sotto ridenominazione. Pertanto, per un codificatore privo di informazioni sul reperto (un codificatore "cieco"), il tasso di discordanza atteso è esattamente 0,5 (50%). Questo fornisce un'ipotesi nulla teorica fissa senza richiedere stime empiriche.
Bias Non Corretto: Il paper dimostra che bank disuguali ( $m > n$ ) causano un tasso di discordanza superiore a 0,5 per i codificatori ciechi, fabbricando sistematicamente l'apparenza di un collasso per i reperti rari.

Strumenti Aggiuntivi

Limite di Irriducibilità: Gli autori dimostrano che se un campione positivo ha un "gemello discordante" (un vicino negativo più vicino di qualsiasi vicino positivo), il margine normalizzato ( $m/L$ ) di qualsiasi testa Lipschitz su quel codificatore è limitato. Ciò implica che per questi casi specifici, nessuna capacità della testa può separare le classi; il guasto è geometrico.
Ritenzione dell'Oscuramento (Erasure Retention): Una metrica senza etichette che misura quanto cambia la rappresentazione quando la regione di evidenza annotata viene oscurata (riempita con la media). Un'alta ritenzione (poco movimento) suggerisce che il codificatore non sta prestando attenzione all'evidenza.
Impurità del Vicinato: Un punteggio senza etichette che tenta di segnalare i gemelli discordanti senza etichette di verità fondamentale (ground truth), sebbene il paper rilevi che questo performa scarsamente rispetto ai baseline basati sulla confidenza.

Contributi Chiave

Un Operatore Calibrato sulla Probabilità: L'introduzione di bank di riferimento di dimensioni uguali fissa il livello di caso esattamente a 0,5, correggendo il bias di prevalenza nelle misure di discordanza esistenti.
Un Limite di Irriducibilità: Una prova teorica che mostra come i gemelli discordanti impongano un limite massimo al margine di qualsiasi testa Lipschitz, distinguendo tra codificatori "ciechi" (assenza di informazioni) e "deboli" (le informazioni esistono ma sono geometricamente compresse).
Una Mappa Completa dei Guasti: Un'analisi empirica su 22 codificatori, 20 dataset, 7 domini e 605.463 immagini, che rivela che i codificatori congelati non sono ciechi ma codificano i reperti fini in modo debole, con tassi di guasto che variano significativamente per dominio.

Risultati Sperimentali

Ambito

Lo studio valuta 22 codificatori congelati (inclusi RAD-DINO, DINOv3, CLIP e modelli specifici per dominio come Phikon e RETFound) attraverso:

Radiografia del Torace: 12 reperti su 11 contesti di acquisizione (MIMIC-CXR, CheXpert, ecc.).
Altri Domini Medici: Istopatologia, Fondo oculare (Retinopatia, Glaucoma), Dermatologia, Mammografia.
Domini Naturali: Specie di uccelli, Varianti di aeromobili.

Risultati Chiave

Non Ciechi, Ma Deboli: Contrariamente all'ipotesi che i codificatori siano "ciechi" rispetto ai reperti medici fini, la metrica CANDOR corretta mostra che nessun codificatore è veramente cieco (tutti i punteggi sono significativamente inferiori al livello di caso del 50%). Tuttavia, sono deboli.
- Esempio: Il miglior modello per il torace (RAD-DINO) ottiene un AUROC di 84,5 per il pneumotorace, ma posiziona comunque il 18,4% dei positivi al pneumotorace più vicino a una pellicola negativa rispetto a una positiva all'interno dello stesso ospedale.
- Esempio: Tra i 12 reperti toracici, il tasso di discordanza medio è del 27,7%.
Varianza di Dominio: La debolezza non è uniforme.
- Risolti: L'istopatologia (tile tumorali) e le specie di uccelli sono risolti bene (tassi di discordanza ~2,7%–7,7%).
- Deboli: I reperti toracici hanno una mediana di discordanza di 42,1%.
- Livello di Caso: Il glaucoma e la malignità mammografica sono codificati al livello o vicino al livello di caso (49,8%–50,0%), performando non meglio di un ViT con inizializzazione casuale.
Selezione vs. Informazione: Mentre una singola testa Lipschitz è limitata dalla geometria dei gemelli discordanti, un "selettore oracle" che sceglie la migliore testa per immagine può recuperare prestazioni significative. Nei casi in cui una singola testa manca il 35,9% dei positivi, un selettore tra 11 teste manca solo il 2,8%. Il deficit è di selezione, non di informazione.
Correlazione con la Ritenzione dell'Oscuramento: Esiste una forte correlazione positiva (Spearman 0.855) tra la ritenzione dell'oscuramento (quanto poco si muove l'embedding quando l'evidenza viene oscurata) e il tasso di discordanza. I codificatori che si muovono appena quando l'evidenza viene rimossa sono quelli che posizionano i positivi accanto ai loro opposti.
Nessuna Associazione con Altri Fattori: Il guasto non è associato all'obiettivo di pre-training (SSL vs. I-T vs. Supervised), alla scala del modello, all'anno di rilascio o alla dimensione del reperto.

Significato e Rivendicazioni

Il paper sostiene che CANDOR fornisce uno strumento diagnostico di pre-training che può segnalare quali reperti un codificatore congelato supporta scarsamente prima che venga addestrata qualsiasi testa.

Inversione delle Conclusioni: La correzione inverte l'interpretazione del guasto del codificatore. Inveve di considerare i reperti rari come "collassati" a causa della prevalenza, essi vengono rivelati come codificati con una specifica, misurabile debolezza.
Limite Strutturale: Il guasto è strutturale. Se esiste un gemello discordante, la geometria stessa impedisce a qualsiasi testa Lipschitz di raggiungere un ampio margine. L'unica via d'uscita è una regola di selezione non-Lipschitz (scegliere codificatori diversi per diverse immagini), che richiede l'accesso all'etichetta durante l'inferenza.
Implicazione Pratica: I codificatori congelati non sono universalmente "ciechi" rispetto alle evidenze cliniche fini; piuttosto, codificano specifici tipi di evidenza (come i reperti toracici) in modo debole. Questa debolezza è misurabile, irriducibile dall'architettura della testa e mappabile attraverso i domini.

Gli autori concludono che, sebbene il divario tra ciò che un pannello di codificatori conosce e ciò che un singolo codificatore congelato può estrarre sia ampio, il valore immediato di CANDOR è la sua capacità di identificare il "terreno soffice" (soft ground) — ovvero, specifici reperti dove la geometria congelata è insufficiente per una separazione affidabile.