Uncertainty Estimation in Pathology Foundation Models via Deep Mutual Learning

Sintesi Tecnica: Stima dell'Incertezza nei Modelli di Fondazione per la Patologia tramite Deep Mutual Learning

Problematica
I Modelli di Fondazione per la Patologia (PFM) hanno dimostrato forti capacità di generalizzazione nell'estrazione di rappresentazioni da immagini a intero vetrino (WSI) per compiti quali l'analisi della sopravvivenza, la scoperta di biomarcatori e la sottotipizzazione tumorale. Tuttavia, la loro traduzione nella pratica clinica di routine è ostacolata da due criticità fondamentali:

1. Mancanza di Stime di Confidenza: Le attuali pipeline PFM producono tipicamente predizioni senza misure esplicite di confidenza o incertezza. In contesti clinici, i modelli devono non solo essere accurati, ma anche capaci di indicare quando le loro predizioni sono incerte per supportare un processo decisionale sicuro.
2. Prestazioni Dipendenti dal Task: Nessun singolo PFM è universalmente superiore in tutti i downstream task, dataset e contesti clinici. La selezione del modello ottimale per il deployment è complessa, e fare affidamento su un singolo modello comporta il rischio di prestazioni subottimali o di eccessiva sicurezza (overconfidence) in casi soggetti a fallimenti.

I metodi di fusione attuali spesso migliorano le prestazioni, ma non forniscono stime di incertezza esplicite e agnostiche rispetto al task. Al contrario, i metodi di quantificazione dell'incertezza come i deep ensemble o il Monte Carlo dropout non sono progettati specificamente per gli ensemble di PFM o sono specifici per un task (ad esempio, limitati alla diagnosi di glioblastoma).

Metodologia: Framework DICE
Gli autori propongono DICE (Disagreement-Informed Coordination of Experts), un framework "plug-and-play" che aggrega $K$ PFM congelati per stimare l'incertezza e migliorare le prestazioni downstream. L'intuizione centrale è che il disaccordo tra PFM eterogenei funga da segnale informativo per l'incertezza, a condizione che tale disaccordo sia strutturato piuttosto che dominato dal rumore di ottimizzazione.

Il framework opera come segue:

1. Architettura: Il sistema utilizza $K$ PFM congelati (ad es., Virchow2, UNI2-h, H-optimus-1, CONCHv1.5, Hibou-L). Ogni PFM funge da "esperto" $E^{(k)}$, accoppiato con un aggregatore Multiple Instance Learning (MIL) indipendente (specificamente ABMIL) e un modulo di classificazione.

2. Obiettivi di Addestramento: Per garantire che il disaccordo dell'ensemble rifletta un'incertezza significativa e non rumore, gli esperti sono accoppiati durante l'addestramento tramite tre obiettivi:

   • Perdita Supervisionata ($L_{sup}$): Standard cross-entropy loss per garantire una classificazione accurata a livello di vetrino.
   • Deep Mutual Learning ($L_{DML}$): Un obiettivo di allineamento nello spazio delle predizioni in cui ogni esperto minimizza la divergenza di Kullback–Leibler (KL) tra la propria distribuzione predittiva e quelle dei suoi $K-1$ pari. Ciò incoraggia il consenso pur mantenendo l'allineamento con la verità di base (ground truth).
   • Regolarizzazione Gramiana ($L_{Gram}$): Un obiettivo di allineamento nello spazio delle rappresentazioni basato sulla misura di Gram. Incoraggia gli embedding a livello di vetrino degli esperti a coprire un sottospazio a basso volume, prevenendo il disallineamento geometrico che potrebbe essere scambiato per incertezza.
   • Perdita Totale: L'obiettivo di addestramento combina questi termini: $L = L_{sup} + L_{DML} + \lambda_{Gram}(t) L_{Gram}$, dove $\lambda_{Gram}$ segue uno schema di warm-up.

3. Inferenza e Stima dell'Incertezza:

   • Proxy di Incertezza: All'inferenza, la predizione dell'ensemble è la media delle distribuzioni dei $K$ esperti. L'incertezza predittiva totale è scomposta in componenti aleatorie (dati) ed epistemiche (modello). Gli autori dimostrano teoricamente che l'incertezza epistemica (disaccordo residuo) è limitata superiormente dalla perdita aggregata DML. Pertamente, minimizzare la perdita DML durante l'addestramento contrae il limite superiore dell'incertezza del modello.
   • Localizzazione: La localizzazione delle lesioni a livello di patch è ottenuta in modo non supervisionato calcolando il consenso dei pesi di attenzione tra tutti gli esperti.

Contributi Chiave

1. Primo Framework Agnostico rispetto al Task: DICE è il primo framework che sfrutta gli ensemble di PFM specificamente per la stima dell'incertezza agnostica rispetto al task nella patologia computazionale.
2. Fondamento Teorico: L'articolo fornisce una prova teorica secondo cui la minimizzazione dell'obiettivo di allineamento DML durante l'addestramento contrae un limite superiore sull'incertezza epistemica dell'ensemble, validando l'uso del disaccordo residuo come un affidabile proxy di incertezza.
3. Prestazioni Empiriche: Esperimenti estesi dimostrano che DICE non solo segnala efficacementamente i campioni soggetti a fallimento (sia in-distribution che out-of-distribution), ma eguaglia o supera i singoli PFM allo stato dell'arte (SOTA) e i baseline di fusione in termini di classificazione, calibrazione e localizzazione non supervisionata delle lesioni.

Risultati Sperimentali
Il framework è stato valutato su tre benchmark WSI debolmente supervisionati: PANDA (gradazione del cancro alla prostata), CAMELYON16 e CAMELYON17 (rilevamento di metastasi linfonodali nel seno).

• Classificazione e Calibrazione: DICE ha ottenuto i punteggi F1 più elevati e la Negative Log-Likelihood (NLL) più bassa nella maggior parte dei dataset. Su PANDA, ha migliorato l'F1 di 3,8 punti percentuali rispetto al miglior singolo PFM e di 2,8 punti rispetto al miglior baseline di fusione.
• Stima dell'Incertezza: Negli esperimenti di predizione selettiva, DICE ha differito efficacemente i vetrini ad alta incertezza, risultando nei tassi di errore trattenuti più bassi. Ha dimostrato una separazione superiore tra predizioni corrette e errate (misurata tramite Cliff's $\Delta$) rispetto a Monte Carlo Dropout e altri metodi di fusione. Questa capacità è rimasta costante anche sotto shift di coorte (ad esempio, addestramento su CAMELYON16 e test su CAMELYON17).
• Localizzazione: Aggregando le mappe di attenzione, DICE ha fornito una localizzazione a livello di patch non supervisionata che è competitiva o superiore ai singoli modelli, in particolare concentrando l'attenzione all'interno delle regioni tumorali annotate piuttosto che nel tessuto stromale circostante.
• Studi di Ablazione: Il framework si è dimostrato robusto alla scelta dell'aggregatore MIL (DSMIL, TransMIL) e ha mostrato che aumentare il numero di esperti produce rendimenti decrescenti una volta che lo spazio delle caratteristiche è sufficientemente coperto, evidenziando l'importanza della complementarità degli esperti rispetto al mero volume dell'ensemble.

Significatività e Rivendicazioni
L'articolo posiziona DICE come un passo cruciale verso la traduzione dei PFM in sistemi di supporto decisionale consapevoli dell'incertezza. Stabilendo un approccio teoricamente fondato per fondere i PFM, DICE affronta la natura "black box" degli attuali modelli, offrendo un meccanismo per identificare i casi soggetti a errori e per delegare in sicurezza la decisione ai clinici. Gli autori affermano che il loro metodo rende i PFM più affidabili in contesti clinici fornendo stime di incertezza affidabili senza richiedere una supervisione esplicita per la localizzazione o la calibrazione della confidenza.

Gli autori riconoscono i limiti, inclusi il costo computazionale dell'estrazione delle caratteristiche da $K$ modelli congelati (sebbene i costi di addestramento rimangano inferiori al fine-tuning end-to-end) e la necessità di bilanciare attentamente allineamento e diversità per evitare di sopprimere proprio il disaccordo necessario per la stima dell'incertezza. Concludono che, sebbene il numero di esperti sia attualmente fisso, il framework apre la strada a modelli di patologia più affidabili e consapevoli dell'incertezza, integrabili nei flussi di lavoro clinici.