Riepilogo Tecnico: Benchmarking di Modelli Fondamentali per la Classificazione delle Figure Mitotiche

Definizione del Problema

Nella patologia computazionale, le prestazioni dei modelli di deep learning sono fortemente limitate dalla scarsità di dataset di alta qualità annotati da esperti. L'annotazione di Immagini Intere di Vetrini (WSI) è un lavoro laborioso, soggetto a variabilità inter-operatore e complicato dai cambiamenti di dominio derivanti da differenze nei protocolli di colorazione e nei dispositivi di scansione. Sebbene l'apprendimento auto-supervisionato (SSL) abbia permesso l'addestramento di modelli fondanti su larga scala basati su vasti dataset non etichettati, manca un'analisi approfondita su come questi modelli si comportino in compiti specifici e granulari come la classificazione delle figure mitotiche sotto diversi regimi di dati. In particolare, rimane da chiarire come diverse strategie di adattamento (ad esempio, linear probing rispetto al fine-tuning efficiente dei parametri) scalino con la disponibilità di dati e quanto siano robusti questi modelli quando applicati a domini tumorali non visti (out-of-distribution).

Metodologia

Gli autori hanno condotto uno studio di benchmarking sistematico valutando sei modelli fondanti specifici per la patologia allo stato dell'arte rispetto ai baseline tradizionali.

Dataset

Sono stati utilizzati due dataset pubblici:

1. CCMCT: Un dataset su larga scala, a dominio singolo, di mastocitosi cutanea canina (32 WSI, ~45k figure mitotiche). Utilizzato per gli esperimenti di scaling dei dati.
2. MIDOG 2022: Un dataset altamente diversificato, multi-dominio, che spazia attraverso cinque tipi di tumore (canino e umano), molteplici specie e vari scanner. Utilizzato per gli esperimenti di robustezza cross-domain.

Modelli Valutati

Lo studio ha confrontato sei modelli fondanti per la patologia (Phikon, UNI, Virchow, Virchow2, H-optimus-0, Prov-GigaPath) e un Vision Transformer generico (ViT-S DINOv3) contro i baseline tradizionali (ResNet50, ViT-S/B/H). I modelli fondanti variano per dimensione del backbone (da ViT-B a ViT-G), algoritmi di pretraining (iBOT, DINOv2) e scala dei dati di pretraining (fino a 2 miliardi di tile).

Strategie di Adattamento

Sono stati testati tre approcci di adattamento primari:

1. Linear Probing: Il backbone è congelato e viene addestrato solo un classificatore lineare sopra le caratteristiche estratte.
2. Low-Rank Adaptation (LoRA): Una tecnica di fine-tuning efficiente dei parametri in cui matrici a basso rango vengono iniettate nei livelli di attenzione e MLP, consentendo un fine-tuning selettivo con un numero minimo di parametri addestrabili.
3. End-to-End Fine-Tuning: Addestramento supervisionato tradizionale dell'intero modello (utilizzato per i baseline e per il confronto).

Disegno Sperimentale

• Scaling dei Dati: I modelli sono stati addestrati sullo 0,1%, 1%, 10% e 100% dei dati di addestramento per valutare le prestazioni in scenari con scarsità e abbondanza di dati.
• Cross-Domain: Utilizzando il MIDOG 2022, i modelli sono stati addestrati su un dominio tumorale e testati su tutti gli altri per valutare la generalizzazione a distribuzioni non viste.
• Metriche: Le prestazioni sono state valutate utilizzando l'Accuratezza Bilanciata, l'F1 Pesato e l'AUROC, con la significatività statistica testata tramite i test di Wilcoxon signed-rank.

Contributi Chiave

1. Benchmarking Sistematico: Il documento fornisce una valutazione completa degli attuali modelli fondanti per la patologia specificamente per il compito della classificazione delle figure mitotiche, un marker prognostico critico.
2. Confronto delle Strategie di Adattamento: Confronta rigorosamente il linear probing con LoRA, dimostrando che LoRA supera costantemente il linear probing, in particolare nei regimi di dati scarsi.
3. Leggi di Scaling dei Dati: Lo studio quantifica la relazione tra la dimensione dei dati di addestramento e le prestazioni del modello, mostrando che i modelli fondanti adattati con LoRA possono raggiungere prestazioni vicine a quelle del 100% dei dati utilizzando solo il 10% dei dati.
4. Robustezza Cross-Domain: Il lavoro valuta la capacità di questi modelli di generalizzare attraverso diversi tipi di tumore e specie, evidenziando l'efficacia di LoRA nel colmare il divario tra scenari in-domain e out-of-domain.

Risultati

• Superiorità di LoRA: In entrambi i dataset e a tutte le scale di dati, i modelli fondanti adattati con LoRA hanno superato significativamente quelli che utilizzano il linear probing. Nel dataset CCMCT, i modelli adattati con LoRA hanno raggiunto livelli di prestazione comparabili alla disponibilità del 100% dei dati utilizzando solo il 10% di essi.
• Superamento dei Baseline: Alla scala completa dei dati, i modelli fondanti adattati con LoRA (specificamente Virchow2 e H-optimus-0) hanno eguagliato o superato le prestazioni delle architetture tradizionali completamente fine-tunnate (ResNet50). Tuttavia, il solo linear probing è generalmente risultato inferiore rispetto ai baseline addestrati end-to-end.
• Generalizzazione Cross-Domain: Nell'esperimento cross-domain, i modelli adattati con LoRA hanno dimostrato una notevole robustezza. Modelli come H-optimus-0 e Virchow2 hanno raggiunto punteggi di AUROC out-of-domain rispettivamente di 0,88 e 0,87, quasi colmando il divario con le loro prestazioni in-domain. Al contrario, i baseline tradizionali e gli approcci di linear probing hanno mostrato cali di prestazione significativi nei domini non visti.
• Specifiche del Modello: I modelli fondanti più recenti e grandi (Virchow2, H-optimus-0) hanno generalmente prodotto i risultati migliori. Il modello generico ViT-S DINOv3 è risultato inferiore rispetto ai modelli fondanti specifici per la patologia, indicando che il pretraining specifico per il dominio è cruciale.

Significato e Rivendicazioni

Gli autori affermano che il loro lavoro dimostra il valore pratico delle strategie di adattamento dei parametri efficienti (LoRA) per le applicazioni cliniche dove i dati annotati sono scarsi ed eterogenei. Le conclusioni suggeriscono che:

• I modelli fondanti, quando adattati tramite LoRA, offrono un rapporto superiore tra costo computazionale e prestazioni, consentendo soluzioni robuste che si generalizzano attraverso diversi contesti clinici.
• Le "leggi di scaling dei dati" osservate indicano che una classificazione delle figure mitotiche ad alte prestazioni è raggiungibile con significativamente meno dati etichettati di quanto precedentemente ritenuto necessario per l'apprendimento supervisionato tradizionale.
• Sebbene le architetture tradizionali con fine-tuning completo rimangano competitive quando vi è un'ampia disponibilità di dati, i modelli fondanti adattati con LoRA forniscono un approccio più scalabile e robusto per l'implementazione nel mondo reale, dove i cambiamenti di dominio sono comuni.

Il documento conclude che, sebbene i modelli fondanti siano pronti a trasformare la patologia computazionale, il lavoro futuro deve affrontare la loro integrazione in pipeline di rilevamento complete ed esplorare ulteriormente l'ottimizzazione degli iperparametri per i metodi efficienti dei parametri.