Sintesi Tecnica: MoPET – Mixture-of-Experts Parametricamente Efficiente per la Classificazione Unificata di Immagini Mediche

Definizione del Problema

Adattare i modelli di fondazione di deep learning alla profonda eterogeneità anatomica e di modalità dei dati clinici presenta un dilemma strutturale. Sebbene i modelli di fondazione generalisti (ad es., CLIP, DINOv3) offrano rappresentazioni visive robuste, il fine-tuning end-to-end completo è computazionalmente proibitivo e incline a un grave overfitting in scenari medici con scarsità di dati. Al contrario, le tecniche di fine-tuning parametricamente efficiente (PEFT) come la Low-Rank Adaptation (LoRA) mitigano con successo l'overfitting congelando i pesi della backbone e aggiornando solo matrici a basso rango iniettate. Tuttavia, il PEFT standard richiede l'addestramento di un adapter separato e isolato per ogni specifica attività diagnostica o modalità. Questo approccio frammentato complica la distribuzione in contesti clinici con risorse limitate.

Inoltre, la consolidazione di questi adapter isolati in una singola rete "generalista" rischia di causare trasferimento negativo (negative transfer). Quando i gradienti di ottimizzazione da domini visivi conflittuali (ad es., texture ad alta frequenza dell'istopatologia rispetto a pattern ad bassa frequenza dell'ecografia) interferiscono all'interno di uno spazio di parametri condiviso, le prestazioni del modello degradano. Gli esistenti framework Mixture-of-Experts (MoE) spesso si affidano a etichette di modalità predefinite o a pool di esperti omogenei, che potrebbero non catturare la specializzazione sfumata e guidata dai dati necessaria per la classificazione unificata delle immagini mediche.

Metodologia: MoPET

Gli autori propongono MoPET (Mixture of Parameter-Efficient Fine-Tuned Experts), un framework che unifica distinte attività di classificazione di immagini mediche in un singolo modello accoppiando un router sparso appreso con un pool eterogeneo di esperti PEFT a basso rango.

Architettura Core

MoPET integra il paradigma MoE con il PEFT utilizzando i seguenti componenti:

1. Backbone Congelata: Un modello di fondazione pre-addestrato (specificamente DINOv3 Base) rimane congelato per preservare le rappresentazioni generaliste.
2. Pool di Esperti Eterogenei: Invece di un singolo tipo di adapter, MoPET inietta un pool di $K=32$ esperti addestrabili nei livelli di proiezione query, key e value dei blocchi di self-attention. Questo pool è ibrido, composto da:
   • 20 esperti LoRA: Moduli di Low-Rank Adaptation ($r=8, \alpha=8$).
   • 12 esperti BOFT: Moduli di Butterfly Orthogonal Fine-Tuning (dimensione del blocco 8, fattore butterfly 1).
   • Percorso Condiviso: La matrice di peso originale congelata funge da percorso condiviso "sempre attivo".
3. Routing Sparso Sensibile alle Caratteristiche: Una rete di gating apprendibile ($R$) calcola i punteggi di routing per ogni token di input. Un'operazione Top-K seleziona i $k=12$ esperti più rilevanti per l'input corrente. La rappresentazione finale $z$ è calcolata come:
   $$z = Wx + \sum_{i=1}^{K} \text{softmax}(\text{TopK}(R(x), k))_i e_i(x)$$
   Questo meccanismo instrada dinamicamente input anatomici diversi attraverso percorsi a basso rango specializzati, isolando gli aggiornamenti dei gradienti conflittuali per prevenire il trasferimento negativo.
4. Bilanciamento del Carico: Per prevenire il "collasso degli esperti" (dove il router ignora la maggior parte degli esperti), viene minimizzata una perdita di bilanciamento del carico differenziabile ($L_{load}$) per incoraggiare una distribuzione uniforme dei token attraverso il pool di esperti.
5. Campionamento Multi-Dominio Dinamico: Per affrontare le gravi disparità volumetriche tra i dataset (ad es., 546 immagini rispetto a 165.000), un protocollo di finestra scorrevole dinamica assicura che ogni epoca processi una dimensione di batch bilanciata ($d_{min}$) dal dominio più piccolo, impedendo ai dataset più grandi di dominare gli aggiornamenti dei gradienti.
6. Teste Specifiche per il Task: Poiché i dataset possiedono spazi di etichette disgiunti, $D$ teste di classificazione lineare indipendenti sono attaccate alla backbone. Un router del dataset utilizza esplicitamente identificatori di dominio per mappare le rappresentazioni terminali condivise ai rispettivi spazi semantici.

Contributi Chiave

1. Validazione del PEFT rispetto al Full Fine-Tuning: Gli autori stabiliscono attraverso 12 distinti dataset medici che i metodi parametricamente efficienti (specificamente LoRA e BOFT) superano significativamente gli aggiornamenti di rete end-to-end completi, migliorando l'accuratezza media dall'86,50% all'88,97%. Ciò valida la scelta progettuale di costruire architetture unificate partendo da adapter a basso rango.
2. Framework Unificato MoPET: MoPET consolida quattro dataset eterogenei (Sangue, Seno, Derma, Patologia) in una singola rete. Supera il miglior adapter PEFT isolato addestrato individualmente su questi domini, raggiungendo un'accuratezza media del 93,46% rispetto al 92,83% del più forte adapter isolato.
3. Condivisione delle Caratteristiche Cross-Domain (Auxiliary Boosting): Il documento dimostra una nuova dinamica di addestramento in cui l'co-addestramento con dataset ausiliari agisce come un potenziatore di prestazioni per i target con scarsità di dati. L'addestramento congiunto con pool ausiliari ha migliorato l'accuratezza media del target dall'81,58% (il più forte adapter isolato) all'83,58%, con i guadagni più significativi osservati sui dataset più piccoli (Seno e Retina).

Risultati Sperimentali

• Benchmark: Gli esperimenti sono stati condotti sulla collezione MedMNIST+, che copre 12 dataset attraverso 8 modalità di imaging (microscopia, ecografia, raggi X, dermoscopia, OCT, CT, ecc.).
• Confronto della Backbone: L'analisi statistica (test di Friedman) ha rivelato che non vi è alcuna differenza significativa tra i modelli di fondazione (CLIP, DINO, DINOv3) in condizioni di PEFT, suggerendo che il metodo di fine-tuning determina le prestazioni più della scelta della backbone.
• Prestazioni di MoPET:
  • Su un subset di 4 dataset, MoPET eguaglia o supera il miglior adapter per dataset su tre dei quattro task.
  • Nella configurazione "booster", MoPET ha elevato le prestazioni su tre distinti domini clinici (Seno, Retina, Derma) sfruttando i dati ausiliari, dimostrando che il ragionamento semantico condiviso può beneficiare i target con scarsità di dati senza trasferimento negativo.
• Efficienza: MoPET addestra 7,4M di parametri (circa l'8,7% degli 86M della backbone). Mentre un singolo adapter LoRA isolato è più leggero (~0,3M), MoPET sostituisce la necessità di una collezione di adapter per ogni task e di un "zoo di modelli", offrendo una soluzione unificata.

Significato e Rivendicazioni

Il paper sostiene che MoPET risolve con successo il compromesso tra l'efficienza computazionale del PEFT e la complessità di distribuzione della gestione di molteplici modelli isolati. Apprendendo l'assegnazione degli esperti direttamente dai dati senza fare affidamento su etichette di modalità predefinite, MoPET permette all'adattamento specifico del dominio e al ragionamento semantico condiviso di coesistere senza competere per gli stessi parametri.

Gli autori notano con modestia che, sebbene l'attuale configurazione utilizzi subset di dataset selezionati manualmente per l'auxiliary boosting, sarebbe necessaria una ricerca sistematica sulle combinazioni per separare completamente il trasferimento guidato dalla semantica dagli effetti del semplice aggiunta di più dati. Inoltre, i pattern di routing appresi (ad es., se gli esperti si specializzano strettamente per modalità o anatomia) devono ancora essere verificati esplicitamente. Ciononostante, il lavoro dimostra che un singolo modello unificato può ragionare efficacemente attraverso una profonda eterogeneità anatomica, offrendo una via scalabile verso l'implementazione di un'IA medica generalista.