MedicalRec: Medical recommender system for image classification without retraining

Sintesi Tecnica: MedicalRec: Sistema di raccomandazione medica per la classificazione di immagini senza riaddestramento

Definizione del problema
L'adozione rapida del deep learning (DL) nella classificazione di immagini mediche ha introdotto sfide computazionali e ambientali significative. L'addestramento di modelli allo stato dell'arte richiede un'energia sostanziale, portando ad elevate emissioni di carbonio e rifiuti elettronici. Una sfida primaria nell'attuale workflow è il processo di "tentativo ed errore" che ricercatori e professionisti devono affrontare per selezionare il modello ottimale per un determinato dataset di immagini mediche. Questo processo comporta l'addestramento e la valutazione di decine di modelli per identificare il miglior performer, una pratica che esacerba l'impronta di carbonio e consuma tempo e risorse eccessivi. Inoltre, la mancanza di un benchmark o di un protocollo standardizzato per raccomandare i modelli in base alle caratteristiche del dataset costringe a questo ciclo ripetitivo e dispendioso in termini di risorse.

Metodologia
Per affrontare queste sfide, gli autori propongono MedicalRec, un sistema di raccomandazione basato su Transformer progettato per prevedere il modello di apprendimento automatico più adatto per un dato compito di classificazione di immagini mediche senza richiedere il riaddestramento.

1. Costruzione del Dataset (MedicalRec-Bench):
   La base dello studio è un nuovo dataset, MedicalRec-Bench, compilato da 3.000 articoli scientifici nel campo della classificazione di immagini mediche. Questo dataset contiene oltre 5.000 record di modelli testati su vari compiti, tra cui classificazione di cancro alla pelle, tumori, ferite, cancro al seno e risonanza magnetica (MRI).

   • Caratteristiche (Features): Il dataset include metadati come titoli, abstract, parole chiave e caratteristiche statistiche (ad es. dimensione del campione, dimensioni dell'immagine, numero di classi) insieme a metriche di performance (Accuratezza, Precisione, Recall, F1, AUC).
   • Versioni: A causa della difficoltà legata alla mancata segnalazione da parte degli autori originali (che ha causato una significativa assenza di valori), il dataset è stato rilasciato in quattro versioni con differenti conteggi di caratteristiche: MedicalRec I (5 caratteristiche), II (9 caratteristiche), III (11 caratteristiche) e IV (18 caratteristiche).
   • Pre-elaborazione dei dati: I valori mancanti (rappresentati come 0.0) sono stati imputati utilizzando le medie delle colonne. I dati testuali (nomi dei modelli) sono stati trasformati in embedding tramite BERT, mentre le caratteristiche numeriche sono state utilizzate direttamente.

2. Architettura del Modello:
   MedicalRec è formulato come un problema di raccomandazione sequenziale in cui:

   • Utente/Scenario: Un compito di classificazione specifico definito dalle caratteristiche del dataset (ad es. dimensione dell'immagine, numero di classi).
   • Item: Una specifica architettura di modello (ad es. ResNet-50, VGG-16).
   • Score: La metrica di performance (principalmente l'Accuratezza).

   Il modello utilizza un'architettura Transformer ispirata a BERT4Rec. Impiega:

   • Strato di Embedding: Converte le caratteristiche di input in vettori continui.
   • Encoder Transformer: Consiste in 12 strati, ciascuno con 12 teste di auto-attenzione (self-attention), per catturare le dipendenze tra le caratteristiche di input e la performance del modello.
   • Embedding Posizionali: Aggiunti per preservare le informazioni temporali/sequenziali.
   • Strato di Output: Una funzione Softmax classifica le potenziali raccomandazioni di modelli in modo probabilistico.
   • Obiettivo di Addestramento: Il modello è addestrato utilizzando un compito di previsione di item mascherati (compito Cloze), dove una proporzione di item di input viene mascherata e il modello li predice utilizzando una rete feed-forward a due strati con attivazione GELU.

Contributi Chiave

• MedicalRec-Bench: La creazione del primo dataset pubblicamente disponibile specificamente progettato per la raccomandazione di modelli nella classificazione di immagini mediche, aggregando dati da 3.000 articoli.
• Modello MedicalRec: Lo sviluppo di un sistema di raccomandazione basato su Transformer che mappa le caratteristiche del dataset verso architetture di modelli ottimali, eliminando la necessità di un esaustivo riaddestramento.
• Valutazione Completa: Una valutazione rigorosa del modello proposto rispetto a 12 modelli baseline (inclusi Collaborative Filtering, Content-Based, SVD, LSTM, GRU, IndRNN, LLM e modelli orientati alla Fairness) attraverso quattro configurazioni di dataset.

Risultati
Lo studio ha valutato i modelli utilizzando Precision@K, Recall@K, F1@K, Discounted Cumulative Gain (DCG) e HitRate@K.

• Performance: Il modello proposto MedicalRec ha ottenuto una performance superiore in tutte le versioni del dataset (I–IV). Nella configurazione più completa (MedicalRec IV), ha raggiunto un HitRate@100 del 75,50%, una Recall del 9,80% e una Precision del 10,50%.
• Confronto: MedicalRec ha superato costantemente i metodi classici (Collaborative Filtering, SVD) e le baseline di deep learning (LSTM, GRU, IndRNN). Sebbene i modelli "Fair" e "Multi-modal" abbiano mostrato risultati competitivi in metriche specifiche (ad es. DCG@5), MedicalRec ha mantenuto i punteggi complessivi più elevati, in particolare nelle liste di raccomandazione più lunghe (D@50 a D@100).
• Studi di Ablazione:
  • Funzioni di Attivazione: È stato scoperto che ReLU produce i punteggi F1@100 più elevati in tutte le versioni del dataset.
  • Dropout: I tassi di dropout ottimali variavano in base alla complessità del dataset (0,7 per MedicalRec I; 0,5 per II, III e IV).
• Significatività Statistica: La validazione incrociata k-fold (5-fold) su MedicalRec IV ha confermato la stabilità del modello, con un HitRate@100 compreso tra il 75,22% e il 76,50%. I t-test (P-value) hanno indicato che la differenza di performance tra MedicalRec e tutti gli altri modelli era statisticamente significativa (P < 0,05).

Significato e Rivendicazioni
Il documento sostiene che MedicalRec offra una soluzione pratica per ridurre l'impatto ambientale dello sviluppo dell'IA medica. Raccomandando il modello ottimale in base alle caratteristiche del dataset, il sistema mira a eliminare la necessità per i ricercatori di addestrare molteplici modelli candidati, risparmiando così energia e riducendo le emissioni di carbonio. Gli autori sottolineano che questo è il primo lavoro che utilizza caratteristiche statistiche dalla letteratura esistente per costruire un sistema di raccomandazione di modelli per l'imaging medico. Il dataset e l'implementazione sono resi pubblicamente disponibili per facilitare la ricerca futura, con gli autori che osservano come il lavoro futuro potrebbe affrontare sfide quali i valori di partenza pari a zero, l'imputazione dei dati mancanti e lo squilibrio delle classi.