Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

Sintesi Tecnica: Analisi della Correlazione nello Spazio dei Pesi per Quantificare l'Utilizzo delle Caratteristiche

Definizione del Problema
I modelli di deep learning nell'imaging medico sono suscettibili dell'apprendimento di scorciatoie (shortcut learning), in cui i modelli si affidano a metadati confondenti (ad es., modello di scanner, protocollo di acquisizione) piuttosto che a segnali clinici genuini. Sebbene ricerche precedenti abbiano dimostrato che tali informazioni confondenti sono spesso codificate all'interno degli embedding delle immagini (ad es., Gichoya et al., 2022; Glocker et al., 2023), rimane una lacuna critica: la mera presenza di una caratteristica nello spazio degli embedding non prova che il modello la utilizzi attivamente per le predizioni finali. I metodi esistenti, come l'analisi delle distribuzioni degli embedding o la generazione di set di test controfattuali, non affrontano direttamente se la testa di classificazione sfrutti tali confonditori. Questo articolo affronta la domanda fondamentale: il confine decisionale del modello si allinea attivamente con fattori clinicamente irrilevanti?

Metodologia: Analisi della Correlazione nello Spazio dei Pesi (WSC)
Gli autori propongono l'analisi della Correlazione nello Spazio dei Pesi (WSC), una metodologia interpretabile per quantificare l'utilizzo delle caratteristiche misurando l'allineamento tra le teste di classificazione di un compito clinico primario e i compiti ausiliari sui metadati. Il metodo procede in tre fasi:

1. Rappresentazione Lineare: Il metodo tratta i pesi della testa di classificazione lineare ($W$) come "vettori di attenzione" che agiscono sullo spazio degli embedding latenti. Per un compito con $C$ classi, la matrice dei pesi $W \in \mathbb{R}^{C \times d}$ definisce le direzioni decisionali per ogni classe.
2. Proiezione sul Manifold dei Dati: Per garantire che i confronti siano effettuati su dimensioni significative, i pesi del classificatore vengono proiettati sul manifold intrinseco dei dati utilizzando l'Analisi delle Componenti Principali (PCA). Gli autori estraggono le prime $k$ componenti principali (imponendo un minimo di 50 e catturando il 99% della varianza) per formare una matrice di proiezione $P$. I pesi vengono trasformati come $W' = W P^\top$. Questo passaggio filtra le dimensioni ortogonali e non informative.
3. Quantificazione dell'Allineamento: Il metodo calcola la similarità del coseno tra i vettori di peso proiettati del compito primario ($W'_A$) e quelli dei compiti ausiliari sui metadati ($W'_m$). Un'alta correlazione tra i confini decisionali di un compito clinico e un compito sui metadati (ad es., tipo di scanner) funge da proxy quantitativo per lo shortcut learning, indicando che il modello si affida alle stesse caratteristiche latenti per entrambe le predizioni.

Contributi Chiave

• Metrica Novativa: Introduzione dell'analisi WSC per distinguere tra l'codifica dei metadati e il loro effettivo utilizzo nell'inferenza.
• Validazione tramite Bias Indotto: Gli autori hanno validato il metodo creando un "Dataset con Bias Indotto" in cui è stata introdotta artificialmente una forte correlazione tra le classi dei piani fetali e i modelli di scanner. L'analisi WSC ha rilevato con successo l'allineamento elevato risultante nei vettori di peso, mentre il "Dataset Bilanciato" (senza correlazione) ha mostrato un basso allineamento, confermando la sensibilità del metodo allo shortcut learning.
• Applicazione a Modelli Clinici: La metodologia è stata applicata al modello SA-SonoNet per la predizione del parto pretermine spontaneo (sPTB), un modello allo stato dell'arte nell'ecografia ostetrica.

Risultati Sperimentali
Lo studio ha utilizzato due dataset clinici privati: un dataset di classificazione anatomica fetale e un dataset cervicale per la predizione della sPTB.

• Codificabilità vs. Utilizzo: Nel dataset fetale, i modelli di base hanno confermato che i metadati (scanner, ID ospedale) erano altamente codificabili negli embedding delle immagini (alto AUROC durante il probing). Tuttavia, l'analisi WSC ha rivelato che i vettori di peso per il compito primario di classificazione dei piani erano ampiamente ortogonali (bassa correlazione) rispetto a quelli del compito di classificazione dello scanner. Ciò è rimasto valido anche per i modelli multi-task esplicitamente addestrati per codificare i metadati, suggerendo che il compito primario non dipendesse dagli shortcut dello scanner.
• Rilevamento di Shortcut Indotti: Quando il dataset è stato distorto per correlare specifici piani con specifici scanner, i valori WSC tra i pesi dei piani e quelli degli scanner sono aumentati significativamente. Ciò ha confermato che la WSC può rilevare quando un modello è costretto ad adottare una strategia di shortcut.
• Analisi di SA-SonoNet: Applicata al modello di predizione della sPTB, l'analisi ha mostrato:
  • Rilevanza Clinica: I pesi del classificatore sPTB erano moderatamente correlati con fattori clinicamente rilevanti come la lunghezza cervicale e la spaziatura dei pixel.
  • Disaccoppiamento dai Confonditori: I pesi erano disaccoppiati da fattori di acquisizione clinicamente irrilevanti, specificamente il tipo di scanner.
  • Cautela: Sebbene il peso alla nascita mostrasse un'alta WSC con la sPTB, gli autori notano che questo era funzionalmente privo di significato poiché la testa di probing non riusciva a predire efficacemente il peso alla nascita, indicando che l'informazione non era robustamente codificata.

Significatività e Rivendicazioni
L'articolo sostiene che l'analisi WSC fornisca uno strumento necessario per verificare l'affidabilità dei modelli nell'imaging medico. Ispezionando se un classificatore utilizza caratteristiche non correlate al segnale clinico genuino, i ricercatori possono andare oltre le semplici metriche di prestazione per comprendere la logica decisionale interna. Gli autori concludono che, sebbene i fattori confondenti siano spesso presenti negli embedding delle immagini mediche, modelli come SA-SonoNet possono essere progettati o addestrati affinché i loro confini decisionali rimangano allineati con segnali clinicamente significativi e disaccoppiati da correlazioni spurie come i modelli di scanner. Ciò offre un metodo per confermare che un modello stia apprendendo la patologia prevista piuttosto che sfruttare artefatti del dataset.

Limitazioni
Gli autori riconoscono che il metodo assume una relazione lineare tra lo spazio degli embedding e le predizioni di classe, il che è in linea con le convenzioni standard del deep learning ma potrebbe non catturare complesse interazioni non lineari. Inoltre, il metodo attualmente analizza singoli attributi dei metadati; gli shortcut del mondo reale potrebbero coinvolgere combinazioni non lineari di molteplici confonditori, cosa che la ricerca futura mira a investigare. L'articolo nota anche che una bassa WSC non garantisce la robustezza rispetto ai cambiamenti di dominio causati da altri fattori, come variazioni nella qualità dell'immagine o spostamenti delle caratteristiche (feature shifts), ma esclude comunque lo shortcut learning come causa di tali fallimenti.