Riepilogo Tecnico: La Scalabilità dei Modelli Visivi Non Migliora Coerentemente la Qualità delle Spiegazioni Basate sulla Localizzazione

Enunciato del Problema

Mentre i modelli di intelligenza artificiale vengono sempre più scalati per migliorare l'accuratezza predittiva, rimane incerto se l'aumento della profondità del modello e del numero di parametri migliori la qualità delle spiegazioni post-hoc. In domini critici per la sicurezza come la sanità e la finanza, la trasparenza è fondamentale; tuttavia, le reti neurali profonde (CNN e Vision Transformer) spesso funzionano come "scatole nere". Un'ipotesi prevalente suggerisce che i modelli più grandi apprendano caratteristiche con una struttura semantica più forte, potenzialmente producendo spiegazioni che si allineano meglio alle interpretazioni umane. Questo studio sfida tale ipotesi investigando se la scalabilità della profondità architetturale e del numero di parametri porti coerentemente a spiegazioni visive di qualità superiore, in particolare per quanto riguarda la loro capacità di localizzare le regioni rilevanti dell'immagine.

Metodologia

Gli autori hanno condotto una valutazione empirica completa coinvolgendo 11 modelli di visione artificiale appartenenti a tre famiglie distinte: ResNet, DenseNet e Vision Transformer (ViT). I modelli variavano per profondità e complessità, spaziando da ResNet-18 a ResNet-101, da DenseNet-121 a DenseNet-201, e da ViT-B/16 a ViT-L/16. Lo studio ha incluso sia modelli addestrati da zero sia quelli che utilizzavano pesi pre-addestrati (ImageNet-1k, CheXpert, ImageNet-21k).

Dataset:
Gli esperimenti sono stati eseguiti su tre dataset dotati di maschere di segmentazione ground-truth:

1. COVID-QU-Ex: Radiografie toraciche per la rilevazione del COVID-19.
2. Oxford-IIIT Pet: Immagini di animali per la localizzazione degli oggetti.
3. Chest X Pneumothorax: Radiografie toraciche per la rilevazione del pneumotorace.

Metodi di Intelligenza Artificiale Spiegabile (XAI):
Cinque metodi di spiegazione post-hoc sono stati applicati per generare mappe di salienza:

• Mappe di Salienza
• GradientSHAP
• Integrated Gradients
• Permutazione delle Caratteristiche
• Grad-CAM (adattato per ViT)

Metriche di Valutazione:
La qualità della spiegazione è stata quantificata misurando l'allineamento tra le mappe di attribuzione generate e le maschere ground-truth utilizzando due metriche:

1. Accuratezza della Classifica di Rilevanza (RRA): Misura la frazione dei pixel di attribuzione con classifica più alta che ricadono all'interno della maschera ground-truth.
2. Precisione a Doppia Polarità (DPP): Una nuova metrica proposta dagli autori. A differenza delle valutazioni basate solo sulla magnitudine, la DPP misura esplicitamente la precisione spaziale sia delle attribuzioni positive (evidenza di supporto all'interno della maschera) sia delle attribuzioni negative (contro-evidenza al di fuori della maschera). Penalizza le attribuzioni contraddittorie o rumorose sullo sfondo.

Analisi Statistica:
Lo studio ha impiegato test H di Kruskal-Wallis e test U di Mann-Whitney con correzione di Benjamini-Hochberg per valutare la significatività statistica attraverso le scale dei modelli e i regimi di pre-addestramento. La fedeltà è stata ulteriormente valutata tramite controlli di sanità che includevano la randomizzazione dei pesi a livello di strato e la permutazione dei pixel di input.

Contributi Chiave

1. Valutazione Sistematica della Scala: Gli autori hanno esaminato la relazione tra complessità del modello (numero di parametri) e prestazioni di classificazione su 11 architetture e tre dataset.
2. Quantificazione degli Effetti del Pre-addestramento: Lo studio ha quantificato come il pre-addestramento influenzi la qualità delle spiegazioni XAI, confrontando i modelli addestrati da zero con le loro controparti pre-addestrate.
3. Introduzione della Precisione a Doppia Polarità (DPP): Il documento introduce la DPP per affrontare le limitazioni delle metriche esistenti valutando la precisione spaziale sia delle attribuzioni positive sia di quelle negative, assicurando che le spiegazioni siano penalizzate per il rumore di fondo contraddittorio.
4. Evidenza Empirica di Divergenza: Lo studio fornisce prove che le prestazioni predittive e la qualità della spiegazione possono divergere, notando scenari in cui i modelli raggiungono un'alta accuratezza ma una precisione di localizzazione vicina allo zero.

Risultati

Scala del Modello e Qualità della Spiegazione:
Su tutti i dataset e con tutti i metodi XAI, l'aumento della profondità architetturale e del numero di parametri non ha migliorato coerentemente la qualità della spiegazione.

• Nei confronti statistici, i modelli più grandi (ad es. ResNet-101, DenseNet-201, ViT-L/16) non hanno sistematicamente superato le varianti più piccole (ad es. ResNet-18, DenseNet-121, ViT-B/16).
• Nei casi in cui sono state trovate differenze significative, i modelli più piccoli hanno eguagliato o superato le prestazioni dei modelli più grandi nel 34% dei confronti, mentre il modello più grande ha ottenuto il punteggio più alto solo nel 12%.
• Le dimensioni dell'effetto per le differenze legate alla scala erano tipicamente trascurabili o piccole.

Impatto del Pre-addestramento:
Il pre-addestramento ha generalmente migliorato le prestazioni predittive ma non ha aumentato coerentemente i punteggi di localizzazione (RRA o DPP).

• Sebbene i modelli pre-addestrati mostrassero una maggiore dipendenza dai pesi appresi (indicata da un degrado più elevato sotto la randomizzazione degli strati) e una maggiore sensibilità alla struttura di input, ciò non si è tradotto in un guadagno sistematico nelle metriche di localizzazione.
• In molti confronti significativi, i modelli addestrati da zero hanno performato tanto bene quanto o meglio dei modelli pre-addestrati.

Prestazioni Predittive vs. Qualità della Spiegazione:
Una scoperta critica è stata la disaccoppiamento tra accuratezza e interpretabilità. Sul dataset Chest X Pneumothorax, i modelli hanno raggiunto prestazioni di classificazione ragionevoli (AUC ~0,77–0,87) producendo punteggi di localizzazione vicini allo zero. Ciò suggerisce che un'alta accuratezza può essere ottenuta affidandosi a correlazioni spurie o artefatti di acquisizione piuttosto che alle regioni anatomiche annotate.

Controlli di Sanità:

• Randomizzazione degli Strati: I modelli più profondi e in particolare quelli pre-addestrati hanno mostrato un degrado più elevato quando i pesi sono stati randomizzati, indicando una maggiore dipendenza dai parametri appresi piuttosto che dalla sola struttura della rete.
• Randomizzazione dell'Input: La maggior parte dei metodi basati sul gradiente ha mostrato una bassa sensibilità alla mescolanza dei pixel, sebbene Grad-CAM abbia mostrato spostamenti più ampi. I modelli pre-addestrati hanno generalmente mostrato una maggiore sensibilità ai cambiamenti nella struttura dell'input rispetto ai modelli addestrati da zero.

Significato e Affermazioni

Il documento conclude che i modelli più grandi non forniscono in modo affidabile spiegazioni di qualità superiore. L'ipotesi che la scalatura dei modelli migliori intrinsecamente l'allineamento semantico delle mappe di salienza non è supportata dai dati. Al contrario, i modelli più piccoli spesso forniscono spiegazioni che si allineano tanto bene quanto, o meglio di, le loro controparti più profonde.

Gli autori sostengono che l'esplicabilità dovrebbe essere valutata esplicitamente durante la selezione del modello, in particolare per le implementazioni sensibili alla sicurezza. Affidarsi esclusivamente all'accuratezza predittiva è insufficiente, poiché i modelli possono raggiungere alte prestazioni pur fallendo nel localizzare le regioni di interesse intenzionali. L'introduzione della Precisione a Doppia Polarità (DPP) offre un modo più rigoroso per valutare queste spiegazioni tenendo conto sia delle prove di supporto sia delle contro-evidenze.

Lo studio sottolinea che le procedure di selezione del modello dovrebbero considerare i costi computazionali e i requisiti operativi insieme alle prestazioni, poiché i modelli più piccoli possono offrire una qualità di spiegazione comparabile con richieste di risorse significativamente inferiori. I risultati suggeriscono che in contesti sovraparametrizzati, l'accuratezza predittiva e l'interpretabilità possono divergere, rendendo necessaria una valutazione esplicita della fedeltà della spiegazione piuttosto che assumere che essa migliori con la scala.