💻 computer science

Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers

Questo studio dimostra che, sebbene la sparsità strutturale nei Vision Transformers riduca il numero di connessioni nei circuiti, non garantisce un miglioramento dell'interpretabilità semantica a livello di neuroni, rappresentazioni o attribuzione, suggerendo che la semplice riduzione della densità non isoli moduli funzionali più semplici.

Autori originali: Siyu Zhang

Pubblicato 2026-03-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Siyu Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Titolo: "Sparsi ma non più Semplici"

Immagina di avere un enorme ufficio affollato (il modello di Intelligenza Artificiale denso). Ci sono migliaia di dipendenti (i neuroni) che lavorano tutti insieme, passandosi note, parlando tra loro e collaborando in modo caotico per risolvere un problema. È difficile capire chi fa esattamente cosa perché c'è troppo rumore e troppe connessioni.

L'idea comune era: "Se licenziamo la metà dei dipendenti e chiudiamo metà delle porte dell'ufficio (rendendo il modello 'sparsamente' connesso), il lavoro sarà più chiaro, più facile da seguire e più comprensibile, vero?"

Questo studio si è chiesto: È vero? Se rendiamo l'IA più "magra" e con meno connessioni, diventa davvero più facile capire come pensa?

L'Esperimento: La "Lente Magica" (IMPACT)

Gli autori hanno preso un modello di intelligenza artificiale molto bravo a riconoscere le immagini (come un cane, un gatto o un aereo) e lo hanno "potato" (rimosso molti collegamenti interni) usando un metodo intelligente chiamato Wanda.

Per vedere cosa succede, hanno usato una lente magica chiamata IMPACT. Questa lente non guarda solo il numero di dipendenti rimasti, ma analizza l'ufficio a quattro livelli diversi:

Il Livello del Singolo Dipendente (Neurone): Un singolo impiegato è specializzato in una cosa sola (es. "guarda solo gli occhi") o fa mille cose diverse (guarda occhi, orecchie e sfondi)?
Il Livello del Reparto (Strato): Come collaborano i gruppi di lavoro? I loro messaggi sono chiari o un caos?
Il Livello del Progetto (Circuito): Per risolvere un compito specifico (es. "trova un gatto"), quanti dipendenti devono lavorare insieme? È un piccolo team o un'intera folla?
Il Livello del Risultato (Modello): Quando l'IA dice "è un gatto", possiamo vedere chiaramente dove ha guardato nell'immagine per dirlo?

Cosa Hanno Scoperto? (La Sorpresa)

I risultati sono stati un po' deludenti per chi sperava in una soluzione magica:

Sì, l'ufficio è più piccolo (ma non più ordinato):
È vero che nei modelli "potati" ci sono meno porte aperte (meno collegamenti). In termini tecnici, i "circuiti" per riconoscere un oggetto sono circa 2,5 volte più piccoli. Sembra un successo!
Tuttavia, gli autori hanno notato che i dipendenti rimasti devono lavorare molto di più. Invece di avere un piccolo team di esperti, il modello costringe una percentuale più alta dei dipendenti rimasti a lavorare tutti insieme. È come se avessi licenziato metà del personale, ma quelli rimasti dovessero correre da una stanza all'altra per coprire i buchi. Il lavoro è distribuito in modo diverso, ma non è diventato più semplice.
I dipendenti sono ancora confusi (Polysemanticity):
Anche nei modelli "magri", i singoli neuroni non sono diventati più specializzati. Un neurone continua a reagire a cose diverse (occhi, pellicce, sfondi) contemporaneamente. Non è diventato un "esperto di gatti", è rimasto un "tuttofare".
Le spiegazioni non sono più chiare:
Quando l'IA spiega perché ha scelto un'immagine, le mappe di attenzione (la "luce" che indica dove guarda) non sono diventate più nitide o precise. A volte sono leggermente migliori, ma non c'è una regola fissa.

La Metafora Finale: Il Puzzle

Immagina di avere un puzzle di 1000 pezzi (il modello denso). È difficile vedere il quadro completo perché ci sono troppi pezzi che si toccano.
L'idea era: "Se tolgo 700 pezzi, il puzzle sarà più facile da capire!"

Il risultato dello studio è: Hai tolto 700 pezzi, ma il quadro che rimane è ancora un po' sfocato.
I pezzi rimasti (i neuroni attivi) si sono riorganizzati per compensare quelli mancanti. Non sono diventati più "logici" o "chiari". Hanno solo lavorato più sodo per mantenere l'immagine riconoscibile.

In Sintesi: Cosa Impariamo?

Tagliare non basta: Rendere un'Intelligenza Artificiale più piccola e con meno collegamenti (sparsità) non garantisce automaticamente che sarà più facile da capire o più trasparente.
La struttura non è la sostanza: Avere meno connessioni non significa che il "pensiero" dell'IA sia diventato più semplice. L'IA ha solo trovato un modo diverso (e forse più dispersivo) per fare lo stesso lavoro.
Serve un nuovo approccio: Se vogliamo che le IA siano davvero comprensibili, non basta "potarle" dopo averle addestrate. Dobbiamo probabilmente insegnar loro a pensare in modo più ordinato fin dall'inizio, o usare metodi di analisi più sofisticati.

Il messaggio chiave: Non illudiamoci che la semplicità strutturale (meno fili) porti automaticamente alla semplicità semantica (più chiarezza di pensiero). A volte, un modello più piccolo è solo un modello più affannato.

1. Il Problema

L'interpretabilità meccanica delle reti neurali mira a comprendere come i modelli calcolano le loro previsioni. Una ipotesi diffusa suggerisce che le reti neurali sparse (con molti pesi azzerati) siano intrinsecamente più interpretabili rispetto ai modelli densi, poiché si presume che la sparsità strutturale porti a circuiti computazionali più compatti e facili da analizzare.
Tuttavia, la letteratura esistente si basa principalmente su metriche strutturali (come la dimensione dei circuiti) e si concentra spesso su modelli linguistici. Rimane incerto se la sparsità strutturale porti effettivamente a una migliore interpretabilità semantica (chiarezza concettuale, ridotta polisemia, mappe di attribuzione più fedeli) nei Vision Transformers (ViT), che gestiscono rappresentazioni altamente distribuite e complesse.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica confrontando modelli ViT densi e modelli sparsi, utilizzando il framework IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency).

Modelli e Pruning:
- Architettura di base: DeiT-III B/16 (supervisionato su ImageNet-1K).
- Metodo di pruning: Wanda (che valuta i pesi in base al prodotto tra la magnitudine e la norma dell'attivazione di input), confrontato con il pruning per magnitudine standard.
- Livelli di sparsità testati: da 10% a 90%. Il punto operativo principale scelto è il 70% di sparsità, dove il modello mantiene oltre il 96% dell'accuratezza del modello denso.
Framework IMPACT (4 Livelli di Analisi):
1. Livello Neurone: Valuta la selettività, l'impatto dell'ablazione, la varianza di classe e l'entropia delle etichette per determinare se i neuroni diventano più monosemantici.
2. Livello Strato (Layer): Utilizza Sparse Autoencoders (SAE) con architettura BatchTopK per decomporre le attivazioni dense in caratteristiche sparse, valutando la qualità della ricostruzione e l'interpretabilità delle feature apprese.
3. Livello Circuito: Estrae circuiti minimi responsabili della previsione per singole categorie (su 100 classi ImageNet) tramite mascheramento di nodi apprendibile. Viene introdotta una nuova metrica, NCQ (Normalized Circuit Quality), che bilancia fedeltà e compattezza.
4. Livello Modello: Valuta la fedeltà delle mappe di attribuzione (spiegazioni basate sui gradienti e attenzione) utilizzando le metriche di Inserimento e Cancellazione (Insertion/Deletion AUC).

3. Contributi Chiave

Confronto Sistematico: Estende l'analisi dei circuiti sparsi dai modelli linguistici al dominio della visione artificiale, confrontando modelli ViT densi e sparsi.
Framework IMPACT: Introduce una pipeline di valutazione multi-livello (neurone, strato, circuito, modello) per una visione olistica dell'interpretabilità, superando la semplice misurazione della dimensione del circuito.
Nuova Metrica (NCQ): Propone la Normalized Circuit Quality per valutare simultaneamente la fedeltà della predizione e la compressione strutturale dei circuiti estratti.

4. Risultati Principali

I risultati rivelano una relazione sfumata: la sparsità riduce la complessità strutturale ma non garantisce una maggiore semplicità semantica.

Livello Circuito (Effetto Strutturale):
- I modelli sparsi producono circuiti con circa 2.5 volte in meno di archi rispetto ai modelli densi (al 70% di sparsità).
- Tuttavia, la frazione di nodi attivi nei circuiti sparsi è maggiore (41.60% vs 29.03% nei densi).
- Conclusione: Il pruning riduce la connettività ma non isola moduli funzionali più semplici; invece, ridistribuisce il calcolo su un numero simile o maggiore di componenti sopravvissuti ("representation spreading").
Livello Neurone e Strato (SAE):
- Non si osservano miglioramenti sistematici nella selettività dei neuroni, nella monosemia (entropia delle etichette) o nella coerenza di risposta.
- Le feature apprese dagli SAE sui modelli sparsi rimangono altamente polisenantiche (multiplexing di concetti) quanto quelle dei modelli densi.
- La qualità di ricostruzione degli SAE peggiora leggermente con l'aumentare della sparsità, suggerendo rappresentazioni più distribuite.
Livello Modello (Attribuzione):
- L'accuratezza delle mappe di attribuzione mostra miglioramenti modesti solo a bassi livelli di sparsità (10-30%), probabilmente dovuti a un effetto di regolarizzazione.
- A sparsità elevate (50-70%), la fedeltà dell'attribuzione non migliora ulteriormente e le visualizzazioni qualitative non mostrano un localizzazione spaziale più chiara o coerente.

5. Significato e Implicazioni

Il paper sfida l'assunzione comune secondo cui la sparsità strutturale implica automaticamente trasparenza meccanica.

Sparsità $\neq$ Semplicità Semantica: Ridurre il numero di pesi non rende i modelli più facili da interpretare a livello concettuale. I modelli sparsi tendono a ridistribuire le informazioni invece di isolare circuiti funzionali puri.
Limiti del Pruning Post-Hoc: Il pruning applicato a modelli già addestrati (come Wanda) non è sufficiente per creare rappresentazioni modulari o disaccoppiate.
Direzioni Future: Per migliorare l'interpretabilità nei ViT, potrebbero essere necessari obiettivi di addestramento o prior architetturali che incoraggino esplicitamente la struttura semantica, piuttosto che affidarsi solo alla sparsificazione a posteriori.

In sintesi, il lavoro dimostra che mentre i modelli sparsi sono più efficienti e hanno circuiti strutturalmente più piccoli, non sono necessariamente più semplici o interpretabili dal punto di vista umano.