💻 computer science

Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

Questo articolo introduce un framework basato sulla psicofisica che dimostra come i modelli fondazionali visivi siano sistematicamente meno interpretabili dall'uomo rispetto alle controparti supervisionate, rivelando che l'interpretabilità è una dimensione indipendente guidata dalla località delle caratteristiche e dall'allineamento semantico a grana grossa piuttosto che dalla capacità complessiva del modello.

Autori originali: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

Pubblicato 2026-05-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Possiamo Comprendere il "Cervello" dell'IA?

Immagina di avere un robot super-intelligente in grado di identificare un gatto, un'auto o un semaforo con incredibile precisione. È così bravo nel suo lavoro che viene utilizzato per guidare automobili e aiutare i medici a diagnosticare malattie. Ma ecco il problema: come fa effettivamente a "vedere" il mondo?

Se chiedi al robot: "Quale parte di questa immagine ti ha fatto pensare che fosse un gatto?", non ha una voce. Ha solo segnali interni (caratteristiche) che si illuminano. La grande domanda che questo documento pone è: un essere umano normale può guardare quei segnali e capire cosa significano?

Gli autori chiamano questo concetto Interpretabilità. Non riguarda quanto il robot sia intelligente (la sua capacità); riguarda quanto il suo pensiero sia chiaro per noi.

Il Vecchio Metodo vs. Il Nuovo Metodo

Il Vecchio Metodo (La Trappola del "Quiz a Scelta Multipla"):
I test precedenti cercavano di vedere se gli umani comprendevano le caratteristiche dell'IA mostrando loro immagini e chiedendo: "Quale di queste due immagini corrisponde al segnale dell'IA?"

Il Difetto: Gli autori hanno individuato un trucco in questo metodo. Gli umani spesso ottenevano la risposta giusta semplicemente sapendo cosa la caratteristica non era.
- Analogia: Immagina di mostrarti un'immagine di un campo di mais e una di una spiaggia, e ti dico: "Questo segnale dell'IA NON riguarda il mais". Puoi facilmente scegliere la spiaggia, anche se non hai idea di cosa sia effettivamente quel segnale. Stai solo eliminando la risposta sbagliata, non comprendendo realmente il segnale. Questo rendeva il test ingiusto e inaffidabile.

Il Nuovo Metodo (Il Framework del "Detective"):
Gli autori hanno costruito un nuovo test più equo, con due parti, come un detective che cerca di risolvere un mistero:

Localizzabilità (Il Gioco del "Dove"):
- La Preparazione: Ti viene mostrato un "segnale misterioso" insieme ad alcuni esempi di ciò che lo attiva (ad esempio, un'immagine di un pneumatico, una mappa di calore che mostra dove il segnale è luminoso).
- Il Compito: Ti viene mostrata una nuova immagine e ti viene chiesto di cliccare esattamente dove pensi che quel segnale si illuminerebbe.
- L'Obiettivo: Riesci a indicare la parte specifica dell'immagine (come il pneumatico) che corrisponde al segnale?
Nominabilità (Il Gioco del "Cosa"):
- La Preparazione: Gli stessi indizi visivi di cui sopra.
- Il Compito: Devi scrivere una breve descrizione di ciò che il segnale rappresenta.
- L'Obiettivo: Riesci a descriverlo a parole? (ad esempio, "È una ruota di un'auto" o "È un semaforo rosso").

Per assicurarsi di testare pure "caratteristiche" e non neuroni confusi e mescolati, hanno utilizzato uno strumento speciale (un Autoencoder Sparsificato) per isolare singoli concetti chiari, come separare gli ingredienti individuali da un frullato.

La Scoperta Scioccante: Essere Più Intelligenti Non Significa Essere Più Chiari

I ricercatori hanno testato sei diversi modelli di IA:

2 Modelli Più Vecchi: Addestrati in modo tradizionale e supervisionato (come uno studente con un insegnante).
4 Modelli "Foundation": I nuovi modelli massicci e super-potenti (come DINO, CLIP) addestrati su tutto internet e capaci di fare quasi tutto.

Il Risultato:
I modelli "Foundation" erano meno interpretabili rispetto ai modelli più vecchi e semplici.

L'Analogia: Immagina che i modelli più vecchi siano come uno studente che ha imparato memorizzando un libro di testo. Puoi facilmente chiedergli: "Perché hai scelto quella risposta?" e lui ti dà una ragione chiara.
I nuovi modelli Foundation sono come un genio che ha imparato leggendo l'intera biblioteca della conoscenza umana. Sono più intelligenti e possono risolvere problemi più difficili, ma se chiedi loro di spiegare il loro ragionamento, ti danno una risposta vaga e confusa. I loro "pensieri" interni sono più difficili per gli umani da individuare.

Crucialmente, essere "più intelligenti" non ha aiutato. Il documento ha trovato zero connessione tra quanto bene il modello ha eseguito i compiti (come identificare oggetti) e quanto fosse facile per gli umani comprendere le sue caratteristiche. Essere un guidatore migliore non significa che il tuo cervello sia più facile da leggere.

Cosa Rende una Caratteristica Facile da Comprendere?

Gli autori hanno individuato due cose specifiche che rendono i "pensieri" di un'IA più facili da afferrare per gli umani:

Località (L'Effetto "Faretto"):
- Se una caratteristica si illumina in un punto stretto e specifico (come solo il pneumatico di un'auto), gli umani possono comprenderla facilmente.
- Se una caratteristica si illumina ovunque contemporaneamente (come l'intera auto e la strada e il cielo), gli umani si confondono. I nuovi modelli Foundation tendono ad avere questi segnali "diffusi" che coprono troppo terreno.
- Analogia: È più facile trovare una persona specifica in una folla se indossa un cappello rosso brillante (locale) rispetto a se fa semplicemente parte dell'"atmosfera generale" della folla (diffuso).
Allineamento a Grana Grossa (La Corrispondenza del "Quadro Generale"):
- Gli umani comprendono il mondo in categorie ampie (ad esempio, "Animali", "Veicoli"). Se l'IA organizza le sue caratteristiche per corrispondere a queste grandi categorie, gli umani la comprendono meglio.
- Se l'IA si concentra su dettagli minuscoli e iper-specifici (come la texture esatta dell'ala di una farfalla rispetto a un'altra farfalla), gli umani in realtà la trovano più difficile da comprendere.
- Analogia: È più facile spiegare una mappa se mi mostri "America del Nord" e "America del Sud" (grana grossa) piuttosto che cercare di spiegare la forma specifica di ogni singola strada di una città (grana fine).

L'Unica Nota Positiva: DINOv3

C'è stata un'eccezione. Un modello chiamato DINOv3 era sia molto capace che molto interpretabile. Perché? Perché le persone che lo hanno costruito lo hanno programmato specificamente per cercare caratteristiche "locali" (cose che si illuminano in punti specifici). Questo dimostra che possiamo costruire modelli intelligenti che sono anche facili da comprendere, ma dobbiamo progettarli con quell'obiettivo in mente.

Riepilogo

Capacità ≠ Interpretabilità: Solo perché un'IA è super intelligente non significa che possiamo capire come pensa. In effetti, i modelli più nuovi e intelligenti sono spesso i più difficili da comprendere.
Il Divario: C'è un divario tra "fare bene il lavoro" e "spiegare chiaramente il lavoro".
La Soluzione: Per rendere l'IA più trasparente, dobbiamo addestrarla a concentrarsi su dettagli specifici e locali e organizzare le sue conoscenze in categorie ampie e simili a quelle umane, invece di renderla semplicemente più grande e potente.

Il documento conclude che non possiamo dare per scontato che, man mano che l'IA diventa più intelligente, diventerà naturalmente più comprensibile. Dobbiamo costruire quella chiarezza fin dall'inizio.

Riepilogo Tecnico: Capacità ≠ Interpretabilità: Interpretabilità Umana dei Modelli Fondamentali per la Visione

Enunciato del Problema

Mentre i modelli fondamentali per la visione (ad esempio CLIP, DINOv2, SigLIP) passano da benchmark di ricerca a implementazioni ad alto rischio (supporto alle decisioni cliniche, guida autonoma), comprendere le loro rappresentazioni interne diventa critico. Tuttavia, i protocolli di valutazione esistenti non riescono a misurare e confrontare in modo affidabile l'interpretabilità umana delle caratteristiche tra modelli diversi. I metodi precedenti soffrono di due limitazioni principali:

Polisemanticità: Spesso si basano su singoli neuroni, che codificano molteplici concetti (superposizione), complicando l'isolamento di singole caratteristiche.
Artifatti Metodologici: I precedenti protocolli di psicofisica (ad esempio, compiti a scelta forzata) permettono ai partecipanti di risolvere i compiti identificando cosa una caratteristica non è (processo di eliminazione) piuttosto che comprendendo cosa è. Ciò porta a baseline di livello casuale specifiche per il modello, rendendo i punteggi di accuratezza grezzi incomparabili tra architetture diverse.

Di conseguenza, rimane una domanda aperta se la superiore capacità dei modelli fondamentali sia correlata al fatto che le loro caratteristiche siano più interpretabili per gli esseri umani.

Metodologia

Gli autori introducono un framework per misurare l'interpretabilità umana utilizzando due protocolli di psicofisica complementari, applicati a sei transformer per la visione (due ViT supervisionati e quattro modelli fondamentali: DINOv2, DINOv3, CLIP, SigLIP).

1. Estrazione e Selezione delle Caratteristiche:

Base Monosemantica: Invece di analizzare i neuroni grezzi, gli autori utilizzano Autoencoder Sparsi (SAE) addestrati sulle attivazioni di ImageNet per recuperare un dizionario di direzioni monosemantiche. Ciò garantisce che ogni unità testata corrisponda a un singolo concetto.
Filtraggio della Rilevanza: Le caratteristiche vengono selezionate in base al loro contributo a un probe lineare addestrato su ImageNet (utilizzando Gradiente × Input). Le caratteristiche dense (che si attivano sulla maggior parte degli input) vengono escluse.
Ancoraggio Standardizzato: Per garantire un confronto equo, la selezione delle caratteristiche è ancorata a un insieme condiviso di immagini di input piuttosto che al campionamento casuale, e i punteggi sono calibrati rispetto a un comune livello casuale.

2. Protocolli di Psicofisica:
Ai partecipanti (377 soggetti validi, 13.400 risposte) sono state presentate spiegazioni visive di una caratteristica (visualizzazione sintetica, immagini naturali ad alta attivazione e mappe di calore RISE) e sono stati invitati a eseguire uno dei due compiti:

Localizzabilità (Dove): I partecipanti cliccano su un'immagine nuova dove ritengono che la caratteristica si attivi. I punteggi sono mappati su una scala ancorata al caso ( $s=0.5$ ) basata sulla distribuzione cumulativa empirica della mappa di calore, normalizzando per attivazioni sparse rispetto a diffuse.
Nominabilità (Cosa): I partecipanti forniscono una descrizione in testo libero della caratteristica. Le descrizioni vengono valutate calcolando la media della similarità coseno tra l'embedding del testo e gli embedding delle immagini CLIP di ritagli centrati sul picco di attivazione della caratteristica.

3. Analisi:
Lo studio analizza la relazione tra i punteggi di interpretabilità e:

Le prestazioni nei compiti a valle (classificazione ImageNet, segmentazione semantica, raggruppamento percettivo).
Le proprietà rappresentazionali: Località (sparsità di Hoyer delle attivazioni) e Allineamento Umano (strategie visive, giudizi di similarità semantica a grana grossa vs. a grana fine).

Risultati Chiave

1. I Modelli Fondamentali sono Meno Interpretabili:
Contrariamente all'assunzione che modelli più grandi e capaci siano più trasparenti, ogni modello fondamentale testato ha prodotto caratteristiche meno interpretabili rispetto ai loro corrispettivi supervisionati (ViT-S e ViT-B). Questo divario vale sia per i modelli auto-supervisionati solo-visione (DINOv2, DINOv3) sia per i modelli visione-linguaggio (CLIP, SigLIP).

Nota: DINOv2 ha suscitato la maggiore fiducia nei partecipanti ma si è classificato tra i meno interpretabili, evidenziando che "sentirsi" interpretabili non equivale a essere interpretabili.

2. L'Interpretabilità è Ortogonale alla Capacità:
Non esiste alcuna correlazione significativa tra le prestazioni di un modello nei compiti a valle (classificazione, segmentazione, raggruppamento) e i suoi punteggi di interpretabilità umana (localizzabilità o nominabilità). L'alta capacità non garantisce un'alta interpretabilità, né comporta necessariamente un compromesso con essa; sembrano essere dimensioni indipendenti della qualità della rappresentazione.

3. Predittori dell'Interpretabilità:
Due proprietà rappresentazionali predicono fortemente l'interpretabilità:

Località: Le caratteristiche con attivazioni focali e spazialmente confinate (alta sparsità di Hoyer) sono significativamente più interpretabili rispetto alle caratteristiche diffuse. DINOv3, che promuove esplicitamente le caratteristiche locali nel suo obiettivo di addestramento, funge da controesempio, mostrando un'interpretabilità più elevata tra i modelli fondamentali.
Allineamento Semantico a Grana Grossa: L'allineamento con giudizi di similarità umana a grana grossa (struttura categoriale ampia) si correla con l'interpretabilità. Al contrario, l'allineamento percettivo a grana fine (distinzioni all'interno della categoria) e l'allineamento con le strategie visive umane (mappe di attenzione) non predicono l'interpretabilità.

Significato e Affermazioni

Il documento stabilisce che la capacità da sola non può colmare il divario di interpretabilità tra i modelli fondamentali e le basi di riferimento supervisionate. Gli autori affermano:

L'interpretabilità è una dimensione distinta e misurabile: Non è un sottoprodotto della scala o delle prestazioni a valle.
Il "Divario dei Modelli Fondamentali" è reale: Nonostante superino i modelli supervisionati sui benchmark, i modelli fondamentali apprendono rappresentazioni meno leggibili per gli esseri umani.
Implicazioni per la Progettazione: Per costruire modelli più interpretabili, gli obiettivi di addestramento dovrebbero promuovere esplicitamente attivazioni di caratteristiche locali e allineare le rappresentazioni con strutture semantiche umane a grana grossa, piuttosto che fare affidamento sulla scala o sull'allineamento percettivo a grana fine.

Lo studio conclude che, sebbene i modelli fondamentali offrano una generalizzazione superiore, le loro caratteristiche interne sono spesso "sovrumane" in un modo che offusca la comprensione umana, rendendo necessarie scelte progettuali esplicite per recuperare l'interpretabilità nelle applicazioni ad alto rischio.