💻 computer science

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

Il paper introduce SITH, un framework completamente privo di dati e addestramento che analizza i pesi dei modelli CLIP tramite decomposizione in valori singolari e un nuovo algoritmo COMP per interpretare le teste di attenzione come combinazioni sparse di concetti semantici, permettendo modifiche precise al modello e studiando l'adattamento tramite il ripesaggio di una base semantica stabile.

Autori originali: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Pubblicato 2026-03-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che CLIP (il modello di intelligenza artificiale che capisce immagini e testo) sia come un enorme orchestra composta da centinaia di musicisti (i "neuroni" o "testine di attenzione").

Fino a oggi, per capire cosa stava suonando questa orchestra, gli scienziati dovevano farla suonare davanti a un pubblico (un dataset di immagini) e ascoltare cosa produceva. Il problema? Se il pubblico era strano o parziale, anche la musica sembrava strana. Inoltre, potevano solo dire: "Quel musicista sta suonando i colori" o "Quello sta suonando gli animali", ma non sapevano quali note precise stava suonando.

SITH (il metodo proposto in questo paper) cambia completamente le regole del gioco. Ecco come funziona, spiegato in modo semplice:

1. Non ascolta la musica, legge lo spartito (Dati vs. Pesi)

Invece di far suonare l'orchestra e ascoltare il risultato (che dipende dalle immagini che gli dai), SITH va direttamente nello studio del compositore e legge lo spartito originale (i "pesi" matematici del modello).

L'analogia: È come se invece di ascoltare un concerto per capire cosa suona un violino, prendessi il foglio di carta con le note scritte dal compositore. Non hai bisogno di un pubblico, non hai bisogno di suoni reali, basta la carta. Questo rende il metodo indipendente dai dati: non importa se hai foto di gatti o di auto, SITH legge la struttura interna del modello così com'è.

2. Scomporre il suono in note pure (SVD)

Ogni musicista (testa di attenzione) non suona una sola nota, ma un mix complesso. SITH usa una tecnica matematica chiamata SVD (Scomposizione in Valori Singolari) per prendere quel mix complesso e dividerlo nelle sue note fondamentali.

L'analogia: Immagina un cocktail colorato. SITH è come un filtro magico che separa il cocktail nei suoi ingredienti puri: succo di arancia, acqua tonica, ghiaccio. Ora sappiamo esattamente quali "ingredienti" (concetti) compongono il pensiero di quel musicista.

3. Tradurre le note in parole (COMP)

Una volta isolati questi "ingredienti" matematici, SITH usa un nuovo algoritmo chiamato COMP per tradurli in parole umane.

L'analogia: Se l'ingrediente matematico è un po' di "verde", COMP non ti dice solo "verde", ma ti dice: "Menta", "Erba fresca", "Smeraldo". E fa in modo che queste parole abbiano senso insieme (coerenza), invece di darti "Menta" e "Motore d'auto" mischiati insieme.
Il risultato? Sappiamo esattamente che la "Testa numero 5" non è solo "colori", ma è specificamente dedicata al "Rosso scuro" e al "Rosso vivo".

Perché è una rivoluzione? (I Superpoteri)

Grazie a questa "radiografia" dello spartito, possiamo fare cose incredibili senza dover riaddestrare il modello (che è costoso e lento):

Cura le "allergie" del modello (Rimuovere correlazioni spurie):
- Problema: Se mostri a CLIP molte foto di "cervi sullo sfondo della foresta", il modello potrebbe pensare che i cervi siano la foresta.
- Soluzione SITH: Leggendo lo spartito, SITH trova la "nota" che rappresenta "foresta" e la abbassa di volume. Ora il modello guarda il cervo, non l'albero dietro. Non serve mostrare nuove foto, basta un piccolo aggiustamento matematico.
Protezione dai contenuti pericolosi (NSFW):
- Se il modello contiene "note" che rappresentano contenuti violenti o inappropriati, SITH le individua e le "muto" o le inverte, rendendo il modello più sicuro senza toccare un solo dato di addestramento.
Capire come impara (Adattamento):
- Quando addestriamo il modello su un nuovo compito (es. riconoscere solo fiori), SITH ci mostra che il modello non impara "da zero". Invece, riorganizza il volume delle note che già aveva. È come se un musicista esperto, invece di imparare uno strumento nuovo, decidesse di suonare più forte le note che servono per quel brano specifico.

In sintesi

SITH è come avere una mappa del tesoro dell'intelligenza artificiale. Invece di indovinare cosa sta pensando guardando i suoi "sogni" (le immagini che produce), guardiamo direttamente la sua mente (i pesi) e la traduciamo in parole che noi umani capiamo. È più veloce, più preciso e non ha bisogno di guardare milioni di foto per capire come funziona.

1. Il Problema

Con la diffusione su larga scala dei modelli Vision-Language (VLM) come CLIP, diventa cruciale comprenderne i meccanismi interni. Tuttavia, i metodi di interpretabilità esistenti presentano limitazioni significative:

Dipendenza dai dati: La maggior parte delle tecniche si basa sull'analisi delle attivazioni del modello su grandi dataset (es. ImageNet). Questo le rende vulnerabili ai bias del dataset e le limita a spiegazioni di livello "testa" (head-level) o "campioni" (sample-level).
Granularità insufficiente: I metodi basati sulle attivazioni spesso forniscono descrizioni troppo grossolane di un intero attention head, senza isolare le specifiche sottocomponenti che codificano concetti semantici.
Costo computazionale: Richiedono l'esecuzione del modello su milioni di immagini per derivare le interpretazioni.

L'obiettivo del lavoro è superare queste limitazioni sviluppando un framework indipendente dai dati (data-free) e senza addestramento (training-free) che offra spiegazioni granulari e fedeli direttamente nello spazio dei pesi.

2. Metodologia: SITH e COMP

Gli autori propongono SITH (Semantic Inspection of Transformer Heads), un framework che analizza direttamente i pesi dell'encoder visivo di CLIP (basato su ViT). Il processo si articola in tre fasi principali:

A. Isolamento e Decomposizione SVD

Invece di analizzare le attivazioni, SITH si concentra sulla matrice Value-Output (VO) di ciascun attention head ( $W_{VO} = W_V W_O$ ). Questa matrice determina quali informazioni vengono "scritte" nel residual stream.

Viene applicata la Singular Value Decomposition (SVD) alla matrice $W_{VO}$ : $W_{VO} = U \Sigma V^T$ .
I vettori singolari (sinistri $U$ e destri $V$ ) rappresentano le direzioni dominanti di lettura e scrittura dell'head. Analizzando questi vettori, è possibile isolare le direzioni computazionali specifiche senza bisogno di input esterni.

B. Interpretazione Semantica con COMP

Per tradurre i vettori singolari (che sono vettori numerici ad alta dimensionalità) in concetti umani interpretabili, gli autori introducono COMP (Coherent Orthogonal Matching Pursuit).

Obiettivo: Rappresentare ogni vettore singolare come una combinazione sparsa e non negativa di embedding testuali provenienti da un pool di concetti (es. ConceptNet).
Innovazione: A differenza del classico Non-Negative Orthogonal Matching Pursuit (NNOMP) che ottimizza solo l'errore di ricostruzione, COMP introduce un termine di coerenza semantica.
Funzione di punteggio: Durante la selezione iterativa dei concetti, COMP bilancia la similarità con il residuo (ricostruzione) e la similarità semantica media con i concetti già selezionati. Questo garantisce che l'insieme di concetti risultante sia non solo accurato, ma anche semanticamente coerente (es. "rosso", "scarlatto", "rosso ciliegia" invece di "rosso" e "toaster vintage").

C. Indipendenza dai Dati

L'intero processo avviene nello spazio dei pesi. Non vengono utilizzati dataset di immagini per generare le interpretazioni, eliminando i bias legati ai dati e rendendo il metodo applicabile istantaneamente a qualsiasi modello CLIP pre-addestrato.

3. Contributi Chiave

Framework SITH: Un nuovo approccio di interpretabilità meccanica basato sui pesi, che fornisce spiegazioni a livello di vettore singolare (intra-head) invece che a livello di intero head.
Algoritmo COMP: Una tecnica di decomposizione sparsa regolarizzata per la coerenza che mappa i vettori singolari in combinazioni di concetti testuali interpretabili dall'uomo.
Modifica del Modello "Data-Free": Dimostrazione che è possibile modificare il comportamento del modello (amplificare o sopprimere concetti) agendo direttamente sui valori singolari, senza ri-addestramento o dati di training.
Analisi dell'Adattamento: Studio di come il fine-tuning influenzi i pesi, rivelando che l'adattamento avviene principalmente attraverso un ridimensionamento e un leggero riorientamento di una base semantica stabile, piuttosto che l'apprendimento di nuove feature da zero.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su OpenCLIP ViT-L/14 e validati su diversi benchmark:

Fedeltà e Interpretabilità: SITH con COMP raggiunge un ottimo compromesso tra la fedeltà di ricostruzione del vettore originale e la coerenza semantica delle spiegazioni, superando metodi basati su NNOMP (che sono fedeli ma incoerenti) e Top-k (che sono coerenti ma poco fedeli).
Corrispondenza con le Immagini: Le spiegazioni generate per i vettori singolari corrispondono a immagini reali nel dataset CC12M, confermando che i vettori codificano effettivamente concetti visivi specifici (es. colori, texture, materiali, luoghi).
Interventi sul Modello:
- Riduzione di Correlazioni Spurie: Sopprimendo i vettori associati a concetti di "sfondo" o "luogo", le prestazioni su Waterbirds (un dataset con bias di background) migliorano significativamente, specialmente per il gruppo peggiore (worst-group accuracy).
- Sicurezza (NSFW): È possibile rimuovere concetti non sicuri (NSFW) sopprimendo i vettori specifici, migliorando la sicurezza del retrieval senza degradare le prestazioni su query sicure.
- Miglioramento Classificazione: Amplificando i vettori rilevanti per un compito specifico (es. fiori, animali), le prestazioni di classificazione zero-shot aumentano su dataset come Flowers 102 e Oxford Pets.
Analisi del Fine-Tuning: L'analisi mostra che il fine-tuning non altera radicalmente la base semantica appresa, ma reindirizza sottilmente i pesi verso lo spazio semantico del nuovo compito.

5. Significato e Impatto

Il lavoro di SITH rappresenta un passo avanti fondamentale nell'interpretabilità meccanica dei VLM:

Trasparenza: Offre una "radiografia" del modello che rivela come i concetti siano organizzati internamente, indipendentemente dai dati di input.
Efficienza: Elimina la necessità di costosi processi di raccolta dati e addestramento per l'interpretabilità.
Controllo Preciso: Abilita interventi chirurgici sul modello (editing dei pesi) per correggere bias, migliorare la sicurezza o adattare le prestazioni a compiti specifici in modo efficiente e senza ri-addestramento.
Universalità: Le scoperte suggeriscono che l'organizzazione funzionale degli attention head (es. alcuni head dedicati ai colori, altri ai luoghi) è una proprietà universale dei modelli VLM, valida anche per architetture diverse e scale differenti.

In sintesi, SITH sposta il paradigma dell'interpretabilità dall'analisi delle "ombre" (attivazioni) generate dai dati all'analisi diretta della "struttura" (pesi) del modello, offrendo strumenti potenti per comprendere e controllare l'intelligenza artificiale multimodale.