Explainable embeddings with Distance Explainer

Each language version is independently generated for its own context, not a direct translation.

🌌 Il Problema: La "Biblioteca Invisibile"

Immagina di avere una biblioteca gigantesca dove ogni libro non è ordinato per titolo o autore, ma è stato trasformato in un punto luminoso in una stanza buia e tridimensionale.

I libri che parlano di "gatti" sono raggruppati vicini tra loro.
I libri su "astronavi" sono raggruppati in un'altra zona.
Se due libri sono molto simili, i loro punti luminosi sono quasi uno sopra l'altro. Se sono diversi, sono lontani.

Questa è la realtà delle embedding (spazi incorporati) usate dall'Intelligenza Artificiale (IA). L'IA sa che due cose sono simili perché i loro "punti" sono vicini, ma non sa spiegarci il perché. È come se ti dicesse: "Questi due libri sono vicini", ma non ti mostrasse le pagine che li rendono simili.

🔍 La Soluzione: Il "Distance Explainer" (Il Detective della Distanza)

Gli autori, Christiaan Meijer e Patrick Bos, hanno creato un nuovo strumento chiamato Distance Explainer. Immaginalo come un detective o un fotografo forense che entra nella stanza buia per capire esattamente quali dettagli di un oggetto fanno sì che si avvicini o si allontani da un altro.

Il loro metodo funziona così:

Prendi due oggetti: Per esempio, una foto di un'ape e una foto di una mosca.
Crea un "finto" scenario: L'IA prende la foto dell'ape e inizia a coprire casualmente parti dell'immagine con un "velo nero" (come se stessi cancellando pezzi del disegno).
Osserva la reazione: Dopo ogni cancellazione, l'IA chiede: "Ora, quanto è lontana questa foto dall'immagine della mosca?".
- Se cancelli le ali dell'ape, la foto diventa molto più simile a una mosca (la distanza si riduce).
- Se cancelli le strisce gialle e nere, la foto diventa molto più diversa dalla mosca (la distanza aumenta).
Ricostruisci la mappa: Ripetendo questo processo migliaia di volte, il detective crea una mappa di calore. Le zone rosse sono quelle che, se cancellate, cambiano tutto (sono fondamentali per la somiglianza), mentre le zone blu sono quelle che non importano molto.

🎭 L'Analogia del "Gioco del Chi è?"

Per capire meglio, pensa al gioco "Chi è?" (o "Indovina chi"):

Hai due personaggi: Mario e Luigi.
L'IA dice: "Mario e Luigi sono molto simili".
Il Distance Explainer inizia a nascondere parti del viso di Mario:
- Nasconde i baffi? Clic! Ora Mario sembra meno Luigi. (I baffi sono importanti per la differenza).
- Nasconde il cappello rosso? Clic! Ora Mario sembra ancora più simile a Luigi. (Il cappello è ciò che li distingue).
- Nasconde il naso? Niente succede. (Il naso non è rilevante per questa specifica differenza).

Alla fine, il detective ti mostra un ritratto di Mario con i baffi e il cappello evidenziati, spiegando: "Ecco perché Mario è diverso da Luigi: sono questi due dettagli!".

🧪 Cosa hanno scoperto?

Hanno testato il loro metodo su:

Immagini: Confrontando animali (api vs mosche) o oggetti (auto vs biciclette). Hanno scoperto che l'IA guarda le ali per distinguere un'ape da una mosca, e le ruote per distinguere un'auto da una bicicletta (anche se le biciclette hanno le ruote, l'IA nota che le ruote dell'auto sono diverse).
Immagini e Testi: Hanno confrontato una foto di un'ape con la frase "un'ape su un fiore". Il sistema ha capito che l'IA associa la foto al testo guardando le parti specifiche dell'immagine che corrispondono alle parole.

🛠️ Perché è importante?

Prima di questo lavoro, se un'IA diceva "Questi due dati sono simili", gli umani dovevano fidarsi ciecamente. Ora, con il Distance Explainer, possiamo:

Vedere i "punti ciechi": Capire se l'IA sta guardando le cose giuste (es. le ali dell'ape) o cose strane (es. lo sfondo).
Aumentare la fiducia: Se un medico usa un'IA per diagnosticare una malattia basandosi su immagini, questo strumento può mostrare esattamente quali parti dell'immagine hanno portato alla decisione.
Essere trasparenti: Non è più una "scatola nera". È come se l'IA ti mostrasse il suo ragionamento passo dopo passo.

In sintesi

Il paper introduce un modo intelligente per "illuminare" le decisioni dell'IA quando confronta due cose. Invece di dire solo "sono vicini", ci mostra quali pezzi dell'immagine o del testo stanno tenendo insieme (o separando) quei due punti nello spazio digitale. È come dare all'IA la capacità di dire: "Guarda, ti assomiglio perché abbiamo entrambi queste ali, non perché abbiamo entrambi lo sfondo verde".

Each language version is independently generated for its own context, not a direct translation.

Titolo: Embeddings spiegabili con Distance Explainer

Autori: Christiaan Meijer ed E. G. Patrick Bos (Netherlands eScience Center e University of Groningen)

1. Il Problema

L'Intelligenza Artificiale Spiegabile (XAI) ha fatto grandi progressi, ma rimangono significative lacune nella spiegabilità degli spazi incorporati (embedded spaces).

Contesto: Gli spazi incorporati sono spazi vettoriali multidimensionali in cui i dati originali (immagini, testo, ecc.) vengono proiettati per rappresentare concetti astratti complessi (es. FaceNet, Word2vec, CLIP).
La Sfida: Le dimensioni di questi spazi rappresentano astrazioni multi-livello difficili da interpretare. Mentre esistono metodi XAI per immagini, testo o dati tabellari, mancano metodi generali per spiegare le distanze tra due punti in uno spazio incorporato arbitrario.
Limiti degli approcci esistenti: Metodi come RISE, LIME o GradCAM sono progettati per un singolo input e un output di classe. Metodi specifici come S-RISE o CorrRISE esistono per il riconoscimento facciale, ma non sono agnostici rispetto alla modalità (modality-agnostic) e non si applicano genericamente a spazi incorporati arbitrari.

2. Metodologia: Distance Explainer

Gli autori propongono Distance Explainer, un metodo post-hoc e locale per generare mappe di attribuzione che spiegano perché due dati (proiettati nello spazio incorporato) sono vicini o distanti.

Adattamento da RISE (Randomized Input Sampling for Explanation)

Il metodo si basa sull'algoritmo RISE, ma introduce modifiche fondamentali per adattarsi al compito di spiegare la distanza tra due vettori ( $e$ e $r$ ) invece della classificazione di un singolo vettore.

Input e Output:
- Invece di un singolo input, il sistema prende due input: un elemento "da spiegare" ( $e$ ) e un elemento di "riferimento" ( $r$ ).
- L'obiettivo è spiegare la distanza tra le loro proiezioni nello spazio incorporato.
Strategia di Mascheramento e Filtraggio:
- Viene generato un gran numero di maschere binarie casuali sull'elemento $e$ .
- Ogni immagine mascherata viene passata attraverso il modello per ottenere il nuovo vettore incorporato.
- Si calcola la distanza (cosine distance) tra il vettore mascherato e il riferimento $r$ .
- Innovazione Chiave: A differenza di RISE che usa una somma pesata basata sui punteggi di classe, Distance Explainer utilizza un filtraggio basato sul ranking della distanza:
  - Si selezionano solo le maschere che producono le distanze più basse (top x%) o più alte (bottom x%).
  - Modalità "Mirror" (Specchio): Si combinano sia le maschere che riducono la distanza che quelle che la aumentano. Le maschere che aumentano la distanza vengono moltiplicate per -1 e sottratte. Questo approccio migliora il rapporto segnale-rumore cancellando parzialmente il rumore statistico.
Metrica di Distanza:
- Viene utilizzata la distanza coseno ( $d_{cos}$ ) invece della distanza euclidea. Questo è cruciale perché negli spazi di classificazione (come ImageNet), le attivazioni sommano a 1; la distanza euclidea sarebbe influenzata dalla magnitudine del vettore, mentre la distanza coseno cattura le differenze angolari (semantiche).

3. Contributi Chiave

Generalità: Il metodo è agnostico rispetto alla modalità (funziona per immagini, testo, ecc.) e applicabile a qualsiasi spazio incorporato, a differenza di soluzioni specifiche per domini come il riconoscimento facciale.
Nuovo Paradigma di Attribuzione: Sposta il focus dall'attribuzione per una singola classe all'attribuzione per la distanza relativa tra due istanze.
Filtraggio Intelligente: Introduce il concetto di selezione delle maschere basato sul ranking della distanza e la modalità "mirror" per migliorare la qualità della mappa di attribuzione senza pesi complessi.
Risorsa Open Source: Il codice e i dati sperimentali sono stati resi pubblicamente disponibili (GitHub e Zenodo).

4. Risultati Sperimentali

Gli autori hanno valutato il metodo utilizzando modelli come ResNet50/VGG16 (ImageNet) e CLIP (ViT-B/32) su coppie di immagini e coppie immagine-testo.

Valutazione Quantitativa (Metriche XAI)

Fedeltà (Faithfulness): Misurata tramite cancellazione incrementale. Rimuovendo i pixel più importanti (quelli che riducono la distanza), la distanza aumenta drasticamente, confermando che la mappa identifica correttamente le caratteristiche rilevanti.
Robustezza (Sensitivity): I valori di sensibilità media sono bassi (0.04 - 0.06), indicando che piccole perturbazioni nell'input non causano cambiamenti drastici nelle mappe di attribuzione.
Randomizzazione (MPRT): Testando la correlazione tra mappe generate con pesi del modello originali e pesi randomizzati, si osserva una perdita immediata di struttura e una bassa correlazione. Questo conferma che le spiegazioni dipendono dai parametri appresi del modello e non da bias intrinseci dell'algoritmo.

Valutazione Qualitativa

Casi d'uso:
- Immagine vs Immagine: Per "ape vs mosca", le ali sono evidenziate come fattore di somiglianza, mentre le strisce come fattore di differenza. Per "cane e auto vs auto", l'auto viene evidenziata quando il riferimento è un'auto.
- Immagine vs Didascalia (CLIP): Il metodo riesce a spiegare perché un'immagine di un'ape è vicina alla didascalia "un'ape su un fiore" ma lontana da "una mosca".
Analisi dei Parametri:
- Numero di maschere: Aumentare il numero di maschere (es. da 100 a 2000) riduce la deviazione standard e stabilizza i risultati.
- Copertura della maschera ( $p_{keep}$ ): Valori centrali (0.4-0.6) funzionano meglio; valori estremi introducono rumore.
- Risoluzione: Una risoluzione di 8x8 o 16x16 offre il miglior compromesso tra dettaglio e rumore.

5. Significato e Implicazioni

Colmare il Divario XAI: Questo lavoro affronta una lacuna critica nella ricerca XAI, fornendo strumenti per comprendere le decisioni dei modelli basati su spazi incorporati, sempre più comuni nella ricerca scientifica (es. acquisizione del linguaggio, bioinformatica).
Trasparenza e Fiducia: Aumenta la trasparenza nelle applicazioni di Deep Learning che utilizzano embedding, permettendo agli utenti di capire perché due elementi sono considerati simili o dissimili.
Estensibilità: Sebbene testato principalmente su immagini, l'architettura è progettata per essere estesa ad altri domini (testo, serie temporali) utilizzando funzioni di mascheramento specifiche per la modalità (es. tramite librerie come DIANNA).
Sfide Future: Il paper identifica la necessità di ottimizzare i parametri, esplorare strategie di imputazione alternative al mascheramento nero (per evitare dati fuori distribuzione) e condurre studi sull'usabilità per utenti non esperti.

In sintesi, Distance Explainer rappresenta un passo avanti significativo verso la spiegabilità dei modelli di rappresentazione vettoriale, offrendo un metodo robusto, modulare e validato empiricamente per analizzare le relazioni semantiche negli spazi incorporati.