Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings

Questo lavoro presenta un framework post-hoc per spiegare, verificare e allineare le gerarchie semantiche negli spazi di embedding dei modelli visione-linguaggio, rivelando attraverso esperimenti su 13 modelli che gli encoder di testo generano strutture più allineate alle tassonomie umane rispetto agli encoder di immagine, pur evidenziando un compromesso tra accuratezza zero-shot e plausibilità ontologica.

L'essenziale

Immagina che i modelli di intelligenza artificiale che vedono e leggono (chiamati VLM, come CLIP) siano dei bambini geniali che hanno imparato a riconoscere il mondo guardando milioni di foto e leggendo milioni di libri.

Il problema è che questi "bambini" hanno imparato da soli. Hanno creato le loro regole per raggruppare le cose. Per loro, un "gatto" e un "cane" potrebbero essere più simili tra loro perché sono entrambi "animali pelosi", ma forse raggruppano un "gatto" e un "frodo" (una rana) perché entrambi hanno la pelle liscia? O forse mettono insieme "auto" e "camion" in modo diverso da come lo farebbe un essere umano?

Gli scienziati di questo studio hanno detto: "Aspetta, non sappiamo davvero come ragiona questa macchina. Dobbiamo guardare dentro la sua testa e vedere come ha organizzato i suoi pensieri."

Ecco cosa hanno fatto, spiegato con un'analogia semplice:

1. La Mappa del Tesoro (Estrarre la Gerarchia)

Immagina che il cervello del computer sia una stanza piena di oggetti sparsi. Se chiedi al computer "cos'è una foto di un gatto?", lui trova un punto specifico nella stanza.
Gli scienziati hanno preso tutti questi punti (per gatti, cani, auto, uccelli, ecc.) e hanno iniziato a giocare a "trova le coppie".

• Hanno messo insieme i punti più vicini (es. gatto e cane).
• Poi hanno messo insieme quelle coppie in gruppi più grandi (es. gatto+cane = "animali domestici").
• Hanno continuato a salire fino a creare un albero genealogico (una gerarchia) che mostra come il computer vede le relazioni tra le cose.

2. Il Controllo della Nonna (Verificare la Plausibilità)

Una volta costruita questa mappa, gli scienziati l'hanno confrontata con la "mappa della nonna", ovvero le nostre conoscenze umane (come i dizionari o le enciclopedie).

• Domanda: Il computer pensa che un "cavallo" sia un tipo di "veicolo"? (Speriamo di no!)
• Risposta: Hanno scoperto che c'è un conflitto interessante:
  • L'"occhio" del computer (l'encoder delle immagini) è bravissimo a distinguere i dettagli: sa che una Ferrari è diversa da un'auto di lusso. È molto preciso, ma a volte ragiona in modo strano (es. raggruppa cose per colore o forma, non per significato).
  • La "voce" del computer (l'encoder del testo) ragiona più come noi umani. Se gli chiedi "cos'è un cane?", la sua risposta testuale segue la logica umana (cane -> mammifero -> animale).

3. Il Trucco del Mago (Allineare i Pensieri)

Il problema è che l'occhio e la voce del computer non sono sempre d'accordo. L'occhio vede bene, ma ragiona male; la voce ragiona bene, ma a volte è meno precisa nel riconoscere le immagini.
Gli scienziati hanno inventato un "trucco magico" (una trasformazione matematica leggera).
Immagina di avere un paio di occhiali speciali. Se li metti, il computer può "vedere" le immagini esattamente come le ragiona il testo umano.

• Hanno preso la mappa confusa dell'occhio.
• L'hanno "stirata" e "piegata" (usando una tecnica chiamata UMAP) per farla combaciare con la mappa logica del testo.
• Risultato: Il computer è diventato più intelligente e umano, senza perdere la sua capacità di riconoscere le cose velocemente.

Perché è importante?

Prima, se un'IA sbagliava a classificare un'immagine, non sapevamo perché. Ora abbiamo una mappa che ci dice: "Ah, il computer ha sbagliato perché ha raggruppato i 'cavalli' con i 'veicoli' invece che con gli 'animali'."

Inoltre, hanno scoperto un compromesso: più un computer è bravo a distinguere i dettagli (alta precisione), più tende a perdere il senso comune umano (bassa plausibilità). Il loro metodo aiuta a trovare un equilibrio, rendendo le IA non solo più precise, ma anche più comprensibili e affidabili per noi.

In sintesi: Hanno creato uno strumento per "tradurre" il pensiero confuso di un'IA in una logica umana, correggendo gli errori di ragionamento senza spegnere la sua intelligenza visiva. È come insegnare a un bambino geniale ma disordinato a mettere in ordine la sua stanza secondo le regole della casa.

Sommario tecnico

1. Il Problema

I modelli Vision-Language (VLM) come CLIP hanno dimostrato capacità eccezionali nel creare spazi di embedding condivisi per immagini e testi, abilitando compiti come la ricerca e la classificazione zero-shot. Tuttavia, l'organizzazione semantica interna di questi spazi di embedding rimane scarsamente esplorata.
Le metriche di valutazione tradizionali si concentrano sulla precisione della classificazione, trascurando come i concetti siano internamente organizzati e correlati. In particolare:

• Non è chiaro se le gerarchie semantiche indotte dai VLM corrispondano alle tassonomie umane (ontologie).
• Esiste un potenziale trade-off tra la capacità discriminativa del modello (accuratezza zero-shot) e la plausibilità ontologica delle sue rappresentazioni.
• Manca un metodo sistematico per spiegare, verificare e allineare post-hoc le gerarchie apprese dai VLM a strutture di conoscenza umane desiderate.

2. Metodologia

Gli autori propongono un framework post-hoc in tre fasi principali per gestire le gerarchie semantiche negli spazi di embedding dei VLM:

A. Estrazione della Gerarchia (Explain)

L'obiettivo è estrarre una struttura ad albero binario che riassuma come il modello raggruppa le classi "foglia" (leaf classes).

1. Centroidi: Si calcolano gli embedding centroidi per ogni classe di leaf (usando immagini, testo o entrambi).
2. Clustering: Si applica un clustering gerarchico agglomerativo (con similarità coseno e linkage medio) sui centroidi delle foglie per costruire l'albero. Ogni fusione crea un nodo interno.
3. Nominazione: I nodi interni vengono nominati mappando i loro embedding vettoriali alla banca dati lessicale più vicina (es. WordNet) tramite assegnazione lineare, per evitare duplicati e ottenere etichette semantiche leggibili.

B. Verifica della Plausibilità (Verify)

Una volta estratta la gerarchia, viene confrontata con ontologie di riferimento umane (SUMO, OpenCyc, Yago) per valutarne la plausibilità.

• Metriche Globali: Si calcola la distanza di modifica dell'albero (Tree Edit Distance) tra la gerarchia estratta e la più vicina gerarchia valida presente nell'ontologia di riferimento.
• Metriche Locali (Hierarchical Consistency Score): Si valuta la consistenza dei collegamenti padre-figlio controllando se rispettano i percorsi di iperonimia nell'ontologia di riferimento.
• Inferenza Esplicabile: Viene introdotta una procedura di inferenza tramite attraversamento dell'albero (tree-traversal) con arresto anticipato consapevole dell'incertezza (UAES). Se la similarità con i figli scende sotto una soglia, il modello si ferma al nodo padre, restituendo una categoria più generale e affidabile invece di indovinare una classe specifica errata.

C. Allineamento Post-Hoc (Align)

Per correggere le discrepanze tra la gerarchia appresa e una gerarchia target (es. quella umana o quella di un altro encoder), gli autori propongono un metodo di trasformazione dello spazio di embedding:

1. Obiettivo: Generare nuovi punti latenti target che rispettino la struttura della gerarchia desiderata (usando UMAP per preservare le vicinanze target).
2. Trasformazione: Si addestra una rete neurale leggera (DNN a 2 strati) per mappare gli embedding originali verso i nuovi target.
3. Funzione di Perdita: La funzione di ottimizzazione bilancia tre termini:
   • Mantenere la geometria originale (per non distruggere l'accuratezza zero-shot).
   • Minimizzare la distanza nell'albero target tra classi vicine nella gerarchia desiderata.
   • Regolarizzare per evitare il collasso delle rappresentazioni.

3. Contributi Chiave

1. Pipeline Completa: Introduzione di un metodo sistematico per estrarre, verificare e allineare le gerarchie semantiche nei VLM senza ri-addestrare il modello principale.
2. Studio Empirico su Larga Scala: Analisi di 13 VLM pre-addestrati (famiglie CLIP, ALIGN, FLAVA, SigLIP) su 4 dataset (CIFAR-10/100, ImageNet, CUB) e confronto con diverse ontologie.
3. Scoperta del "Modality Gap": Dimostrazione di una differenza sistematica tra encoder di immagine e di testo:
   • Gli encoder di immagine tendono a essere più discriminativi (migliore accuratezza zero-shot) ma inducono gerarchie meno plausibili rispetto alle tassonomie umane.
   • Gli encoder di testo inducono gerarchie semanticamente più plausibili e allineate alle ontologie umane, ma con minore capacità discriminativa.
4. Trade-off Plausibilità-Discriminabilità: Evidenziazione di un trade-off persistente: migliorare la plausibilità ontologica spesso riduce l'accuratezza zero-shot, e viceversa.
5. Metodo di Allineamento Efficace: Dimostrazione che è possibile allineare post-hoc le gerarchie indotte verso target desiderati con una perdita moderata di accuratezza zero-shot.

4. Risultati Principali

• Fedeltà (Faithfulness): La fedeltà della gerarchia estratta diminuisce drasticamente all'aumentare del numero di classi (es. da 94% su CIFAR-10 a 26% su ImageNet). L'uso dell'arresto anticipato (UAES) migliora significativamente l'affidabilità delle inferenze gerarchiche, specialmente su dataset complessi.
• Confronto Modale: Gli embedding basati solo sul testo mostrano una coerenza gerarchica significativamente superiore rispetto a quelli basati solo sull'immagine quando confrontati con ontologie come SUMO e Yago. La combinazione di testo e immagine offre un compromesso utile.
• Allineamento: L'applicazione della trasformazione post-hoc è riuscita a correggere errori strutturali (es. scambiare foglie nell'albero) e ad allineare le gerarchie delle immagini a quelle del testo o alle ontologie valide, riducendo la distanza di edit dell'albero (nUTED) con un impatto accettabile sulle prestazioni zero-shot.
• Correlazione Negativa: È stata trovata una correlazione negativa significativa tra l'accuratezza zero-shot e la plausibilità ontologica: i modelli più precisi nella classificazione tendono ad avere strutture semantiche meno allineate alla conoscenza umana comune.

5. Significato e Implicazioni

Questo lavoro è fondamentale per l'interpretabilità e l'affidabilità dei modelli VLM:

• Trasparenza: Fornisce strumenti per "guardare dentro" la scatola nera dei VLM, rivelando come i modelli concettualizzano il mondo.
• Riduzione del Bias: Permette di identificare raggruppamenti controintuitivi o bias (es. raggruppare uomini e donne in base ai capelli invece che alla categoria "persona") e correggerli.
• Guida per l'Addestramento: Suggerisce che l'allineamento testo-immagine nei VLM attuali non è ottimale anche a livello di struttura gerarchica semantica.
• Applicazioni Pratiche: Il metodo di allineamento post-hoc offre una via pratica per specializzare VLM generici su domini specifici o per allinearli a standard di conoscenza umana senza il costo computazionale di un ri-addestramento completo.

In sintesi, il paper dimostra che sebbene i VLM siano potenti per l'inferenza diretta, la loro struttura semantica interna richiede verifica e spesso correzione per essere allineata con la logica e le tassonomie umane, offrendo un framework robusto per farlo.