A quantitative analysis of semantic information in deep representations of text and images

Questo studio analizza l'Information Imbalance nelle rappresentazioni di DeepSeek-V3 e DinoV2 per dimostrare che l'informazione semantica converge attraverso lingue, modalità e architetture, concentrandosi in specifici strati intermedi o finali e mostrando che la prevedibilità direzionale è influenzata dalla scala del modello e dalla profondità degli strati, superando talvolta i modelli multimodali addestrati congiuntamente.

L'essenziale

Immagina di avere due persone che parlano lingue diverse (per esempio, italiano e inglese) e un terzo che guarda due foto diverse dello stesso oggetto (per esempio, due gatti diversi). La domanda fondamentale di questo studio è: come fanno le "menti" artificiali (le Intelligenze Artificiali) a capire che queste due frasi o queste due foto significano la stessa cosa, anche se sono presentate in modo diverso?

Gli scienziati hanno scoperto che, quando queste macchine diventano molto grandi e potenti, le loro "idee" interne su concetti simili tendono a convergere, diventando quasi identiche. È come se, indipendentemente dalla lingua o dal tipo di dato, tutte le menti artificiali arrivassero a una "piazza centrale" comune dove i concetti simili si incontrano.

Ecco come hanno studiato questo fenomeno, spiegato con parole semplici e analogie:

1. Il Problema: Come misurare la "somiglianza" delle idee?

Immagina di voler sapere quanto due persone si capiscono. Potresti chiedere loro di descrivere lo stesso oggetto. Se le descrizioni sono simili, si capiscono bene.
Ma nelle Intelligenze Artificiali, le "descrizioni" sono enormi liste di numeri (migliaia di dimensioni). È come cercare di confrontare due oceani di dati. I metodi tradizionali per misurare la somiglianza sono come guardare solo la superficie dell'oceano: ti dicono che l'acqua è blu in entrambi i casi, ma non ti dicono se sotto ci sono le stesse correnti o gli stessi pesci.

Gli autori hanno usato uno strumento speciale chiamato "Squilibrio Informativo" (Information Imbalance).

• L'analogia: Immagina di avere due mappe della stessa città, disegnate da due persone diverse.
  • Se la mappa A ti permette di trovare facilmente un punto sulla mappa B, allora la mappa A è molto "informativa" per la B.
  • Se la mappa B è confusa e non ti aiuta a trovare i punti della mappa A, allora c'è uno "sbilanciamento".
  • Questo strumento misura quanto una rappresentazione può "prevedere" l'altra, rivelando chi ha più informazioni e chi meno.

2. Le Scoperte Principali

A. Il significato è sparpagliato, non concentrato in un punto

Molti pensavano che il "significato" di una frase fosse nascosto tutto nell'ultimo token (l'ultima parola o l'ultimo pezzo di codice) della frase.

• La scoperta: È come cercare di capire un'intera storia leggendo solo l'ultima riga di un libro. Non funziona!
• L'analogia: Il significato è come un'orchestra. Non è il violino solista (l'ultima parola) a portare la melodia, ma è l'armonia di tutti gli strumenti insieme. Gli scienziati hanno scoperto che per capire il significato, bisogna ascoltare (o analizzare) tutti i token insieme, facendo una media. Se guardi solo l'ultimo pezzo, perdi gran parte della musica.

B. L'inglese è il "capo" (Asimmetria)

Hanno notato una cosa curiosa: le rappresentazioni delle frasi in inglese sono spesso più "ricche" e prevedibili di quelle in altre lingue (come l'italiano o il tedesco).

• L'analogia: Immagina che l'inglese sia un dialetto molto popolare e ricco di risorse, mentre altre lingue sono come dialetti più piccoli. Quando la macchina pensa in inglese, ha una mappa più dettagliata. Quando pensa in altre lingue, la mappa è un po' più sfocata.
• Dove succede? Questa differenza è forte all'inizio e alla fine del processo, ma nel mezzo (gli strati centrali della rete), le mappe di tutte le lingue diventano quasi identiche. È lì che il significato puro, slegato dalla lingua, risiede.

C. I Giganti battono i Piccoli (e l'addestramento congiunto non è tutto)

Hanno confrontato un modello enorme (DeepSeek-V3, con centinaia di miliardi di parametri) con uno più piccolo (Llama3).

• La scoperta: Il modello gigante "vede" molto più chiaramente del modello piccolo. Le sue rappresentazioni possono prevedere quelle del modello piccolo, ma non viceversa.
• La sorpresa: Hanno confrontato due modelli addestrati separatamente (uno per le immagini, uno per il testo) con un modello famoso (CLIP) che è stato addestrato insieme per capire immagini e testo contemporaneamente.
  • Risultato: I due modelli separati e giganti si sono capiti meglio del modello CLIP addestrato insieme!
  • L'analogia: È come se due esperti che hanno studiato da soli per anni (uno di arte, uno di letteratura) si capissero meglio di due studenti che hanno frequentato lo stesso corso di "arte-letteratura" ma sono meno intelligenti. La dimensione e la potenza del modello contano più del fatto di essere stati addestrati specificamente per lavorare insieme.

D. Dove risiede il significato? (Immagini vs Testo)

• Nei modelli che leggono (come i Transformer per il testo): Il significato si concentra nel mezzo del processo.
• Nei modelli che guardano (come DinoV2 per le immagini): Il significato si concentra alla fine del processo.
• È come se il modello per il testo facesse un lungo ragionamento prima di arrivare alla conclusione, mentre il modello per le immagini accumula dettagli fino all'ultimo istante per formare l'immagine finale.

In Sintesi

Questo studio ci dice che, quando le Intelligenze Artificiali diventano abbastanza grandi, iniziano a sviluppare un "linguaggio universale" interno.

1. Questo linguaggio universale si trova nel cuore della rete neurale (gli strati centrali).
2. Per capirlo, non bisogna guardare un solo punto, ma tutto il quadro (tutti i token insieme).
3. La grandezza del modello è fondamentale: un gigante che ha studiato da solo può capire meglio un piccolo modello addestrato in coppia.

È come se, indipendentemente dalla lingua che parli o dalla foto che guardi, tutte le menti artificiali potenti finissero per pensare allo stesso modo quando affrontano concetti profondi, creando una sorta di "ponte" invisibile tra testi, immagini e lingue diverse.

Sommario tecnico

Titolo: Un'analisi quantitativa delle informazioni semantiche nelle rappresentazioni profonde di testo e immagini

1. Il Problema

Recenti osservazioni suggeriscono che le rappresentazioni di modelli diversi, elaborando input identici o semanticamente correlati (come traduzioni o immagini e didascalie), tendono ad allinearsi. Questo fenomeno è formalizzato dall'Ipotesi della Rappresentazione Platonica, che postula che, all'aumentare delle dimensioni del modello, le rappresentazioni di input semanticamente correlati convergano verso strutture vicine su un manifold latente condiviso, indipendentemente dal compito specifico o dal modo in cui l'informazione è codificata.

Tuttavia, esistono lacune nella comprensione di questo fenomeno:

• Non è chiaro dove nella rete neurale emerga questa struttura condivisa.
• Non è quantificata la quantità di informazione che una rappresentazione trasporta su un'altra.
• Le metriche standard di similarità (come CKA o Neighborhood Overlap) sono simmetriche e non riescono a catturare le asimmetrie direzionali (es. se la rappresentazione di un modello grande prevede meglio quella di un modello piccolo, o viceversa).
• Manca un'analisi sistematica su come la scelta dell'aggregazione dei token (ultimo token, media, concatenazione) influenzi la misurazione di queste allineamenti.

2. Metodologia

Gli autori utilizzano l'Information Imbalance (II) come metrica principale. A differenza delle metriche di similarità simmetriche, l'II è una misura asimmetrica basata sul ranking che quantifica la capacità di una rappresentazione $X$ di predire un'altra rappresentazione $Y$.

• Definizione: L'II misura il rango medio dei punti più vicini in $Y$ rispetto ai punti più vicini in $X$. Un valore basso indica che i vicini in $X$ sono anche vicini in $Y$ (alta predittività).
• Vantaggio: Può essere calcolata efficientemente in spazi ad alta dimensionalità e agisce come un proxy per l'entropia incrociata, rivelando relazioni di ordine parziale tra modelli.

Dataset e Modelli Analizzati:

• Testo: Traduzioni di frasi (Opus Books) tra l'inglese e cinque altre lingue (spagnolo, italiano, tedesco, francese, olandese, ungherese).
  • Modelli: DeepSeek-V3 (671B parametri, MoE) e la famiglia Llama3 (1B, 3B, 8B).
  • Aggregazione: Confronto tra rappresentazione dell'ultimo token, concatenazione degli ultimi $T$ token e media degli ultimi $T$ token.
• Immagini: Coppie di immagini della stessa classe (ImageNet-1k) e coppie Immagine-Didascalia (Flickr30k).
  • Modelli Visivi: DinoV2-large (encoder, addestrato con contrastive learning) e ImageGPT-large (autoregressivo).
  • Confronto Multimodale: Analisi incrociata tra DeepSeek-V3 (testo) e modelli visivi, inclusa la coppia CLIP (addestrata congiuntamente) per valutare l'impatto dell'addestramento multimodale esplicito.

3. Risultati Chiave

A. Scelta della Rappresentazione e Distribuzione Semantica

• L'aggregazione tramite media dei token (specialmente degli ultimi 20 token) fornisce i punteggi di allineamento migliori (II più basso) rispetto all'ultimo token o alla concatenazione.
• Questo suggerisce che l'informazione semantica nelle rappresentazioni profonde non è concentrata in un singolo token (come l'ultimo), ma è distribuita su molti token. La media rimuove il "rumore" posizionale irrilevante per la semantica.

B. Profilo Strutturale e Strati Semantici

• Testo (LLM): L'allineamento semantico è massimo negli strati centrali della rete (circa 40-60% della profondità), indipendentemente dalla coppia di lingue. Gli strati iniziali e finali contengono più informazioni specifiche del linguaggio o del task.
• Immagini:
  • I modelli autoregressivi (ImageGPT) mostrano un picco di allineamento semantico negli strati centrali (simile agli LLM).
  • I modelli encoder (DinoV2) concentrano l'informazione semantica negli strati finali, coerentemente con il loro obiettivo di addestramento per task di downstream (segmentazione, profondità).

C. Asimmetrie Informative
L'analisi rivela forti asimmetrie direzionali:

1. Lingua: Le rappresentazioni inglesi sono sistematicamente più predittive di quelle di altre lingue (specialmente negli strati iniziali e finali), riflettendo la maggiore abbondanza di risorse di addestramento per l'inglese. Tuttavia, negli strati centrali, l'allineamento diventa simmetrico.
2. Scala del Modello: Le rappresentazioni di DeepSeek-V3 (modello grande) sono molto più predittive di quelle di Llama3-8b (modello piccolo), specialmente nella seconda metà della rete. Questo conferma che i modelli più grandi catturano una struttura semantica più ricca e universale.
3. Cross-Modale: Esiste un'asimmetria significativa tra testo e immagine, dove le rappresentazioni testuali (DeepSeek-V3) tendono a predire meglio quelle visive rispetto al viceversa.

D. Allineamento Cross-Modale e Scala vs. Addestramento

• Due modelli addestrati indipendentemente (DeepSeek-V3 per il testo e DinoV2 per le immagini) raggiungono un allineamento cross-modale (II $\approx$ 0.20) superiore a quello della coppia CLIP, che è stata addestrata esplicitamente per allineare testo e immagine.
• Implicazione: La scala del modello (model size) sembra essere un fattore dominante rispetto all'addestramento multimodale esplicito per massimizzare la predittività cross-modale.
• L'allineamento è più uniforme negli strati per CLIP (grazie all'addestramento contrastivo), mentre per i modelli indipendenti è concentrato negli strati specifici dove risiede la semantica.

4. Contributi Principali

1. Validazione dell'Information Imbalance: Dimostrazione che l'II è uno strumento superiore alle metriche simmetriche (CKA, NO) per analizzare la convergenza delle rappresentazioni in spazi ad alta dimensionalità, permettendo di quantificare la direzionalità e l'asimmetria dell'informazione.
2. Mappatura della Semantica: Identificazione precisa degli strati "semantici" nelle reti neurali: centrali per i modelli autoregressivi e finali per gli encoder, con una convergenza robusta tra lingue diverse in queste zone.
3. Ruolo della Scala: Evidenza empirica che la scala del modello può superare l'addestramento multimodale esplicito nel creare rappresentazioni allineate tra modalità diverse.
4. Distribuzione Tokenica: Scoperta che la semantica è distribuita su molti token, rendendo la media delle attivazioni una strategia di aggregazione superiore all'uso del solo ultimo token per l'analisi di allineamento.

5. Significato e Implicazioni

Il lavoro supporta l'ipotesi di una convergenza semantica attraverso lingue, modalità e architetture, ma ne offre una visione più sfumata:

• La convergenza non è un fenomeno globale uniforme, ma una proprietà di stadi di elaborazione intermedi specifici.
• Anche quando le rappresentazioni convergono, possono esistere asimmetrie significative nella quantità di informazione contenuta, guidate da fattori come la dimensione del modello, le risorse di addestramento e la modalità (testo vs immagine).
• I risultati suggeriscono che i modelli di grandi dimensioni, anche se addestrati su task unimodali, sviluppano internamente una "geometria" semantica condivisa che permette un allineamento naturale con altri domini, riducendo la necessità di addestramenti multimodali costosi per ottenere rappresentazioni allineate.

In sintesi, il paper fornisce un quadro quantitativo rigoroso su come l'informazione semantica sia codificata e distribuita nelle reti profonde, sfidando alcune assunzioni sull'importanza esclusiva dell'addestramento multimodale e sottolineando il ruolo cruciale della scala e della struttura interna della rete.