Modulating Cross-Modal Convergence with Single-Stimulus, Intra-Modal Dispersion

Titolo: Modulazione della Convergenza Cross-Modale con Dispersione Intra-Modale a Stimolo Singolo

Autore: Eghbal A. Hosseini et al. (MIT, NYU, Flatiron Institute)
Contesto: Workshop ICLR 2026 su Representational Alignment (Re-Align).

---

1. Il Problema

Le reti neurali artificiali mostrano una notevole capacità di apprendere rappresentazioni che convergono tra diverse architetture, obiettivi di addestramento e persino modalità di dati (es. visione e linguaggio). Questa convergenza è predittiva dell'allineamento con le rappresentazioni neurali umane. L'ipotesi della "Rappresentazione Platonica" suggerisce che ciò derivi dall'apprendimento di prior ambientali condivisi.

Tuttavia, esistono due lacune fondamentali nella letteratura attuale:

1. Livello di Analisi: Gli studi precedenti hanno misurato la convergenza globalmente su gruppi di stimoli, trascurando come singoli stimoli specifici elicitino rappresentazioni convergenti o divergenti.
2. Mancanza di Metriche: I metodi esistenti sono spesso inadeguati per sondare la convergenza a livello di singolo stimolo, poiché si basano su medie su grandi dataset o mancano di uno spazio metrico rigoroso per il confronto.
3. Domanda Chiave: Non è chiaro come singoli stimoli (che possono essere percepiti in modi diversi o descritti con parole diverse) influenzino l'allineamento tra modelli di visione e linguaggio.

2. Metodologia

Gli autori introducono un approccio basato sull'Analisi Procruste Generalizzata (GPA) per misurare la convergenza rappresentazionale intra-modale a livello di singolo stimolo.

A. Analisi Procruste Generalizzata (GPA)

• Obiettivo: Allineare più spazi di embedding (provenienti da diversi modelli di visione) in un unico sistema di riferimento comune.
• Processo: Data una serie di matrici di rappresentazione $\{N_1, N_2, ..., N_M\}$, la GPA cerca una rappresentazione congiunta ottimale ($N_{joint}$) e un insieme di matrici di trasformazione ortogonali $\{T_1, ..., T_M\}$ che minimizzino la somma delle distanze di Frobenius al quadrato tra le rappresentazioni trasformate e la rappresentazione congiunta.
• Vincoli: Le trasformazioni sono limitate a rotazioni e riflessioni (ortogonali) per preservare la geometria interna di ciascuna rappresentazione (distanze e angoli tra stimoli), evitando distorsioni della struttura di covarianza.
• Pre-processing: Le embedding vengono centrate, normalizzate e zero-padded per uniformare le dimensioni.

B. Quantificazione della Dispersione a Stimolo Singolo

Dopo aver calcolato lo spazio congiunto, gli autori misurano la dispersione per ogni singolo stimolo $j$:

• Residuo Procruste ($r_{ij}$): La distanza euclidea tra la rappresentazione proiettata del modello $i$ per lo stimolo $j$ e la rappresentazione congiunta $N_{joint}$.
• Strategie di Sintesi:
  1. Dispersione Media: Media dei residui su tutti i modelli per ogni stimolo.
  2. Componente Principale della Dispersione (PC1): Applicazione della PCA alla matrice dei residui. Il punteggio lungo la prima componente principale (PC1) cattura l'asse principale di disaccordo tra i modelli, offrendo una misura più robusta rispetto alla semplice media.

C. Setup Sperimentale

• Modelli di Visione: Vari modelli ViT (Vision Transformer) addestrati su obiettivi diversi: MAE, DINO (DINOv2), CLIP e CLIP con fine-tuning su ImageNet-12K.
• Modelli Linguistici (LLM): BLOOM, OpenLLaMA e LLaMA.
• Dataset: 1024 coppie immagine/capzione dal dataset Wikipedia (WIT).
• Misura di Allineamento Cross-Modale: Utilizzo di CKNNA (Centered Kernel k-Nearest Neighbors Alignment), una variante locale della CKA che valuta la similarità tra spazi di rappresentazione basandosi sui vicini più prossimi (k=10), catturando la struttura locale piuttosto che quella globale.

3. Risultati Chiave

Lo studio ha rivelato una relazione forte e robusta tra la dispersione intra-modale (tra modelli di visione) e la convergenza cross-modale (tra visione e linguaggio).

1. Modulazione dell'Allineamento:

   • Gli stimoli con bassa dispersione intra-modale (alto accordo tra i diversi modelli di visione sulla rappresentazione dello stimolo) producono un allineamento significativamente più elevato con i modelli linguistici.
   • Gli stimoli con alta dispersione intra-modale (disaccordo tra i modelli di visione) mostrano un allineamento cross-modale molto inferiore.

2. Magnitudine dell'Effetto:

   • L'uso di stimoli a bassa dispersione ha portato a un aumento dell'allineamento cross-modale fino a un fattore di due rispetto agli stimoli ad alta dispersione o al baseline casuale.
   • Questo effetto è stato osservato in diverse combinazioni, ad esempio tra DINOv2 e vari LLM.

3. Robustezza:

   • Il fenomeno è stato confermato utilizzando due strategie di selezione degli stimoli: ordinamento basato sulla media dei residui e selezione basata sul punteggio PC1 della PCA.
   • L'effetto si è generalizzato attraverso diverse architetture di modelli di visione e diverse famiglie di LLM (BLOOM, LLaMA, OpenLLaMA).

4. Contributi Principali

1. Nuova Metodologia: Introduzione di un framework basato sulla GPA per misurare la convergenza rappresentazionale a livello di singolo stimolo, superando le limitazioni delle medie globali.
2. Scoperta Empirica: Dimostrazione che la dispersione intra-modale (l'accordo tra modelli di visione su uno stimolo specifico) è un predittore forte dell'allineamento cross-modale (visione-linguaggio).
3. Selettività degli Stimoli: Evidenza che non tutti gli stimoli contribuiscono ugualmente all'allineamento; selezionare stimoli "chiari" (bassa dispersione) massimizza la convergenza tra modalità.
4. Validazione dell'Ipotesi Platonica: Fornisce una prova più stringente dell'ipotesi della Rappresentazione Platonica, mostrando che la convergenza non è solo un fenomeno globale, ma dipende dalle caratteristiche intrinseche degli stimoli individuali.

5. Significato e Implicazioni

• Comprensione delle Basi della Convergenza: Questo lavoro offre una via per comprendere le fonti di convergenza e divergenza tra modalità diverse e tra reti neurali artificiali e rappresentazioni neurali umane.
• Test Strutturati: Offre un metodo più rigoroso per confrontare reti neurali artificiali e biologiche, permettendo di identificare quali tipi di stimoli (o quali caratteristiche degli stimoli) guidano l'allineamento.
• Implicazioni per il Design dei Modelli: Suggerisce che per migliorare l'allineamento cross-modale (es. in modelli VLM), potrebbe essere cruciale focalizzarsi su dati che generano rappresentazioni stabili e condivise tra diverse architetture di visione.
• Futuri Sviluppi: Il lavoro apre la strada all'identificazione delle caratteristiche specifiche degli stimoli a bassa dispersione che sono responsabili di questo allineamento, potenzialmente guidando la creazione di dataset più efficaci per l'addestramento di modelli multimodali.

In sintesi, il paper dimostra che la "chiarezza" di uno stimolo per una rete di visione (misurata come accordo tra diverse reti) è direttamente proporzionale alla capacità di quella rete di allinearsi con il linguaggio, fornendo un nuovo strumento analitico fondamentale per lo studio dell'allineamento rappresentazionale.