Sintesi Tecnica: L'Ipoti si di Rappresentazione Wittgensteiniana

1. Enunciato del Problema

Una domanda fondamentale nell'apprendimento di rappresentazioni multimodali è il motivo per cui reti neurali addestrate indipendentemente da diverse modalità (ad esempio, visione, nuvole di punti, linguaggio) convergono verso strutture rappresentative condivise. Mentre l'Ipotesi di Rappresentazione Platonica (PRH) postula che tale convergenza avvenga verso una "struttura statistica della realtà" condivisa, essa rimane agnostica riguardo alla direzione di questa convergenza e alla natura specifica del punto di arrivo.

Le prove empiriche esistenti per la convergenza si basano esclusivamente su misure di similarità simmetriche (ad esempio, CKA, mutual kNN, RSA). Per costruzione, queste metriche soddisfano $s(X, Y) = s(Y, X)$, permettendo di rilevare che la convergenza esiste, ma rendendole strutturalmente cieche rispetto a dove o in quale direzione la convergenza si sta dirigendo. Di conseguenza, la questione se la convergenza sia reciproca o direzionale e, se direzionale, quale modalità funga da attrattore, è rimasta inesaminata.

2. Metodologia

Gli autori introducono l'Analisi della Convergenza Direzionale per affrontare i limiti delle metriche simmetriche.

2.1 Misura di Allineamento Asimmetrica: CYCLE-KNN

L'innovazione metodologica centrale è l'applicazione di CYCLE-KNN, una misura di allineamento intrinsecamente asimmetrica, per indagare la direzione della convergenza.

• Meccanismo: CYCLE-KNN calcola l'allineamento tramite un ciclo di due passaggi di vicinato più prossimo. Per le rappresentazioni $X$ e $Y$, trova i $k$ vicini più prossimi di un punto $i$ nello spazio $Y$, quindi trova i $k$ vicini più prossimi di quei punti tornando nello spazio $X$. Il punteggio è la frazione di punti $i$ che tornano a se stessi (o al loro vicinato originale) dopo questo viaggio di andata e ritorno.
• Asimmetria: La metrica è asimmetrica per $k \ge 2$. Se $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$, ciò implica che la struttura del vicinato di $Y$ è più coerente (compatta) rispetto a $X$, rendendo il passaggio di ritorno più probabile.
• Divario Direzionale ($\Delta$): Gli autori definiscono $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$. Un $\Delta$ costantemente positivo indica che $Y$ agisce come un sistema di riferimento più stabile (attrattore) per $X$.

2.2 Impostazione Sperimentale

• Modelli: Lo studio valuta 58 modelli unimodali addestrati indipendentemente che coprono tre modalità disposte lungo una gerarchia di astrazione:
  • Nuvole di Punti 3D: 7 modelli (ad esempio, PointMAE, PointBERT, PointGPT).
  • Visione 2D: 22 modelli (ad esempio, ViT, MAE, DINOv2, DINOv3, CLIP).
  • Linguaggio: 29 modelli (ad esempio, BLOOMZ, LLaMA, Qwen2.5/3, InternLM).
  • Nota: Ad eccezione dei controlli cross-modali (CLIP, ReCon++), nessun modello è stato addestrato su dati provenienti da altre modalità.
• Dataset:
  • WiT: 1.024 coppie immagine-testo per l'allineamento Visione-Linguaggio.
  • ShapeNet55: Oggetti 3D corrispondenti, immagini renderizzate e descrizioni testuali per l'allineamento Nuvola di Punti-Visione-Linguaggio.
• Analisi: Gli autori calcolano $\Delta$ su tutte le coppie cross-modali, analizzando la densità livello per livello, il consenso intra-modale e l'invarianza di scala (conteggi di parametri che variano da 5,7M a 72B).

3. Risultati Chiave

3.1 Asimmetria Direzionale

Lo studio rivela un'asimmetria direzionale coerente invisibile alle misure simmetriche:

• Le modalità non linguistiche convergono verso il linguaggio: Le rappresentazioni visive e delle nuvole di punti si allineano significativamente di più verso il linguaggio rispetto a quanto il linguaggio si allinei verso di esse.
  • $\Delta(\text{Visione} \to \text{Linguaggio}) = +0,010$ ($p < 0,05$).
  • $\Delta(\text{Nuvola di Punti} \to \text{Linguaggio}) = +0,030$ ($p < 0,01$).
  • $\Delta(\text{Nuvola di Punti} \to \text{Visione}) = +0,046$ ($p < 0,01$).
• Robustezza: Questa asimmetria vale per 638 coppie di modelli, 10 famiglie di modelli e quattro ordini di grandezza nella dimensione dei parametri. È invariante rispetto alla scelta di $k$ (testata da 1 a 50).

3.2 Consenso Intra-Modale

I modelli linguistici mostrano il più alto consenso rappresentativo intra-modale (CKA medio = 0,904), seguiti dalla visione (0,857) e dalle nuvole di punti (0,440). Questo alto accordo tra modelli linguistici addestrati indipendentemente suggerisce che essi occupano un bacino profondo e stabile nello spazio rappresentativo, coerente con l'ipotesi dell'"attrattore".

3.3 Meccanismo Geometrico: Densità delle Caratteristiche

La direzionalità è spiegata dall'asimmetria della densità delle caratteristiche:

• Compattezza: Le rappresentazioni linguistiche occupano le regioni più compatte dello spazio rappresentativo (minore distanza media tra coppie $D$), in particolare negli strati intermedi-tardivi.
• Traiettoria: I modelli visivi mostrano una densità in aumento monotono (sparsa) con la profondità, mentre i modelli linguistici seguono una traiettoria a U invertita, raggiungendo la massima compattezza negli strati in cui l'allineamento cross-modale raggiunge il picco.
• Meccanismo: I vicinati compatti nel linguaggio facilitano il "passaggio di ritorno" in CYCLE-KNN, guidando il pregiudizio direzionale osservato.

3.4 Interpretazione tramite il Collo di Bottiglia dell'Informazione

Gli autori interpretano questi risultati attraverso il framework del Collo di Bottiglia dell'Informazione (IB). Secondo l'IB, l'ottimizzazione spinge le rappresentazioni verso la massima compressione delle informazioni irrilevanti per il compito. Il linguaggio naturale, in quanto struttura altamente compressa, discreta e compositiva dell'esperienza percettiva, agisce come il bersaglio di compressione ottimale. Man mano che i modelli comprimono le informazioni, le loro rappresentazioni convergono naturalmente verso la geometria strutturale del linguaggio.

4. L'Ipoti si di Rappresentazione Wittgensteiniana (WRH)

Sulla base di questi risultati, il documento propone l'Ipotesi di Rappresentazione Wittgensteiniana:

"La struttura semantica del linguaggio costituisce l'attrattore asintotico della convergenza delle rappresentazioni multimodali."

Questa ipotesi postula che, man mano che i modelli addestrati indipendentemente diventano sufficientemente potenti, le loro rappresentazioni apprese—indipendentemente dalla modalità di input—convergano verso la geometria rappresentativa definita dalla struttura semantica del linguaggio. Questo riformula il dettato di Wittgenstein ("I limiti del mio linguaggio significano i limiti del mio mondo") come un'affermazione sull'apprendimento delle rappresentazioni: il linguaggio impone vincoli strutturali che definiscono il confine verso cui tutte le rappresentazioni percettive convergono sotto un'ottimizzazione sufficiente.

5. Significato e Affermazioni

Il documento rivendica i seguenti contributi e significati:

1. Correzione Metodologica: Identifica un punto cieco sistematico nell'apprendimento delle rappresentazioni: l'affidamento esclusivo a misure simmetriche ha lasciato la direzione della convergenza inesaminata. Gli autori dimostrano che l'asimmetria di CYCLE-KNN, precedentemente catalogata ma non analizzata, codifica una struttura direzionale critica.
2. Risoluzione della PRH: Mentre la PRH ha stabilito che la convergenza avviene, la WRH risponde a dove essa va. Il punto di arrivo non è una generica "struttura statistica della realtà", ma una struttura specifica, discreta e compositiva: il linguaggio.
3. Universalità: Il fenomeno è invariante di scala e robusto attraverso diverse architetture (transformer, autoencoder) e paradigmi di addestramento (supervisionato, auto-supervisionato, contrastivo), suggerendo che sia una proprietà fondamentale delle rappresentazioni delle modalità piuttosto che un artefatto di specifici obiettivi di addestramento o dimensioni dei modelli.
4. Fondamento Teorico: Il documento fornisce un'interpretazione principiale tramite il framework del Collo di Bottiglia dell'Informazione, collegando la compattezza geometrica alla compressione dell'esperienza percettiva in linguaggio simbolico.

Gli autori affermano esplicitamente che la WRH è una previsione direzionale falsificabile, confermata dai loro esperimenti su 58 modelli. Avvertono che ciò descrive una tendenza strutturale nell'attuale addestramento delle reti neurali, non una rivendicazione normativa secondo cui il linguaggio è la rappresentazione "corretta" o "completa" della realtà, notando potenziali rischi riguardanti i pregiudizi culturali intrinseci nei dati linguistici.