🤖 machine learning

Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport

Il paper propone Multi-Level Optimal Transport (MOT), un quadro unificato che supera i limiti dei metodi di allineamento rappresentazionale tradizionali calcolando un piano di trasporto globale e coerente tra strati di reti neurali e regioni cerebrali, permettendo così confronti più ricchi e interpretabili anche tra architetture di profondità diversa.

Autori originali: Shaan Shah, Meenakshi Khosla

Pubblicato 2026-04-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shaan Shah, Meenakshi Khosla

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover confrontare due persone che parlano lingue diverse, o forse due persone che hanno imparato la stessa lingua ma con accenti e strutture grammaticali molto differenti. Come fai a capire se stanno pensando le stesse cose?

Questo è esattamente il problema che affronta il paper "Allineamento Rappresentazionale tra Strati di Modelli e Regioni Cerebrali con Trasporto Ottimale Multilivello" (MOT).

Ecco una spiegazione semplice, usando metafore quotidiane.

1. Il Problema: Il "Gioco del Trova la Coppia" (e perché fallisce)

Fino a oggi, per confrontare due reti neurali (o un cervello umano e un'intelligenza artificiale), gli scienziati usavano un metodo un po' rigido, come un gioco di "trova la coppia".

Prendi lo strato 1 del primo modello e cerchi lo strato "più simile" nel secondo modello.
Prendi lo strato 2 e cerchi il suo "migliore amico" nel secondo modello.
E così via.

Il difetto? È come se dovessi abbinare 5 persone di una stanza con 3 persone di un'altra stanza.

Se una persona della prima stanza ha due "amici" nella seconda, il metodo vecchio ne sceglie uno a caso e ignora l'altro.
Se i due gruppi hanno dimensioni diverse (uno ha 10 strati, l'altro ne ha 15), il gioco si rompe.
Inoltre, questo metodo è "egoista": guarda ogni coppia singolarmente senza pensare all'armonia generale della stanza.

2. La Soluzione: Il "Trasporto di Merci" Intelligente (MOT)

Gli autori propongono un nuovo metodo chiamato MOT (Multi-Level Optimal Transport).
Immagina invece di avere due grandi magazzini di merci (i due modelli) e di dover spostare le merci dall'uno all'altro per vedere quanto sono simili.

Non è più "uno a uno": Nel vecchio metodo, dovevi spostare esattamente un pacco dal Magazzino A al Magazzino B. Con MOT, puoi dire: "Ehi, questo pacco dello strato 1 del Modello A è in realtà metà pacco dello strato 2 del Modello B e metà pacco dello strato 3".
Il flusso globale: MOT non guarda i pacchi uno per uno. Guarda l'intero magazzino. Decide come distribuire tutta la merce in modo che nulla vada sprecato e tutto abbia un posto logico.
Il risultato: Ottieni una mappa di trasporto che ti dice esattamente come le informazioni fluiscono da un modello all'altro, anche se uno è più "alto" (più profondo) dell'altro.

3. Le Scoperte: Cosa abbiamo imparato?

Usando questo nuovo metodo, gli scienziati hanno scoperto cose affascinanti in tre ambiti:

A. Intelligenze Artificiali (LLM e Vision Transformers)

Hanno confrontato modelli linguistici (come LLaMA e Qwen) e modelli visivi.

La metafora: Immagina due chef che cucinano lo stesso piatto. Uno usa una ricetta con 5 passaggi, l'altro ne usa 10.
Cosa ha visto MOT: Ha scoperto che il "passaggio 1" del chef veloce corrisponde al "passaggio 1" di quello lento. Ma il "passaggio 2" del chef veloce non corrisponde a un solo passaggio del lento: è come se il suo passaggio 2 fosse diviso tra i passaggi 2, 3 e 4 del chef lento.
Significato: I modelli più grandi "scompongono" i concetti in più piccoli step, mentre quelli più piccoli li "comprimono" in un unico grande step. Il vecchio metodo non vedeva questa sfumatura.

B. Cervelli Umani

Hanno confrontato i cervelli di diverse persone guardando le stesse immagini (usando scansioni fMRI).

La metafora: Ogni cervello è come una città con quartieri diversi (V1, V2, V3... che elaborano forme, colori, oggetti).
Cosa ha visto MOT: Ha confermato che il "quartiere V1" del cervello di Mario corrisponde perfettamente al "quartiere V1" del cervello di Luigi. Ma il metodo vecchio spesso si confondeva e diceva che V1 di Mario corrispondeva a V3 di Luigi. MOT ha ricostruito la mappa corretta, mostrando che il nostro cervello funziona in modo molto simile tra una persona e l'altra.

C. L'evoluzione durante l'allenamento

Hanno confrontato lo stesso modello mentre imparava (dall'inizio alla fine dell'addestramento).

La metafora: Come un bambino che impara a camminare.
Cosa ha visto MOT: Ha potuto tracciare un percorso fluido: "Il modello al giorno 10 assomiglia al modello al giorno 20 in questo modo specifico". Il vecchio metodo vedeva solo punti isolati e non riusciva a vedere la "storia" dell'apprendimento.

4. Il Segreto: La Rotazione (MOT+R)

C'è un dettaglio tecnico importante. A volte, due modelli pensano la stessa cosa, ma usano un "linguaggio interno" ruotato (come se uno parlasse in italiano e l'altro in italiano ma con le parole capovolte).
Il metodo base di MOT a volte si confonde. Gli autori hanno aggiunto una funzione speciale (MOT+R) che agisce come un giradischi: se nota che le informazioni sono "ruotate", le gira per allinearle perfettamente.

Risultato: Quando si confrontano modelli visivi (che sono molto sensibili a queste rotazioni), MOT+R funziona molto meglio, trovando somiglianze che prima sembravano invisibili.

In Sintesi

Il paper ci dice che per capire davvero come funzionano le intelligenze artificiali e i nostri cervelli, non dobbiamo guardare i pezzi uno alla volta come in un puzzle rigido. Dobbiamo guardare il flusso globale delle informazioni.

Il metodo MOT è come avere una mappa di trasporto intelligente che ci dice: "Non solo queste due cose sono simili, ma ecco esattamente come si trasformano l'una nell'altra, anche se una è più grande, più piccola o parla una lingua leggermente diversa."

È un passo avanti fondamentale per capire se le nostre macchine stanno davvero "pensando" come noi.

1. Il Problema

Il confronto delle rappresentazioni neurali (sia tra modelli artificiali, sia tra modelli e cervello biologico) è una sfida centrale nell'IA e nelle neuroscienze. L'approccio standard attuale è il matching layer-wise (strato per strato) greedy: ogni strato di una rete sorgente viene abbinato indipendentemente allo strato target che massimizza una metrica di similarità (es. RSA, CKA, linear predictivity).

Questo approccio presenta limitazioni fondamentali:

Corrispondenze rigide 1-a-1: Fallisce quando le reti hanno profondità diverse (numero di strati diverso) o quando le funzionalità di uno strato sorgente sono distribuite su più strati target.
Asimmetria: Il risultato cambia a seconda di quale rete è considerata "sorgente" e quale "target".
Mancanza di una score globale: Non fornisce un punteggio unico di allineamento per l'intera rete, ma solo una serie di punteggi locali.
Ignoranza della struttura globale: Ottimizzando ogni match indipendentemente, si rischia di ignorare la struttura di attivazione globale e di adattarsi al rumore (overfitting).

2. Metodologia: Multi-Level Optimal Transport (MOT)

Gli autori propongono MOT, un framework unificato basato sul Trasporto Ottimo (Optimal Transport - OT) che esegue un allineamento globale e coerente su più livelli.

Struttura a Due Livelli

MOT opera simultaneamente su due livelli di granularità:

Livello Interno (Neurone-a-Neurone): Per ogni coppia di strati candidati $(\ell, m)$ , viene calcolato un costo di allineamento neuronale utilizzando l'OT "soft-matching". Questo permette di mappare i neuroni di uno strato su una combinazione morbida (soft coupling) di neuroni dell'altro strato, gestendo anche differenze di larghezza (numero di unità).
Livello Esterno (Strato-a-Strato): I costi interni formano una matrice di costo tra gli strati. Viene risolto un secondo problema di trasporto ottimo per determinare l'accoppiamento globale tra gli strati delle due reti.
- Vincoli di Margine: Il framework impone leggi di conservazione della massa: ogni strato sorgente deve distribuire il 100% della sua "massa" rappresentativa tra gli strati target, e la massa totale ricevuta da ogni strato target deve essere bilanciata.
- Gestione delle profondità: Se le reti hanno un numero diverso di strati ( $L \neq M$ ), il piano di trasporto ammette mappature molti-a-molti. Uno strato di una rete più superficiale può distribuire la sua massa su diversi strati adiacenti di una rete più profonda.

Estensione Rotazione-Invariante (MOT + R)

Poiché molte rappresentazioni neurali (specialmente nei Transformer) sono invarianti rispetto alla rotazione della base, gli autori introducono una variante che include matrici di rotazione ortogonali ( $R_{\ell m}$ ) nel processo di ottimizzazione. Questo minimizza l'errore di ricostruzione dopo aver applicato la rotazione, rendendo il framework invariante alla base di coordinate.

Valutazione

La qualità dell'allineamento è misurata ricostruendo le attivazioni originali di uno strato sorgente utilizzando le mappe di trasporto apprese e gli strati target, calcolando poi la correlazione media tra attivazioni originali e ricostruite su dati di validazione tenuti da parte (held-out).

3. Contributi Chiave

Framework di Allineamento Globale: MOT ottimizza congiuntamente tutte le corrispondenze tra strati, producendo assegnazioni simmetriche e globalmente coerenti con un singolo punteggio di allineamento.
Gestione Naturale delle Disparità di Profondità: Permette mappature soft molti-a-molti, allineando reti di profondità diversa senza forzare corrispondenze 1-a-1 inappropriate.
Estensione Rotazione-Invariante: Una variante teorica che cattura l'equivalenza geometrica anche quando le rappresentazioni sono ruotate.
Scoperta di Strutture Gerarchiche Emergenti: Senza imporre vincoli di ordinamento, MOT recupera naturalmente la struttura gerarchica (strati iniziali $\leftrightarrow$ strati iniziali, strati profondi $\leftrightarrow$ strati profondi), che i metodi greedy spesso non riescono a rivelare.
Distribuzione delle Funzionalità: Rivela come le reti più profonde distribuiscano i calcoli su più strati che le reti più superficiali comprimono in pochi stadi.

4. Risultati Sperimentali

Il metodo è stato valutato su tre domini diversi:

Modelli Linguistici (LLM): Confronto tra modelli LLaMA-3.2 e Qwen-2.5 di diverse dimensioni.
- MOT ha ottenuto punteggi di ricostruzione significativamente più alti rispetto ai baselines greedy.
- I piani di trasporto mostrano una struttura diagonale chiara (corrispondenze gerarchiche) e rivelano come gli strati dei modelli più piccoli si distribuiscano su più strati consecutivi dei modelli più grandi.
Corteccia Visiva Umana (fMRI): Allineamento tra soggetti diversi (dataset Natural Scenes Dataset).
- MOT ha recuperato corrispondenze strutturate regione-per-regione (es. V1 $\leftrightarrow$ V1) tra soggetti diversi, mentre l'OT pairwise non ha prodotto mappature strutturate.
- I risultati sono stati robusti e biologicamente significativi.
Modelli di Visione (Vision Transformers): Confronto tra DINOv2 e ViT-MAE.
- La versione base MOT ha mostrato risultati misti, ma la variante MOT + R (con rotazione) ha superato drasticamente tutti i baselines, ottenendo punteggi di ricostruzione molto più alti e mappe di trasporto gerarchiche pulite. Questo conferma l'importanza dell'invarianza alla rotazione in questo dominio.
Estensione a Tre Livelli (Traiettorie di Addestramento):
- Gli autori hanno esteso MOT a un framework a tre livelli per allineare le traiettorie di addestramento di due modelli (checkpoint contro checkpoint).
- MOT ha rivelato una corrispondenza coerente e diagonale tra i checkpoint di due training run diversi, mentre il matching pairwise ha fallito nel catturare la struttura della traiettoria.

5. Significato e Implicazioni

Interpretabilità: MOT fornisce mappe di trasporto più ricche e interpretabili, rivelando come le informazioni fluiscano attraverso reti di architetture diverse.
Universalità delle Rappresentazioni: Il successo nell'allineare modelli artificiali e cervello umano, e nel trovare corrispondenze gerarchiche senza supervisione, supporta l'ipotesi che esistano principi universali di organizzazione delle rappresentazioni neurali.
Superamento dei Limiti Attuali: MOT risolve il problema dell'asimmetria e della rigidità delle mappature attuali, offrendo uno strumento fondamentale per confrontare sistemi con profondità e architetture eterogenee.
Fondamento per Future Teorie: Fornisce una base di misurazione rigorosa per testare ipotesi teoriche come il "Platonic Representation Hypothesis" o il "Contravariance Principle", permettendo di quantificare quanto diversi sistemi convergano su strutture simili.

In sintesi, il paper introduce un metodo matematicamente solido (MOT) che trasforma il confronto delle rappresentazioni neurali da un processo locale e frammentato a un'analisi globale e strutturata, capace di rivelare corrispondenze profonde e gerarchiche sia tra modelli AI che tra cervello e macchina.