Riepilogo Tecnico: Il Rapporto Segnale-Rumore e la Dimensione del Campione Governano l'Allineamento Rappresentazionale nelle Reti Neurali

Enunciato del Problema

I modelli di deep learning addestrati indipendentemente spesso convergono verso rappresentazioni interne strutturalmente simili, un fenomeno noto come allineamento rappresentazionale. Sebbene le evidenze empiriche a supporto di questa "Ipotetica Rappresentazione Platonica" siano robuste, i meccanismi teorici che lo governano rimangono elusivi. Nello specifico, persistono domande fondamentali riguardo:

1. Come l'allineamento dipenda dalla qualità (livelli di rumore) e dalla quantità (dimensione del campione) dei dati di addestramento.
2. Se i meccanismi che guidano l'allineamento differiscano tra regimi sottoparametrizzati e sovrapparametrizzati.
3. Se l'allineamento rappresentazionale sia un predittore affidabile della qualità del modello (errore di generalizzazione).

Gli studi esistenti quantificano principalmente l'allineamento utilizzando strumenti come l'Analisi di Similarità Rappresentazionale (RSA), l'Analisi di Correlazione Canonica dei Vettori Singolari (SVCCA) e l'Allineamento del Kernel Centrato (CKA). Tuttavia, queste metriche spesso assumono corrispondenze lineari e potrebbero essere inadatte per rappresentazioni che giacciono su varietà altamente curve e non lineari. Inoltre, non è chiaro se una migliore performance di generalizzazione implichi necessariamente rappresentazioni interne più allineate.

Metodologia

Quadro Teorico e Metrica

Gli autori propongono una nuova misura statistica per l'allineamento chiamata Entropia Copula Condizionale (CCE). A differenza delle misure simmetriche (ad es. CKA), la CCE è asimmetrica e quantifica quanto bene la struttura di vicinanza di una rappresentazione predice la struttura di vicinanza di un'altra.

• Definizione: La CCE è derivata dallo Squilibrio Informativo (II) e definita come la negazione dell'entropia condizionale delle variabili copula: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$.
• Razionale: Cattura l'allineamento rappresentazionale locale misurando la riduzione dell'incertezza sulle distanze nello spazio $B$ dato che i punti sono infinitesimamente vicini nello spazio $A$.
• Trattabilità Analitica: Crucialmente, per le proiezioni unidimensionali di vettori gaussiani, la CCE ammette un'espressione in forma chiusa dipendente dal coefficiente di correlazione $\rho$: $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$.

Impostazione Sperimentale

Lo studio impiega un approccio multilivello per validare la teoria:

1. Ambiente Lineare Insegnante-Studente (Analitico):
   • Modello: Una rete lineare profonda a due strati addestrata tramite discesa del gradiente su un compito di regressione lineare rumoroso ($y = w^* \cdot x + \epsilon$).
   • Protocollo: Due reti studente identiche vengono addestrate indipendentemente su dataset indipendenti estratti dalla stessa distribuzione dell'insegnante.
   • Analisi: Gli autori derivano la correlazione asintotica ($\rho^*$) tra le rappresentazioni nascoste delle due reti al minimo globale. Ciò permette il calcolo analitico della CCE in funzione del Rapporto Segnale-Rumore (SNR) e del rapporto tra campioni di addestramento e dimensione di input ($\alpha = n/d$).
2. Simulazioni Non Lineari (Numeriche):
   • Modello: Reti a due strati con funzioni di attivazione ReLU.
   • Compito: Lo stesso compito di regressione sintetica dell'ambiente lineare.
   • Confronto: Confronto diretto tra allineamento ed errore di generalizzazione tra reti lineari e reti ReLU addestrate sugli stessi dati.
3. Classificazione Reale:
   • Dataset: CIFAR-10 (utilizzando una CNN) e MNIST (utilizzando una Rete Neurale Fully Connected).
   • Protocollo: Le reti vengono addestrate su sottoinsiemi indipendenti di dati con vari livelli di rumore nelle etichette (che agiscono come SNR inverso).
   • Metrica: La CCE viene calcolata tra le rappresentazioni del penultimo strato.

Contributi Chiave

1. Derivazione Teorica: Il documento stabilisce un quadro teorico per l'analisi dell'allineamento rappresentazionale nelle reti lineari profonde, derivando espressioni in forma chiusa per la CCE basate sulla correlazione dei pesi appresi.
2. Fattori di Governance: Gli autori dimostrano che l'allineamento è governato da due fattori principali:
   • Rapporto Segnale-Rumore (SNR): L'allineamento aumenta monotonicamente con l'SNR in tutti i regimi (lineare e non lineare, regressione e classificazione).
   • Dimensione del Campione: L'allineamento varia in modo non monotono con la dimensione del campione di addestramento. Raggiunge un minimo vicino alla soglia di interpolazione ($n \approx d$ o $n \approx p$), rispecchiando il comportamento a "doppia discesa" osservato nell'errore di generalizzazione.
3. Disaccoppiamento tra Allineamento e Generalizzazione: Lo studio fornisce prove che un'alta performance di generalizzazione non implica necessariamente un alto allineamento rappresentazionale.
   • Nel regime sottoparametrizzato, reti con diversi SNR possono raggiungere errori di generalizzazione identici ma esibire gradi di allineamento differenti.
   • Nel regime sovrapparametrizzato, reti con SNR inferiore (migliore generalizzazione) possono avere rappresentazioni meno allineate rispetto a quelle con SNR superiore.
4. Informatività vs Performance: Il documento mostra che una rete può raggiungere una performance di compito superiore imparando rappresentazioni interne meno informative rispetto a una rete con performance inferiore. Ciò evidenzia che la performance di compito è un proxy insufficiente per la qualità della rappresentazione.

Risultati

Reti Lineari

• Errore di Generalizzazione: Evidenzia la caratteristica curva a doppia discesa, con un picco alla soglia di interpolazione ($\alpha = 1$).
• Allineamento (CCE): Evidenzia anch'esso una dipendenza non monotona dalla dimensione del campione, raggiungendo un minimo (allineamento vicino allo zero) alla soglia di interpolazione.
• Dipendenza dall'SNR: Un SNR più elevato porta coerentemente a un allineamento più forte. Notevolmente, nel regime sottoparametrizzato ($\alpha > 1$), diversi SNR producono lo stesso errore di generalizzazione ma livelli di allineamento distinti.

Reti Non Lineari (ReLU)

• Similitudine Qualitativa: Il comportamento della CCE e dell'errore di generalizzazione nelle reti ReLU rispecchia qualitativamente il caso lineare: dipendenza non monotona dalla dimensione del campione con un minimo vicino alla soglia di interpolazione, e miglioramento monotono con l'SNR.
• Differenze Quantitative: A differenza del caso lineare, l'errore di generalizzazione non diverge alla soglia di interpolazione e la CCE non collassa a zero. Invece, converge a un valore dipendente dall'SNR, suggerendo che anche alla soglia, le reti non lineari mantengono alcune informazioni condivise.
• Confronto Lineare vs ReLU: Quando addestrate sullo stesso dataset, la rete lineare raggiunge un errore di generalizzazione inferiore (più vicino all'apprenditore Bayes-ottimale per questo problema lineare) ma impara rappresentazioni meno informative (CCE inferiore) rispetto alla rete ReLU. La rete ReLU, nonostante un errore più alto, cattura informazioni strutturali più ricche.

Dati Reali (CIFAR-10, MNIST)

• Rumore nelle Etichette: L'introduzione di rumore nelle etichette (SNR inverso) aumenta l'errore di generalizzazione e riduce l'allineamento rappresentazionale.
• Dimensione del Campione: La relazione non monotona tra dimensione del campione e allineamento rimane valida, con un minimo vicino alla soglia di interpolazione.
• Coerenza: I risultati si estendono dagli ambienti lineari sintetici a compiti complessi di classificazione nel mondo reale utilizzando architetture standard.

Significato e Affermazioni

Il documento afferma di fornire una dipendenza non banale dell'allineamento dalla qualità e dalla quantità dei dati, che è disaccoppiata dalla performance di generalizzazione. Introducendo la CCE, gli autori offrono una metrica capace di catturare l'allineamento su varietà altamente curve dove le misure lineari tradizionali (CKA, SVCCA) potrebbero fallire o riportare similarità spurie.

Il significato fondamentale risiede nella sfida all'assunzione secondo cui una migliore performance di compito equivale a rappresentazioni interne migliori o più allineate. Gli autori sostengono che:

• La performance di compito è un proxy insufficiente per la qualità della rappresentazione. Una rete può superare un'altra in un compito specifico eppure codificare rappresentazioni interne meno strutturate o informative.
• L'allineamento non è un indicatore universale di un "buon" apprendimento. I meccanismi che guidano l'allineamento (SNR, dimensione del campione) operano indipendentemente dai meccanismi che guidano l'errore di generalizzazione in determinati regimi.

Questi risultati contribuiscono a costruire una teoria principiale dell'apprendimento rappresentazionale identificando condizioni specifiche (SNR e dimensione del campione rispetto alla dimensionalità) sotto le quali reti addestrate indipendentemente convergono verso rappresentazioni interne strutturalmente simili. Il lavoro suggerisce che la convergenza "Platonica" delle rappresentazioni non è garantita, ma è strettamente governata dalle proprietà statistiche dei dati e dal regime di addestramento.