Geometric and Information Compression of Representations in Deep Learning

Sintesi Tecnica: Compressione Geometrica e Informatica delle Rappresentazioni nel Deep Learning

Definizione del Problema
Le reti neurali profonde (DNN) trasformano i dati di input in rappresentazioni latenti che facilitano i compiti a valle. Queste rappresentazioni vengono spesso analizzate attraverso due lenti distinte: la compressione dell'informazione, misurata dall'informazione mutua (MI) tra input e rappresentazioni, e la compressione geometrica, caratterizzata dal raggruppamento delle rappresentazioni (ad esempio, il neural collapse). Sebbene studi precedenti abbiano suggerito una stretta correlazione positiva tra queste due forme di compressione — implicando che una bassa MI richieda un raggruppamento geometrico serrato — la relazione precisa rimane scarsamente compresa. Una domanda centrale aperta è se una bassa MI tra input e rappresentazioni implichi necessariamente spazi latenti geometricamente compressi, e viceversa. Inoltre, il ruolo della generalizzazione nel mediare questa relazione rimane poco chiaro.

Metodologia
Gli autori investigano questa interazione utilizzando due distinti framework sperimentali progettati per indurre variazione sia nelle proprietà informative che in quelle geometriche:

1. Reti a Collo di Bottiglia dell'Entropia Condizionale (CEB): Questi modelli utilizzano rumore Gaussiano additivo dipendente dai dati. L'obiettivo di addestramento minimizza l'entropia condizionale del collo di bottiglia $I(X; Z|Y)$ mantenendo le prestazioni di classificazione. Attraverso la scansione del parametro di trade-off $\beta$, gli autori generano modelli con diversi gradi di compressione della MI e di capacità di generalizzazione. La MI è stimata direttamente tramite il limite variazionale incorporato nella funzione di perdita di addestramento.
2. Reti con Dropout Gaussiano: Questi modelli impiegano rumore moltiplicativo a varianza fissa (dropout continuo). Per indurre variazione nella compressione geometrica senza alterare la varianza del rumore, gli autori introducono un regolarizzatore geometrico basato sulla statistica del Neural Collapse (NC). Ciò consente l'addestramento di modelli con diversi gradi di compattezza dei cluster mantenendo costante il meccanismo di iniezione del rumore. Per questi modelli deterministici-simili (con stocasticità derivante solo dal dropout), la MI è stimata esternamente tramite lo stimatore della Differenza di Entropie (DoE), che approssima le entropie incondizionate e condizionate tramite distribuzioni logistiche parametriche.

Fondazione Teorica
Un prerequisito critico per lo studio delle reti regolarizzate con dropout è la garanzia che l'informazione mutua tra input e rappresentazioni sia finita. Il documento dimostra il Teorema 1, estendendo i risultati precedenti dalle reti ReLU a reti con funzioni di attivazione analitiche reali arbitrarie (ad esempio, GELU, sigmoid). La prova si basa sul Teorema della Struttura di Lojasiewicz per dimostrare che l'insieme degli zeri per le funzioni analitiche reali ha misura zero e che la funzione si comporta in modo polinomiale vicino a tali zeri, garantendo la finitezza del log-determinante richiesto per una MI finita. Ciò stabilisce una base teorica solida per l'applicazione dell'analisi dell'informazione a moderne architetture con dropout continuo.

Risultati Chiave
Lo studio valuta 8 architetture (incluse reti completamente connesse, CNN e transformer) su 5 dataset (compiti di visione e NLP), addestrando circa 500 modelli. L'analisi si concentra sulle rappresentazioni alla fine dell'addestramento piuttosto che sulla dinamica dell'addestramento.

• Correlazione Non Lineare Negativa: Contrariamente all'intuizione secondo cui una bassa MI e un raggruppamento geometrico serrato (basso NC) coincidano sempre, gli esperimenti rivelano una correlazione negativa e non lineare tra MI e compressione geometrica. In molti setup, i modelli con minore MI esibivano un raggruppamento geometrico più lasso, e viceversa.
• Il Ruolo della Generalizzazione come Confonditore: La relazione tra MI e compressione geometrica non è invariante. Il segno e la forza della correlazione cambiano a seconda del regime di addestramento e della capacità di generalizzazione del modello. Ad esempio, negli esperimenti di dropout gaussiano, la variazione della forza di regolarizzazione $\lambda$ ha prodotto regimi in cui la correlazione era negativa, vicina allo zero o addirittura positiva. Gli autori osservano che la correlazione tende a svanire o a invertirsi nei regimi di generalizzazione stabile, suggerendo che la generalizzazione agisca come un confonditore piuttosto che come una conseguenza diretta di uno dei due parametri di compressione.
• Disaccoppiamento dei Tipi di Compressione: Un'analisi di un modello semplificato (Fig. 1) dimostra che una bassa MI può derivare da due fonti distinte: (1) un forte raggruppamento geometrico (piccola dispersione dell'encoder) o (2) un'alta varianza del rumore (encoder non informativi). La compressione geometrica (neural collapse) si verifica solo nel primo caso. Questo spiega perché una bassa MI non predice in modo affidabile la compressione geometrica.

Significatività e Rivendicazioni
Il documento contribuisce al dibattito sull'apprendimento delle rappresentazioni sfidando l'assunto che la compressione dell'informazione e quella geometrica siano proxy intercambiabili per la qualità della rappresentazione o la generalizzazione.

• Contributo Teorico: La dimostrazione della finitezza della MI per le reti con dropout continuo e attivazioni analitiche permette un'analisi rigorosa dell'informazione per una classe più ampia di modelli allo stato dell'arte.
• Intuizione Empirica: I risultati suggeriscono che la connessione tra compressione dell'informazione e geometrica sia più sfumata di quanto precedentemente assunto. Gli autori postulano che la capacità di generalizzazione possa essere il fattore sottostante che confonde le relazioni osservate tra MI e raggruppamento geometrico.
• Avvertenze: Gli autori sottolineano che le loro conclusioni sono condizionate agli specifici stimatori di MI utilizzati (limiti variazionali per CEB e DoE per il dropout) e che confronti sistematici tra stimatori sono necessari per validare la robustezza della relazione MI-NC osservata. Essi dichiarano esplicitamente che la struttura causale tra MI, compressione geometrica e generalizzazione richiede ulteriori indagini oltre l'evidenza correlazionale presentata.

Il documento conclude che le affermazioni sulla generalizzazione basate esclusivamente su MI o sulla compressione geometrica dovrebbero essere trattate con cautela, poiché i due parametri non si allineano necessariamente ed possono esibire interazioni complesse e non lineari dipendenti dal setup di addestramento.