Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

Riepilogo Tecnico: Caratterizzazione Basata sull'Entropia del Regime Polarizzato nei Modelli a Variabili Latenti

Enunciato del Problema
Gli Autoencoder Variazionali (VAE) e i modelli correlati a variabili latenti spesso esibiscono un "regime polarizzato", in cui le dimensioni latenti si segregano in tre sottoinsiemi distinti: attive (che codificano la massima variazione dei dati), passive (che collassano verso il prior e codificano informazioni trascurabili) e miste (che alternano stati attivi e passivi a seconda dell'input). Identificare questi sottoinsiemi è cruciale per comprendere il comportamento del modello, in particolare riguardo al "collasso del posterior", dove il modello non riesce a utilizzare efficacemente lo spazio latente.

I metodi esistenti per distinguere le dimensioni attive da quelle passive si basano pesantemente su prior specifici, tipicamente Gaussiani. Gli approcci comuni includono l'impostazione di soglie sulla divergenza di Kullback-Leibler (KL) o l'analisi delle statistiche delle rappresentazioni di media e varianza ($\mu$ e $\sigma$) rispetto a un prior Gaussiano standard. Questi metodi sono limitati perché non sono agnostici rispetto al modello; faticano ad applicarsi ad architetture deterministiche (come gli autoencoder standard) o a modelli con prior non Gaussiani (come gli Identifiable VAE). Inoltre, recenti scoperte suggeriscono che le variabili "passive" possano mantenere sottili correlazioni con altre variabili, implicando che scartarle basandosi su criteri rigidi legati al prior potrebbe rimuovere informazioni utili. Vi è la necessità di un criterio fondato e agnostico rispetto al prior per caratterizzare l'attività latente.

Metodologia
Gli autori propongono un quadro informativo basato sull'entropia della rappresentazione della media ($H(\mu_i)$) delle dimensioni latenti.

1. Criterio di Entropia: Invece di misurare la deviazione da un prior (tramite divergenza KL), il metodo quantifica il disordine o l'imprevedibilità della distribuzione marginale empirica dell'output medio di ciascuna dimensione latente ($\mu_i$) attraverso il dataset.

   • Attive: $H(\mu_i) > \tau$ (Alta entropia, indicante una variazione significativa tra i punti dati).
   • Passive: $H(\mu_i) \le \tau$ (Bassa entropia, indicante che la dimensione è quasi costante).
   • Miste: Dimensioni che esibiscono alta entropia per alcuni sottoinsiemi di dati e bassa per altri.

2. Analisi Teorica: Il paper stabilisce un legame teorico tra questo criterio basato sull'entropia e le definizioni esistenti:

   • Entropia vs. Divergenza KL: Utilizzando disuguaglianze entropia-varianza (specificamente $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$), gli autori dimostrano che un'alta entropia nella rappresentazione della media implica un limite inferiore sulla divergenza KL. Pertanto, un'alta entropia si correla con lo stato "attivo" definito da alti contributi KL.
   • Entropia vs. Criteri di Bonheme: Gli autori collegano il loro approccio alla definizione di Bonheme e Grzes, che si basa sulla varianza di $\mu$ e $\sigma$. Dimostrano che $H(\mu)$ cattura la stessa variazione statistica di $\text{Var}(\mu)$ ma in una maniera informazionale.
   • Limiti: L'analisi chiarisce che l'entropia della media da sola non può distinguere in modo affidabile le dimensioni attive da quelle miste senza segnali aggiuntivi dalla rappresentazione della varianza, poiché entrambe possono esibire alta incertezza nella media.

3. Stima: Per la valutazione empirica, gli autori utilizzano il stimatore di entropia di Rényi $\alpha$ basato su matrici. Questo approccio evita la stima esplicita della densità, rendendolo adatto a spazi latenti ad alta dimensionalità e capace di gestire direttamente variabili continue tramite matrici di Gram.

Valutazione Sperimentale
Gli autori hanno valutato il criterio di entropia su quattro classi distinte di modelli utilizzando benchmark standard (MNIST, smallNORB, d-Sprites):

• $\beta$-VAE: Modelli con vari iperparametri $\beta$ per controllare l'intensità della penalità KL.
• Identifiable VAE (iVAE): Modelli che utilizzano informazioni ausiliarie per imporre l'identificabilità.
• Least-Volume Autoencoders (LV-AE): Modelli deterministici regolarizzati dal volume dello spazio latente.
• Autoencoder L2-Regularizzati (L2-AE): Baseline deterministiche con penalità L2 sui codici latenti.

Risultati Chiave

1. Recupero del Regime Polarizzato: Il criterio di entropia ha recuperato coerentemente il regime polarizzato (separazione in dimensioni attive ad alta entropia e dimensioni passive a entropia vicina allo zero) su tutte le architetture testate, inclusi i modelli deterministici dove le definizioni basate su KL sono inapplicabili.
2. Coerenza con Altre Misure: Entropia, varianza e informazione reciproca ($I(X; \mu)$) sono state trovate evolvere in modo coerente durante l'addestramento. L'entropia è stata selezionata come metrica primaria grazie alla sua robustezza e alla mancanza di sovraccarico computazionale rispetto alla stima dell'informazione reciproca.
3. Generalizzabilità:
   • Nei LV-AE, il criterio di entropia ha identificato con successo il regime polarizzato indotto dalla regolarizzazione del volume, confermando che la polarizzazione è un fenomeno generale dell'apprendimento di rappresentazioni regolarizzate, non solo un artefatto variazionale.
   • Negli iVAE, mentre il collasso totale del posterior è stato evitato (coerente con la teoria dell'identificabilità), il criterio di entropia ha rilevato un collasso selettivo (polarizzazione). Crucialmente, le unità "collassate" negli iVAE hanno mantenuto un'entropia piccola ma non nulla, riconciliando l'osservazione empirica della soppressione con l'impossibilità teorica di un collasso totale.
4. Utilità a valle: Quando i codici latenti sono stati utilizzati per compiti di regressione logistica a valle, i modelli addestrati con vettori latenti grezzi hanno mostrato plateau di accuratezza una volta incluse le variabili attive. Tuttavia, quando i codici latenti sono stati normalizzati, includere le variabili "passive" ha prodotto piccoli ma consistenti miglioramenti nell'accuratezza. Ciò suggerisce che le dimensioni passive non sono completamente prive di informazioni, ma sono soppresse nella scala piuttosto che rimosse completamente.

Significato e Affermazioni
Il paper afferma che il criterio proposto basato sull'entropia offre uno strumento agnostico rispetto al modello e al prior per caratterizzare l'attività latente. Il suo significato risiede in:

• Universalità: Si applica sia ad architetture variazionali che deterministiche, superando i limiti delle euristiche basate su KL legate a prior Gaussiani.
• Fondamento Teorico: Fornisce un legame fondato tra teoria dell'informazione (entropia) e i meccanismi che guidano il regime polarizzato (minimizzazione KL e vincoli di varianza).
• Comprensione Sfumata del Collasso: Le scoperte sfidano la visione binaria del collasso del posterior. Gli autori sostengono che il collasso è spesso una questione di scala piuttosto che di rimozione assoluta di informazioni, poiché le dimensioni "passive" mantengono un'entropia rilevabile e utilità a valle quando opportunamente normalizzate.

Limitazioni
Gli autori riconoscono modestamente diverse limitazioni:

• Variabili Miste: L'entropia della media da sola non può distinguere chiaramente tra variabili attive e miste; sono richiesti segnali aggiuntivi dalla varianza.
• Euristica della Soglia: La soglia $\tau$ per classificare l'attività è euristica e manca di un metodo di selezione universalmente ottimale e fondato attraverso diversi dataset e architetture.
• Ambito: La validazione empirica è attualmente limitata a dataset di immagini e specifiche architetture di autoencoder. Il comportamento nei modelli sequenziali o nelle architetture basate su diffusione rimane una domanda aperta.
• Utilità Pratica: Sebbene le variabili passive offrano piccoli guadagni nei compiti a valle, i miglioramenti sono modesti, suggerendo che il criterio è principalmente prezioso per l'analisi diagnostica e la comprensione della struttura latente piuttosto che come strumento diretto di ottimizzazione delle prestazioni.