Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

Technische Samenvatting: Entropie-gebaseerde Karakterisering van het Gepolariseerde Regime in Latente Variabele Modellen

Probleemstelling
Variational Autoencoders (VAE's) en gerelateerde latente variabele modellen vertonen vaak een "gepolariseerd regime", waarbij latente dimensies zich splitsen in drie distincte subsets: actief (coderen van maximale datavariatie), passief (instorten naar de prior en coderen van verwaarloosbare informatie) en gemengd (schakelen tussen actieve en passieve toestanden afhankelijk van de invoer). Het identificeren van deze subsets is cruciaal voor het begrijpen van modelgedrag, met name wat betreft "posterior collapse", waarbij het model de latente ruimte niet effectief benut.

Bestaande methoden voor het onderscheiden van actieve van passieve dimensies zijn sterk afhankelijk van specifieke priors, doorgaans Gaussisch. Veelvoorkomende benaderingen omvatten het stellen van drempels op de Kullback-Leibler (KL-divergentie) of het analyseren van de statistieken van de mean- en variantierepresentaties ($\mu$ en $\sigma$) ten opzichte van een standaard Gaussische prior. Deze methoden zijn beperkt omdat ze niet model-agnostisch zijn; ze hebben moeite om toegepast te worden op deterministische architecturen (zoals standaard autoencoders) of modellen met niet-Gaussische priors (zoals Identifiable VAE's). Bovendien suggereren recente bevindingen dat "passieve" variabelen subtiele correlaties kunnen behouden met andere variabelen, wat impliceert dat het weggooien ervan op basis van strikte prior-gebaseerde criteria nuttige informatie zou kunnen verwijderen. Er is behoefte aan een principieel, prior-agnostisch criterium om latente activiteit te karakteriseren.

Methodologie
De auteurs stellen een informatietheoretisch kader voor gebaseerd op de entropie van de mean-representatie ($H(\mu_i)$) van de latente dimensies.

1. Entropie-criterium: In plaats van afwijking van een prior te meten (via KL-divergentie), kwantificeert de methode de wanorde of onvoorspelbaarheid van de empirische marginale verdeling van de mean-uitvoer ($\mu_i$) van elke latente dimensie over het dataset.

   • Actief: $H(\mu_i) > \tau$ (Hoge entropie, wat duidt op significante variatie over datapunten).
   • Passief: $H(\mu_i) \le \tau$ (Lage entropie, wat aangeeft dat de dimensie bijna constant is).
   • Gemengd: Dimensies die hoge entropie vertonen voor sommige datasetsubsets en lage voor anderen.

2. Theoretische Analyse: Het artikel vestigt een theoretisch verband tussen dit entropie-gebaseerde criterium en bestaande definities:

   • Entropie versus KL-divergentie: Met behulp van entropie-variantie-ongelijkheden (specifiek $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$) tonen de auteurs aan dat hoge entropie in de mean-representatie een ondergrens impliceert voor de KL-divergentie. Hoge entropie correleert dus met de "actieve" toestand die wordt gedefinieerd door hoge KL-bijdragen.
   • Entropie versus Bonheme's Criteria: De auteurs relateren hun aanpak aan de definitie van Bonheme en Grzes, die rust op de variantie van $\mu$ en $\sigma$. Zij tonen aan dat $H(\mu)$ dezelfde statistische variatie vastlegt als $\text{Var}(\mu)$, maar op een informatietheoretische manier.
   • Beperkingen: De analyse verduidelijkt dat entropie van de mean alleen niet betrouwbaar actieve van gemengde variabelen kan onderscheiden zonder aanvullende signalen van de variantierepresentatie, aangezien beide hoge onzekerheid in de mean kunnen vertonen.

3. Schatting: Voor empirische evaluatie gebruiken de auteurs de matrix-gebaseerde Rényi $\alpha$-entropie-schatter. Deze aanpak vermijdt expliciete dichtheidsschatting, waardoor deze geschikt is voor hoog-dimensionale latente ruimtes en in staat is om continue variabelen direct te verwerken via Gram-matrices.

Experimentele Evaluatie
De auteurs evalueerden het entropie-criterium over vier distincte modelklassen met behulp van standaard benchmarks (MNIST, smallNORB, d-Sprites):

• $\beta$-VAE's: Modellen met variërende $\beta$-hyperparameters om de sterkte van de KL-straf te controleren.
• Identifiable VAE's (iVAE's): Modellen die gebruikmaken van aanvullende informatie om identificeerbaarheid af te dwingen.
• Least-Volume Autoencoders (LV-AE's): Deterministische modellen geregulariseerd door het volume van de latente ruimte.
• L2-geregulariseerde Autoencoders (L2-AE's): Deterministische baselines met L2-straffen op latente codes.

Belangrijkste Resultaten

1. Herstel van Gepolariseerd Regime: Het entropie-criterium herstelde consistent het gepolariseerde regime (splitsing in hoge-entropie actieve en bijna-nul-entropie passieve dimensies) over alle geteste architecturen, inclusief deterministische modellen waar KL-gebaseerde definities niet van toepassing zijn.
2. Coherentie met Andere Maatstaven: Entropie, variantie en wederzijdse informatie ($I(X; \mu)$) evolueerden coherent tijdens het trainen. Entropie werd geselecteerd als primaire metriek vanwege de robuustheid en het gebrek aan rekenkundige overhead in vergelijking met schatting van wederzijdse informatie.
3. Generaliseerbaarheid:
   • Bij LV-AE's identificeerde het entropie-criterium succesvol het gepolariseerde regime dat wordt veroorzaakt door volumeregularisatie, wat bevestigt dat polarisatie een algemeen fenomeen is van geregulariseerd representatieleren, niet slechts een variational artefact.
   • Bij iVAE's, terwijl totale posterior collapse werd vermeden (in overeenstemming met identificeerbaarheidstheorie), detecteerde het entropie-criterium selectieve collapse (polarisatie). Cruciaal behielden "gecollapsed" eenheden in iVAE's kleine maar niet-nul entropie, wat de empirische observatie van suppressie verzoent met de theoretische onmogelijkheid van totale collapse.
4. Downstream Nut: Wanneer latente codes werden gebruikt voor downstream logistische regressietaken, vertoonden modellen die met ruwe latente vectoren waren getraind nauwkeurigheidsplateaus zodra actieve variabelen waren opgenomen. Echter, wanneer latente codes werden genormaliseerd, leverde het opnemen van "passieve" variabelen kleine maar consistente verbeteringen in nauwkeurigheid op. Dit suggereert dat passieve dimensies niet volledig vrij zijn van informatie, maar dat ze in schaal worden onderdrukt in plaats van volledig te worden verwijderd.

Betekenis en Claims
Het artikel claimt dat het voorgestelde entropie-gebaseerde criterium een model-agnostisch en prior-agnostisch hulpmiddel biedt voor het karakteriseren van latente activiteit. De betekenis hiervan ligt in:

• Universaliteit: Het is van toepassing op zowel variational als deterministische architecturen, en overwint de beperkingen van KL-gebaseerde heuristieken die zijn gekoppeld aan Gaussische priors.
• Theoretische Grondslag: Het biedt een principieel verband tussen informatietheorie (entropie) en de mechanismen die het gepolariseerde regime aandrijven (KL-minimalisatie en variantie-beperkingen).
• Genuanceerd Begrip van Collapse: De bevindingen daagden het binaire beeld van posterior collapse uit. De auteurs betogen dat collapse vaak een kwestie is van schaal in plaats van absolute informatieverwijdering, aangezien "passieve" dimensies detecteerbare entropie en downstream nut behouden wanneer ze adequaat worden genormaliseerd.

Beperkingen
De auteurs erkennen bescheiden enkele beperkingen:

• Gemengde Variabelen: De entropie van de mean alleen kan niet schoon onderscheid maken tussen actieve en gemengde variabelen; aanvullende variantiesignalen zijn vereist.
• Drempel-Heuristiek: De drempel $\tau$ voor het classificeren van activiteit is heuristisch en mist een universeel optimale, principieel selectiemethode over verschillende datasets en architecturen.
• Scope: Empirische validatie is momenteel beperkt tot beelddatasets en specifieke autoencoder-architecturen. Het gedrag in sequentiële modellen of op diffusie gebaseerde architecturen blijft een open vraag.
• Praktisch Nut: Hoewel passieve variabelen kleine winsten bieden in downstream taken, zijn de verbeteringen bescheiden, wat suggereert dat het criterium voornamelijk waardevol is voor diagnostische analyse en het begrijpen van latente structuur in plaats van als een direct prestatie-optimalisatiehulpmiddel.