Geometric and Information Compression of Representations in Deep Learning

Technische Samenvatting: Geometrische en Informatiecompressie van Representaties in Deep Learning

Probleemstelling
Diepe neurale netwerken (DNN's) transformeren inputdata naar latente representaties die faciliteren bij downstream-taken. Deze representaties worden vaak geanalyseerd vanuit twee verschillende lenzen: informatie-theoretische compressie, gemeten door de wederzijdse informatie (MI) tussen inputs en representaties, en geometrische compressie, gekenmerkt door de clustering van representaties (bijv. neural collapse). Hoewel eerder werk heeft gesuggereerd dat er een nauwe, positieve correlatie bestaat tussen deze twee vormen van compressie—wat impliceert dat een lage MI noodzakelijkerwijs leidt tot strakke geometrische clustering—blijft de precieze relatie slecht begrepen. Een centrale open vraag is of een lage MI tussen inputs en representaties noodzakelijkerwijs een geometrisch gecomprimeerde latente ruimte impliceert, en vice versa. Bovendien is de rol van generalisatie bij het bemiddelen van deze relatie onduidelijk.

Methodologie
De auteurs onderzoeken deze wisselwerking met behulp van twee afzonderlijke experimentele kaders die zijn ontworpen om variatie in zowel informatie-theoretische als geometrische eigenschappen te induceren:

1. Conditional Entropy Bottleneck (CEB) Netwerken: Deze modellen maken gebruik van data-afhankelijke additieve Gaussische ruis. Het trainingsdoel minimaliseert de conditionele entropie bottleneck $I(X; Z|Y)$ terwijl de classificatieprestaties behouden blijven. Door de trade-off parameter $\beta$ te variëren, genereren de auteurs modellen met variërende graden van MI-compressie en generalisatiecapaciteit. De MI wordt direct geschat via de variational bound die in de training loss is ingebed.
2. Gaussian Dropout Netwerken: Deze modellen maken gebruik van multiplicatieve ruis met een vaste variantie (continue dropout). Om variatie in geometrische compressie te induceren zonder de ruisvariantie te veranderen, introduceren de auteurs een geometrische regularisator gebaseerd op de Neural Collapse (NC) statistiek. Dit maakt het mogelijk om modellen te trainen met verschillende clusterstrakheid terwijl het ruisinjectiemechanisme constant blijft. Voor deze deterministische-achtige modellen (waarbij stochasticiteit alleen via dropout komt), wordt de MI extern geschat met de Difference of Entropies (DoE) estimator, die onconditionele en conditionele entropieën benadert via parametrische logistische distributies.

Theoretische Fundering
Een kritieke voorwaarde voor dit onderzoek naar dropout-regulariserende netwerken is de garantie dat de MI tussen inputs en representaties eindig is. Het artikel bewijst Theorem 1, die eerdere resultaten van ReLU-netwerken uitbreidt naar netwerken met willekeurige reële analytische activatiefuncties (bijv. GELU, sigmoid). Het bewijs steunt op de Lojasiewicz Structure Theorem om aan te tonen dat de verzameling nulpunten voor reële analytische functies een maat nul heeft en dat de functie polynomiaal gedraagt nabij deze nulpunten, wat de eindigheid van de verwachte log-determinant vereist voor een eindige MI. Dit vormt een theoretisch solide basis voor het toepassen van informatie-theoretische analyse op moderne architecturen met continue dropout.

Belangrijkste Resultaten
De studie evalueert 8 architecturen (inclusief volledig verbonden netwerken, CNN's en transformers) over 5 datasets (visie- en NLP-taken), waarbij ongeveer 500 modellen zijn getraind. De analyse richt zich op end-of-training representaties in plaats van trainingsdynamiek.

• Negatieve Niet-Lineaire Correlatie: In tegenstelling tot de intuïtie dat lage MI en strakke geometrische clustering (lage NC) altijd samenvallen, laten de experimenten een consistente negatieve en niet-lineaire correlatie zien tussen MI en geometrische compressie. In veel opstellingen vertoonden modellen met een lagere MI een lossere geometrische clustering, en vice versa.
• Rol van Generalisatie als Confounder: De relatie tussen MI en geometrische compressie is niet invariant. De teken en sterkte van de correlatie veranderen afhankelijk van het trainingsregime en het generalisatievermogen van het model. In de Gaussian dropout-experimenten produceerde het variëren van de regularisatiestuctuur $\lambda$ regimes waarin de correlatie negatief, bijna nul, of zelfs positief was. De auteurs observeren dat de correlatie de neiging heeft te verdwijnen of om te keren in regimes van stabiele generalisatie, wat suggereert dat generalisatie fungeert als een confounder in plaats van een direct gevolg van een van beide compressiemetrieken.
• Ontkoppeling van Compressietypes: Een toy model analyse (Fig. 1) demonstreert dat lage MI kan voortkomen uit twee verschillende bronnen: (1) sterke geometrische clustering (kleine encoder spread) of (2) hoge ruisvariantie (oninformatieve encoders). Geometrische compressie (neural collapse) treedt alleen in het eerste geval op. Dit verklaart waarom lage MI niet betrouwbaar geometrische compressie voorspelt.

Betekenis en Claims
Het artikel draagt bij aan het debat over representatie-leren door de aanname uit te dagen dat informatie-theoretische en geometrische compressie uitwisselbare proxies zijn voor de kwaliteit van representaties of generalisatie.

• Theoretische Bijdrage: Het bewijs van eindige MI voor continue dropout-netwerken met analytische activaties maakt rigoureuze informatie-theoretische analyse van een bredere klasse van state-of-the-art modellen mogelijk.
• Empirisch Inzicht: De bevindingen suggereren dat de verbinding tussen informatie- en geometrische compressie genuanceerder is dan voorheen aangenomen. De auteurs stellen dat het generalisatievermogen de onderliggende factor is die de geobserveerde relaties tussen MI en geometrische clustering medieert.
• Kanttekeningen: De auteurs benadrukken dat hun conclusies voorwaardelijk zijn aan de specifieke MI-estimators die gebruikt worden (variational bounds voor CEB en DoE voor dropout) en dat systematische vergelijkingen tussen estimators noodzakelijk zijn om de robuustheid van de geobserveerde MI-NC relatie te valideren. Ze verklaren expliciet dat de causale structuur tussen MI, geometrische compressie en generalisatie verder onderzoek vereist buiten de gepresenteerde correlationele bewijslast.

Het artikel concludeert dat claims over generalisatie gebaseerd op enkel ofwel MI ofwel geometrische compressie met voorzichtigheid moeten worden behandeld, aangezien de twee metrieken niet noodzakelijkerwijs overeenstemmen en complexe, niet-lineaire interacties kunnen vertonen afhankelijk van de trainingsopstelling.