Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

Probleemstelling

Modern gesuperviseerd leren wordt vaak beperkt door labeltekort, wat onderzoek naar few-shot learning, meta-learning en representation learning stimuleert. Hoewel het Information Bottleneck (IB) principe een standaard raamwerk biedt — het behouden van taakrelevante informatie terwijl irrelevante variatie wordt gecomprimeerd — laat het een structurele kloof achter: twee representaties kunnen vergelijkbare taakrelevante informatie behouden, maar toch fundamenteel verschillende latente geometrieën induceren. In regimes met weinig labels kunnen deze geometrische verschillen de effectieve complexiteit van het downstream leerprobleem veranderen, wat vervolgens de generalisatie beïnvloedt. Huidige benaderingen behandelen geometrie vaak als een post-hoc diagnose of een aanname over de invoerdata, in plaats van als een expliciet, controleerbaar onderdeel van de kwaliteit van de representatie zelf.

Methodologie

Het artikel stelt een theoretisch raamwerk en een praktisch algoritme voor, de Variational Geometric Information Bottleneck (V-GIB), om deze kloof te overbruggen.

1. Theoretisch Raamwerk:
De auteurs definiëren een geometrie-bewuste populatiescore, $Q_{\beta,\gamma}(\phi)$, voor een encoder $\phi$:
$$Q_{\beta,\gamma}(\phi) = I(\phi(X); Y) - \beta C(\phi) - \gamma d_{int}(\phi)$$

• $I(\phi(X); Y)$: Taakrelevante informatie.
• $C(\phi)$: Een krommingsproxy die de lokale variatie van de encoder-Jacobiaan meet ($\mathbb{E}[\|\nabla^2\phi(x)\|_F^2]$).
• $d_{int}(\phi)$: De intrinsieke dimensie van de latente representatie.
• $\beta, \gamma$: Regularisatiegewichten.

2. Theoretische Aannames en Mechanisme:
Onder aannames van smooth-manifold support, loss-class transfer en estimator concentratie, leidt het artikel een mechanisme af dat de link legt tussen encoder-geometrie en generalisatie:
$$\text{encoder geometry} \implies \text{latent covering numbers} \implies \text{loss-class entropy} \implies \text{generalization}$$
Deze keten levert niet-asymptotische low-label generalisatiegrenzen op waarbij de steekproefcomplexiteit expliciet afhankelijk is van de latente intrinsieke dimensie en de latente dekkelconstante (covering constant). Het artikel karakteriseert ook een informatie-geometrische frontier, waarbij wordt bewezen dat de regularisatieparameter $\beta$ de marginale informatiekosten vertegenwoordigt van het verhogen van de geometrische complexiteit.

3. Het V-GIB Algoritme:
Om de theorie te operationaliseren, stellen de auteurs V-GIB voor, die de standaard variational bottleneck training aanvult met stochastische proxies voor kromming en intrinsieke dimensie.

• Krommingsproxy: Een stochastische Jacobian-norm proxy die de gevoeligheid van de latente gemiddelde voor invoerperturbaties meet.
• Intrinsieke Dimensie Proxy: De participatieratio van de latente covariantie-matrix.
• Trainingsdoel: Het model minimaliseert een verliesfunctie bestaande uit cross-entropy, een KL-divergentie term (standaard VIB), en de geometrische straffen voor kromming en dimensie.

Belangrijkste Bijdragen

Het artikel levert vier specifieke bijdragen:

1. Formalisering van Geometrie: Het identificeert latente geometrie als een expliciete, meetbare as van representatiekwaliteit onder gegevensschaarste, geformaliseerd via een populatiescore die informatie, kromming en intrinsieke dimensie combineert.
2. Generalisatiegrenzen: Het leidt niet-asymptotische generalisatiegrenzen af voor low-label settings die expliciet afhankelijk zijn van de latente intrinsieke dimensie en de latente dekkelcomplexiteit, en karakteriseert de daarmee samenhangende informatie-geometrische frontier.
3. Consistentiebewijzen: Het bewijst de consistentie van de empirische surrogaat die door V-GIB wordt gebruikt onder expliciete concentratie-aannames voor de informatie-, kromming- en intrinsieke-dimensie-estimators.
4. Empirische Validatie: Het stelt V-GIB voor en evalueert dit op realistische low-label benchmarks, waarbij wordt getest of geometrische grootheden het low-label gedrag volgen en of geometrie-bewuste training de empirische trade-off verbetert.

Experimentele Resultaten

De auteurs hebben V-GIB geëvalueerd tegenover Empirical Risk Minimization (ERM), Variational Information Bottleneck (VIB) en geablateerde varianten (waarbij kromming of dimensie-straffen werden verwijderd) op Breast Cancer, FashionMNIST, CIFAR-10 en CovType over labelfracties van 1% tot 20%.

• Breast Cancer: Geometrie-bewuste varianten verbeterden de prestaties ten opzichte van ERM zodra de gelabelde set groot genoeg was (5% en hoger) om de training te stabiliseren. Echter, de volledige V-GIB was niet uniform de beste; in sommige gevallen presteerde de ablatie zonder kromming beter, wat de theorie van een trade-off ondersteunt in plaats van universele dominantie.
• FashionMNIST: De V-GIB-familie verbeterde de voorspellende prestaties consequent ten opzichte van ERM over alle labelfracties. Opvallend genoeg bereikte de volledige V-Gief en de "no-dimension" ablatie aanzienlijk lagere latente kromming dan ERM en VIB, terwijl ze een hoge nauwkeurigheid behielden.
• CIFAR-10: Dit was de meest uitdagende benchmark. Het volledige V-GIB model verbeterde de testnauwkeurigheid ten opzichte van zowel ERM als VIB bij elke labelfractie, met de grootste winsten bij 1%, 10% en 20%. De krommingsterm werd bijzonder nuttig naarmate de labelfractie toenam, wat suggereert dat het de representatie effectief vormgeeft zoden de voorspellende signal niet worden overstemd.
• CovType: Gebruikt als een optimalisatiecontrole, de resultaten lieten zien dat geometrische termen een reële optimalisatiekost opleggen (hogere trainingsverlies dan ERM), wat bevestigt dat de voordelen voor de voorspelling niet triviale gevolgen zijn van gemakkelijker trainen.

Betekenis en Claims

Het artikel concludeert met een precieze, bescheiden claim: Latente geometrie is een meetbare en controleerbare as van representatiekwaliteit onder labeltekort, maar het is geen universele garantie voor de dominantie van één vaste regularisator.

Het bewijs ondersteunt dat:

1. Geometrie niet louter een post-hoc diagnose is; het kan worden geïntegreerd in het leer-criterium om de geobserveerde informatie-geometrische trade-off in data-schaarse regimes te verbeteren.
2. De voordelen van geometrie-bewuste training afhankelijk zijn van de dataset en de labelfractie. Bijvoorbeeld: het verwijderen van de dimensie-penalty hielp bij zeer lage labelfracties in FashionMNIST, terwijl het volledige model uitblonk op CIFAR-10.
3. V-GIB dient als een serieus, geometrie-bewust alternatief voor standaard ERM en variational bottleneck training, en biedt een mechanisme om de latente geometrische complexiteit (kromming) te verminderen terwijl de voorspellende prestaties gelijk blijven of verbeteren, vooral wanneer labels schaars zijn.

De auteurs stellen expliciet dat zij niet beweren dat geometrie-bewuste training uniform de beste is op elke dataset of bij elke labelfractie. In plaats daarvan claimen zij dat, onder de gestelde aannames, geometrie een statistisch betekenzame variabele is die, wanneer deze wordt meegewogen, de leerresultaten in low-label settings kan verbeteren.