Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

Énoncé du problème

L'apprentissage supervisé moderne est fréquemment contraint par la rareté des étiquettes, ce qui motive la recherche dans le domaine de l'apprentissage à quelques exemples (few-shot learning), de l'apprentissage méta et de l'apprentissage de représentations. Bien que le principe du goulot d'étranglement de l'information (Information Bottleneck - IB) offre un cadre standard — préserver l'information pertinente pour la tâche tout en compressant la variation non pertinente — il laisse un vide structurel : deux représentations peuvent conserver une quantité similaire d'informations pertinentes pour la tâche, tout en induisant des géométries latentes radicalement différentes. Dans les régimes de faible densité d'étiquettes, ces différences géométriques peuvent modifier la complexité effective du problème d'apprentissage en aval, affectant ainsi la généralisation. Les approches actuelles traitent souvent la géométrie comme un diagnostic post-hoc ou une hypothèse sur les données d'entrée, plutôt que comme une composante explicite et contrôlable de la qualité de la représentation elle-même.

Méthodologie

L'article propose un cadre théorique et un algorithme pratique, le Variational Geometric Information Bottleneck (V-GIB), pour combler ce fossé.

1. Cadre théorique :
Les auteurs définissent un score de population sensible à la géométrie, $Q_{\beta,\gamma}(\phi)$, pour un encodeur $\phi$ :
$$Q_{\beta,\gamma}(\phi) = I(\phi(X); Y) - \beta C(\phi) - \gamma d_{int}(\phi)$$

• $I(\phi(X); Y)$ : Information pertinente pour la tâche.
• $C(\phi)$ : Un proxy de courbure mesurant la variation locale du jacobien de l'encodeur ($\mathbb{E}[\|\nabla^2\phi(x)\|_F^2]$).
• $d_{int}(\phi)$ : La dimension intrinsèque de la représentation latente.
• $\beta, \gamma$ : Poids de régularisation.

2. Hypothèses théoriques et mécanisme :
Sous les hypothèses de support de variété lisse (smooth-manifold support), de transfert de classe de perte (loss-class transfer) et de concentration d'estimateur, l'article dérive un mécanisme reliant la géométrie de l'encodeur à la généralisation :
$$\text{géométrie de l'encodeur} \implies \text{nombres de recouvrement latents} \implies \text{entropie de la classe de perte} \implies \text{généralisation}$$
Cette chaîne produit des bornes de généralisation non asymptotiques pour de faibles quantités d'étiquettes où la complexité de l'échantillonnage dépend explicitement de la dimension intrinsèque latente et de la constante de recouvrement latente. L'article caractérise également une frontière information-géométrie, prouvant que le paramètre de régularisation $\beta$ représente le coût marginal d'information lié à l'augmentation de la complexité géométrique.

3. L'algorithme V-GIB :
Pour opérationnaliser la théorie, les auteurs proposent le V-GIB, qui augmente l'entraînement standard du goulot d'étranglement variationnel avec des proxys stochastiques pour la courbure et la dimension intrinsèque.

• Proxy de courbure : Un proxy stochastique de la norme du jacobien mesurant la sensibilité de la moyenne latente aux perturbations d'entrée.
• Proxy de dimension intrinsèque : Le rapport de participation de la matrice de covariance latente.
• Objectif d'entraînement : Le modèle minimise une fonction de perte comprenant l'entropie croisée, un terme de divergence KL (VIB standard), ainsi que les pénalités géométriques pour la courbure et la dimension.

Principales contributions

L'article apporte quatre contributions spécifiques :

1. Formalisation de la géométrie : Il identifie la géométrie latente comme un axe explicite et mesurable de la qualité de la représentation sous pénurie de données, formalisé par un score de population combinant l'information, la courbure et la dimension intrinsèque.
2. Bornes de généralisation : Il dérive des bornes de généralisation non asymptotiques pour les contextes de faibles étiquettes qui dépendent explicitement de la dimension intrinsèque latente et de la complexité de recouvrement, caractérisant ainsi la frontière information-géométrie associée.
3. Preuves de cohérence : Il prouve la cohérence du substitut empirique utilisé par V-GIB sous des hypothèses de concentration explicites pour les estimateurs de l'information, de la courbure et de la dimension intrinsèque.
4. Validation empirique : Il propose et évalue V-GIB sur des benchmarks réels de faible densité d'étiquettes, testant si les quantités géométriques suivent le comportement de faible densité d'étiquettes et si un entraînement sensible à la géométrie améliore le compromis empirique.

Résultats expérimentaux

Les auteurs ont évalué V-GIB par rapport à l'ERM (Empirical Risk Minimization), au VIB (Variational Information Bottleneck) et à des variantes ablées (suppression des pénalités de courbure ou de dimension) sur Breast Cancer, FashionMNIST, CIFAR-10 et CovType à travers des fractions d'étiquettes allant de 1 % à 20 %.

• Breast Cancer : Les variantes sensibles à la géométrie ont amélioré les performances par rapport à l'ERM une fois l'ensemble étiqueté suffisamment grand (5 % et plus) pour stabiliser l'entraînement. Cependant, le V-GIB complet n'était pas uniformément le meilleur ; dans certains cas, l'ablation sans courbure a mieux performé, soutenant la théorie d'un compromis plutôt que d'une dominance universelle.
• FashionMNIST : La famille V-GIB a systématiquement amélioré les performances prédictives par rapport à l'ERM sur toutes les fractions d'étiquettes. Notamment, le modèle V-GIB complet et l'ablation « sans dimension » ont atteint une courbure latente nettement inférieure à celle de l'ERM et du VIB tout en maintenant une précision élevée.
• CIFAR-10 : C'était le benchmark le plus difficile. Le modèle V-GIB complet a amélioré la précision de test par rapport à l'ERM et au VIB à chaque fraction d'étiquettes, avec les gains les plus importants observés à 1 %, 10 % et 20 %. Le terme de courbure est devenu particulièrement utile à mesure que la fraction d'étiquettes augmentait, suggérant qu'il façonne efficacement la représentation une fois que le signal prédictif n'est plus submergé.
• CovType : Utilisé comme test d'optimisation, les résultats ont montré que les termes géométriques imposent un coût d'optimisation réel (perte d'entraînement plus élevée que l'ERM), confirmant que les gains prédictifs ne sont pas de simples conséquences triviales d'un entraînement facilité.

Signification et affirmations

L'article conclut par une affirmation précise et modeste : La géométrie latente est un axe mesurable et contrôlable de la qualité de la représentation sous pénurie d'étiquettes, mais elle n'est pas une garantie universelle de dominance par un régularisateur fixe.

Les preuves soutiennent que :

1. La géométrie n'est pas simplement un diagnostic post-hoc ; elle peut être intégrée au critère d'apprentissage pour améliorer le compromis information-géométrie observé dans les régimes de faible densité d'étiquettes.
2. Les bénéfices de l'entraînement sensible à la géométrie dépendent du jeu de données et de la fraction d'étiquettes. Par exemple, supprimer la pénalité de dimension a aidé pour le très faible taux d'étiquettes de FashionMNIST, tandis que le modèle complet excellait sur CIFAR-10.
3. V-GIB sert d'alternative sérieuse, sensible à la géométrie, à l'ERM standard et à l'entraînement de goulot d'étranglement variationnel, offrant un mécanisme pour réduire la complexité géométrique latente (courbure) tout en préservant ou en améliorant les performances prédictives, particulièrement lorsque les étiquettes sont rares.

Les auteurs déclarent explicitement qu'ils ne prétendent pas que l'entraînement sensible à la géométrie est uniformément le meilleur sur chaque jeu de données ou à chaque fraction d'étiquettes. Au lieu de cela, ils affirment que, sous les hypothèses énoncées, la géométrie est une variable statistiquement significative qui, lorsqu'elle est prise en compte, peut améliorer les résultats de l'apprentissage dans les contextes de faible densité d'étiquettes.