Geometric and Information Compression of Representations in Deep Learning

Résumé Technique : Compression Géométrique et Informationnelle des Représentations dans l'Apprentissage Profond

Énoncé du Problème
Les réseaux de neurones profonds (DNN) transforment les données d'entrée en représentations latentes qui facilitent les tâches en aval. Ces représentations sont souvent analysées à travers deux prismes distincts : la compression informationnelle, mesurée par l'information mutuelle (IM) entre les entrées et les représentations, et la compression géométrique, caractérisée par le regroupement des représentations (par exemple, l'effondrement neural ou neural collapse). Bien que des travaux antérieurs aient suggéré une corrélation positive et étroite entre ces deux formes de compression — impliquant qu'une faible IM nécessite un regroupement géométrique serré — la relation précise demeure mal comprise. Une question centrale reste ouverte : une faible IM entre les entrées et les représentations implique-t-elle nécessairement des espaces latents géométriquement compressés, et vice versa ? De plus, le rôle de la généralisation dans la médiation de cette relation est incertain.

Méthodologie
Les auteurs étudient cette interaction en utilisant deux cadres expérimentaux distincts conçus pour induire une variation des propriétés informationnelles et géométriques :

1. Réseaux de Goulot d'Étranglement d'Entropie Conditionnelle (CEB) : Ces modèles utilisent un bruit gaussien additif dépendant des données. L'objectif d'entraînement minimise l'entropie conditionnelle du goulot d'étranglement $I(X; Z|Y)$ tout en maintenant la performance de classification. En faisant varier le paramètre de compromis $\beta$, les auteurs génèrent des modèles avec des degrés variables de compression de l'IM et de capacités de généralisation. L'IM est estimée directement via la borne variationnelle intégrée dans la perte d'entraînement.
2. Réseaux de Dropout Gaussien : Ces modèles emploient un bruit multiplicatif à variance fixe (dropout continu). Pour induire une variation de la compression géométrique sans modifier la variance du bruit, les auteurs introduisent un régularisateur géométrique basé sur la statistique de l'Effondrement Neural (NC). Cela permet d'entraîner des modèles présentant différents degrés de serrage de clusters tout en maintenant constant le mécanisme d'injection de bruit. Pour ces modèles déterministes (la stochasticité ne provenant que du dropout), l'IM est estimée de manière externe via l'estimateur de Différence d'Entropies (DoE), qui approxime les entropies inconditionnelles et conditionnelles via des distributions logistiques paramétriques.

Fondement Théorique
Un prérequis critique de l'étude pour les réseaux régularisés par dropout est la garantie que l'IM entre les entrées et les représentations est finie. L'article démontre le Théorème 1, étendant les résultats précédents des réseaux ReLU à des réseaux avec des fonctions d'activation analytiques réelles arbitraires (par exemple, GELU, sigmoid). La preuve repose sur le théorème de structure de Lojasiewicz pour montrer que l'ensemble des zéros pour les fonctions analytiques réelles est de mesure nulle et que la fonction se comporte de manière polynomiale près de ces zéros, garantissant la finitude du logarithme déterminant attendu pour une IM finie. Cela établit une base théorique solide pour l'application de l'analyse informationnelle à des architectures modernes avec dropout continu.

Résultats Clés
L'étude évalue 8 architectures (incluant des réseaux entièrement connectés, des CNN et des transformers) sur 5 jeux de données (tâches de vision et de NLP), entraînant environ 500 modèles. L'analyse se concentre sur les représentations de fin d'entraînement plutôt que sur la dynamique d'entraînement.

• Corrélation Non Linéaire Négative : Contrairement à l'intuition selon laquelle une faible IM et un regroupement géométrique serré (faible NC) coïncident toujours, les expériences révèlent une corrélation négative et non linéaire constante entre l'IM et la compression géométrique. Dans de nombreuses configurations, les modèles présentant une IM plus faible présentaient un regroupement géométrique plus lâche, et vice versa.
• Le Rôle de la Généralisation comme Facteur de Confusion : La relation entre l'IM et la compression géométrique n'est pas invariante. Le signe et la force de la corrélation changent selon le régime d'entraînement et la capacité de généralisation du modèle. Par exemple, dans les expériences de dropout gaussien, la variation de la force de régularisation $\lambda$ a produit des régimes où la corrélation était négative, proche de zéro, ou même positive. Les auteurs observent que la corrélation tend à s'annuler ou à s'inverser dans les régimes de généralisation stable, suggérant que la généralisation agit comme un facteur de confusion plutôt que comme une conséquence directe de l'un ou l'autre des indicateurs de compression.
• Découplage des Types de Compression : Une analyse par modèle de jouet (Fig. 1) démontre qu'une faible IM peut provenir de deux sources distinctes : (1) un fort regroupement géométrique (faible dispersion de l'encodeur) ou (2) une variance de bruit élevée (encodeurs non informatifs). La compression géométrique (effondrement neural) ne se produit que dans le premier cas. Cela explique pourquoi une faible IM ne prédit pas de manière fiable la compression géométrique.

Signification et Revendications
L'article contribue au débat sur l'apprentissage de représentations en remettant en question l'hypothèse selon laquelle la compression informationnelle et la compression géométrique sont des substituts interchangeables de la qualité de la représentation ou de la généralisation.

• Contribution Théorique : La preuve de la finitude de l'IM pour les réseaux à dropout continu avec des activations analytiques permet une analyse informationnelle rigoureuse d'une classe plus large de modèles de pointe.
• Aperçu Empirique : Les résultats suggèrent que la connexion entre la compression informationnelle et la compression géométrique est plus nuancée qu'on ne le supposait auparavant. Les auteurs postulent que la capacité de généralisation est le facteur sous-jacent confondant les relations observées entre l'IM et la compression géométrique.
• Limites : Les auteurs soulignent que leurs conclusions sont conditionnées par les estimateurs d'IM spécifiques utilisés (bornes variationnelles pour le CEB et DoE pour le dropout) et qu'une comparaison systématique entre les estimateurs est nécessaire pour valider la robustesse de la relation IM-NC observée. Ils déclarent explicitement que la structure causale entre l'IM, la compression géométrique et la généralisation nécessite des investigations plus poussées au-delà des preuves de corrélation présentées.

L'article conclut que les affirmations sur la généralisation basées uniquement sur l'IM ou la compression géométrique doivent être traitées avec prudence, car les deux métriques ne s'alignent pas nécessairement et peuvent présenter des interactions complexes et non linéaires dépendantes de la configuration d'entraînement.