Entropy-Based Characterisation of the Polarised Regime in Latent Variable Models

Résumé Technique : Caractérisation du Régime Polarisé dans les Modèles à Variables Latentes Basée sur l'Entropie

Énoncé du Problème
Les Autoencodeurs Variationnels (VAE) et les modèles à variables latentes apparentés exhibent souvent un « régime polarisé », où les dimensions latentes se séparent en trois sous-ensembles distincts : actives (codant la variation maximale des données), passives (s'effondrant vers l'a priori et codant une information négligeable) et mixtes (basculant entre les états actif et passif selon l'entrée). L'identification de ces sous-ensembles est cruciale pour comprendre le comportement du modèle, en particulier concernant l'« effondrement postérieur », où le modèle échoue à utiliser efficacement l'espace latent.

Les méthodes existantes pour distinguer les dimensions actives des passives reposent fortement sur des a priori spécifiques, typiquement gaussiens. Les approches courantes incluent la fixation de seuils sur la divergence de Kullback-Leibler (KL) ou l'analyse des statistiques des représentations de la moyenne et de la variance ($\mu$ et $\sigma$) par rapport à un a priori gaussien standard. Ces méthodes sont limitées car elles ne sont pas agnostiques au modèle ; elles peinent à s'appliquer aux architectures déterministes (comme les autoencodeurs standards) ou aux modèles avec des a priori non gaussiens (tels que les Identifiable VAE). De plus, des résultats récents suggèrent que les variables « passives » peuvent conserver des corrélations subtiles avec d'autres variables, impliquant que leur rejet basé sur des critères stricts fondés sur l'a priori pourrait éliminer une information utile. Il existe un besoin d'un critère principiel et agnostique de l'a priori pour caractériser l'activité latente.

Méthodologie
Les auteurs proposent un cadre théorique de l'information basé sur l'entropie de la représentation de la moyenne ($H(\mu_i)$) des dimensions latentes.

1. Critère d'Entropie : Au lieu de mesurer l'écart par rapport à un a priori (via la divergence KL), la méthode quantifie le désordre ou l'imprévisibilité de la distribution marginale empirique de la sortie moyenne de chaque dimension latente ($\mu_i$) à travers l'ensemble de données.

   • Actif : $H(\mu_i) > \tau$ (Entropie élevée, indiquant une variation significative entre les points de données).
   • Passif : $H(\mu_i) \le \tau$ (Entropie faible, indiquant que la dimension est presque constante).
   • Mixte : Dimensions présentant une entropie élevée pour certains sous-ensembles de données et faible pour d'autres.

2. Analyse Théorique : L'article établit un lien théorique entre ce critère basé sur l'entropie et les définitions existantes :

   • Entropie vs Divergence KL : En utilisant les inégalités entropie-variance (spécifiquement $h(X) \le \frac{1}{2}\log(2\pi e \text{Var}(X))$), les auteurs montrent qu'une entropie élevée dans la représentation de la moyenne implique une borne inférieure sur la divergence KL. Ainsi, une entropie élevée corrèle avec l'état « actif » défini par des contributions KL élevées.
   • Entropie vs Critères de Bonheme : Les auteurs relient leur approche à la définition de Bonheme et Grzes, qui repose sur la variance de $\mu$ et $\sigma$. Ils démontrent que $H(\mu)$ capture la même variation statistique que $\text{Var}(\mu)$ mais d'une manière théorique de l'information.
   • Limites : L'analyse clarifie que l'entropie de la moyenne seule ne peut pas distinguer de manière fiable les dimensions actives des dimensions mixtes sans signaux supplémentaires provenant de la représentation de la variance, car les deux peuvent présenter une forte incertitude dans la moyenne.

3. Estimation : Pour l'évaluation empirique, les auteurs utilisent l'estimateur d'entropie de Rényi $\alpha$ basé sur les matrices. Cette approche évite l'estimation explicite de la densité, la rendant adaptée aux espaces latents de haute dimension et capable de traiter directement les variables continues via des matrices de Gram.

Évaluation Expérimentale
Les auteurs ont évalué le critère d'entropie sur quatre classes de modèles distinctes en utilisant des benchmarks standards (MNIST, smallNORB, d-Sprites) :

• $\beta$-VAEs : Modèles avec des hyperparamètres $\beta$ variables pour contrôler l'intensité de la pénalité KL.
• Identifiable VAE (iVAE) : Modèles utilisant des informations auxiliaires pour imposer l'identifiabilité.
• Autoencodeurs à Volume Minimal (LV-AEs) : Modèles déterministes régularisés par le volume de l'espace latent.
• Autoencodeurs Régularisés L2 (L2-AEs) : Bases déterministes avec des pénalités L2 sur les codes latents.

Résultats Clés

1. Récupération du Régime Polarisé : Le critère d'entropie a récupéré de manière cohérente le régime polarisé (séparation en dimensions actives à haute entropie et dimensions passives à entropie proche de zéro) sur toutes les architectures testées, y compris les modèles déterministes où les définitions basées sur le KL sont inapplicables.
2. Cohérence avec d'Autres Mesures : L'entropie, la variance et l'information mutuelle ($I(X; \mu)$) ont évolué de manière cohérente durant l'entraînement. L'entropie a été sélectionnée comme métrique principale en raison de sa robustesse et de l'absence de surcharge computationnelle par rapport à l'estimation de l'information mutuelle.
3. Généralisabilité :
   • Dans les LV-AEs, le critère d'entropie a identifié avec succès le régime polarisé induit par la régularisation par le volume, confirmant que la polarisation est un phénomène général de l'apprentissage de représentations régularisé, et non un simple artefact variationnel.
   • Dans les iVAEs, bien que l'effondrement postérieur total ait été évité (cohérent avec la théorie de l'identifiabilité), le critère d'entropie a détecté un effondrement sélectif (polarisation). Crucialement, les unités « effondrées » dans les iVAE ont conservé une entropie faible mais non nulle, réconciliant l'observation empirique de la suppression avec l'impossibilité théorique d'un effondrement total.
4. Utilité en Aval : Lorsque les codes latents ont été utilisés pour des tâches de régression logistique en aval, les modèles entraînés avec des vecteurs latents bruts ont montré des plateaux de précision une fois les variables actives incluses. Cependant, lorsque les codes latents ont été normalisés, l'inclusion des variables « passives » a produit de faibles mais constantes améliorations de la précision. Cela suggère que les dimensions passives ne sont pas entièrement dépourvues d'information mais sont supprimées en échelle plutôt que complètement éliminées.

Signification et Revendications
L'article revendique que le critère basé sur l'entropie proposé offre un outil agnostique du modèle et de l'a priori pour caractériser l'activité latente. Sa signification réside dans :

• Universalité : Il s'applique à la fois aux architectures variationnelles et déterministes, surmontant les limites des heuristiques basées sur le KL liées aux a priori gaussiens.
• Fondement Théorique : Il fournit un lien principiel entre la théorie de l'information (entropie) et les mécanismes pilotant le régime polarisé (minimisation KL et contraintes de variance).
• Compréhension Nuancée de l'Effondrement : Les résultats remettent en question la vision binaire de l'effondrement postérieur. Les auteurs soutiennent que l'effondrement est souvent une question d'échelle plutôt que d'élimination absolue d'information, car les dimensions « passives » conservent une entropie détectable et une utilité en aval lorsqu'elles sont correctement normalisées.

Limites
Les auteurs reconnaissent modestement plusieurs limites :

• Variables Mixtes : L'entropie de la moyenne seule ne peut pas distinguer proprement les variables actives des variables mixtes ; des signaux de variance supplémentaires sont requis.
• Heuristique de Seuil : Le seuil $\tau$ pour classifier l'activité est heuristique et manque d'une méthode de sélection universellement optimale et principielle à travers différents ensembles de données et architectures.
• Portée : La validation empirique est actuellement restreinte aux ensembles de données d'images et à des architectures d'autoencodeurs spécifiques. Le comportement dans les modèles séquentiels ou les architectures basées sur la diffusion reste une question ouverte.
• Utilité Pratique : Bien que les variables passives offrent de faibles gains dans les tâches en aval, les améliorations sont modestes, suggérant que le critère est principalement précieux pour l'analyse diagnostique et la compréhension de la structure latente plutôt que comme outil direct d'optimisation des performances.