Résumé Technique : Désentanglement au-delà des Modèles Génératifs avec l'ICA Riemannienne

Énoncé du Problème

Il existe un écart significatif entre les fondements théoriques du désentanglement et les pratiques modernes d'apprentissage de représentations. Les cadres théoriques traditionnels, en particulier l'Analyse en Composantes Indépendantes (ICA) et ses variantes non linéaires, reposent sur un modèle génératif global où les données sont supposées être générées par des variables latentes statistiquement indépendantes. Bien que ces cadres offrent de solides garanties théoriques (identifiabilité), ils nécessitent des hypothèses strictes, notamment que l'application entre les données et les latents soit globalement inversible. Cette hypothèse est souvent irréaliste pour des données de haute dimension à topologie non triviale et exclut les architectures de réseaux de neurones non inversibles (par exemple, de nombreux encodeurs préentraînés) de l'analyse théorique.

À l'inverse, les modèles modernes d'apprentissage auto-supervisé apprennent souvent des caractéristiques qui présentent des propriétés de désentanglement sans hypothèses génératives explicites. Cependant, il n'existe actuellement aucune théorie générale pour interpréter ces caractéristiques comme des facteurs de variation indépendants sans les forcer dans un modèle génératif global qui pourrait être mal spécifié. Le défi central consiste à fournir une base théorique pour étudier le désentanglement local dans les représentations préentraînées sans supposer un modèle génératif global inversible.

Méthodologie : ICA Riemannienne (RICA)

L'article introduit l'ICA Riemannienne (RICA), un analogue géométrique local de l'ICA qui remplace le modèle génératif global par une structure géométrique locale définie par une métrique riemannienne et une densité de données.

Insights Principaux

1. Local vs Global : Le désentanglement est fondamentalement une question locale concernant la manière dont un point de données individuel varie par rapport aux variations latentes. L'inversibilité globale n'est pas requise ; au lieu de cela, la méthode repose sur l'inversibilité locale autour d'un point de base choisi.
2. Interprétation Géométrique : Dans l'ICA, les facteurs de variation correspondent à des lignes alignées sur les axes dans l'espace latent. La RICA les interprète comme des géodésiques radiales émanant d'un point de base dans l'espace des données. Une variation d'une seule composante latente correspond au déplacement le long d'une courbe géodésique spécifique définie par la métrique.
3. Coordonnées Normales : La méthode utilise des coordonnées normales de Riemann centrées en un point de base $x_0$. Ces coordonnées servent de variables latentes adaptatives. L'application exponentielle $\exp_{x_0}$ applique les vecteurs latents (espace tangent) aux points de données, et l'application logarithmique $\log_{x_0}$ effectue l'inverse.

Le Tenseur de Désentanglement

La contribution théorique centrale est le tenseur de désentanglement ($D$), qui encode une notion d'ordre deux du désentanglement appelée désentanglement ponctuel. Le désentanglement ponctuel est défini comme la condition où le Hessien du logarithme de la vraisemblance latente est diagonal au point de base.

Le tenseur de désentanglement est défini par :
$$D = \nabla^2 \log \rho - \frac{1}{3} \text{Ric}$$
Où :

• $\nabla^2$ est le Hessien covariant sous la connexion de Levi-Civita.
• $\rho$ est la densité de Hausdorff (une fonction de densité intrinsèque définie par rapport à l'élément de volume riemannien).
• $\text{Ric}$ est le tenseur de courbure de Ricci.

Ce tenseur capture l'indépendance statistique d'ordre deux des variables latentes. Le terme $-\frac{1}{3}\text{Ric}$ agit comme une correction à la formule standard de changement de variable requise lors de l'opération sur une variété courbe.

Algorithme

Pour atteindre le désentanglement ponctuel, la RICA résout un problème de valeurs propres généralisé. Étant donné le tenseur de désentanglement $D_x(x_0)$ dans les coordonnées des données et la métrique $g_x(x_0)$, l'algorithme trouve une matrice $J^*_x$ orthogonale par rapport à $g$ telle que :
$$J^{*\top}_x D_x(x_0) J^*_x = \Lambda$$
$$J^{*\top}_x g_x(x_0) J^*_x = I_n$$
où $\Lambda$ est diagonal. La carte de coordonnées normales résultante $s = h_{x_0, J^*_x}(x)$ produit des latents qui sont ponctuellement désentrelacés en $x_0$.

Contributions Clés

1. Cadre de l'ICA Riemannienne : Un cadre théorique qui définit les facteurs de variation indépendants localement en utilisant la géométrie riemannienne, éliminant le besoin d'un modèle génératif globalement inversible.
2. Désentanglement Ponctuel : Une condition nécessaire pour le désentanglement qui capture l'indépendance statistique d'ordre deux en un point spécifique, formalisée via le Hessien du logarithme de la vraisemblance latente.
3. Le Tenseur de Désentanglement : Un objet tensoriel ($D = \nabla^2 \log \rho - \frac{1}{3} \text{Ric}$) qui encode le désentanglement ponctuel. Sa diagonalisation identifie l'orientation de l'espace latent par rapport à la densité des données et à la métrique.
4. Invariance de Coordonnées : La méthode est construite pour être invariante au système de coordonnées utilisé pour représenter les observations, contrairement aux bases ICA standard qui sont sensibles à la carte.

Résultats Expérimentaux

Les auteurs ont validé la théorie dans un cadre contrôlé de récupération de sources où les sources, métriques et densités de vérité terrain étaient connues. Des expériences ont été menées sur quatre variétés : la sphère ($S^d$), l'espace hyperbolique ($H^d$), le tore plat ($T^d$) et les matrices Définies Positives Symétriques (SPD).

• Performance : La RICA a récupéré avec succès les sources de vérité terrain sur toutes les variétés et cartes de coordonnées testées, atteignant un Coefficient de Corrélation Moyen (MCC) de $1,00 \pm 0,00$.
• Comparaison avec les Bases :
  • FastICA : A bien performé lorsque les échantillons étaient proches du point de base (où l'application est approximativement linéaire) mais a montré une sensibilité à la carte de coordonnées utilisée.
  • ICA Non Linéaire (Conforme) : A mal performé, en particulier lorsque la dimension augmentait ou que les échelles des sources devenaient plus anisotropes. Ses performances se sont dégradées de manière significative dans les dimensions supérieures ($n \approx 64$) et étaient hautement sensibles à la carte de coordonnées.
• Modes de Défaillance : La RICA échoue lorsque les échantillons sont générés en dehors du rayon d'injectivité de l'application exponentielle, car l'application logarithmique ne peut pas inverser l'application exponentielle dans cette région.

Importance et Revendications

L'article revendique fournir une base théorique pour étudier le désentanglement local sans supposer un modèle génératif global. En reformulant le désentanglement comme une propriété géométrique locale d'une métrique riemannienne par rapport à une densité de données, la RICA permet d'interpréter les caractéristiques dans les représentations préentraînées (telles que celles issues de l'apprentissage auto-supervisé) comme des facteurs de variation indépendants.

Les auteurs soulignent que ce travail est une étape vers une théorie pour les représentations modernes. Ils reconnaissent les limitations pratiques, notant que le calcul du tenseur de désentanglement nécessite une différenciation automatique d'ordre trois et des vraisemblances logarithmiques sous forme fermée, ce qui est actuellement prohibitif pour les modèles préentraînés à grande échelle. Par conséquent, l'article ne revendique pas de résoudre le désentanglement pour tous les modèles modernes immédiatement, mais offre plutôt un cadre géométrique rigoureux pour analyser la structure locale là où de telles métriques et densités peuvent être définies. L'objectif ultime est de permettre une interprétabilité théoriquement fondée des représentations préentraînées en récupérant les facteurs de variation locaux.