Résumé Technique : Factorisation Géométrique de Représentations Harmoniques Suffisantes

Énoncé du Problème

L'apprentissage de l'oubli (machine unlearning) et l'apprentissage de représentations sont souvent évalués sur la base de métriques de performance, laissant la structure géométrique des modèles sous-examinée. Le problème central abordé est de définir quand une représentation apprise contient exactement la structure pertinente à la tâche et rien de plus. Plus précisément, l'article étudie comment formaliser l'« apprentissage de représentations suffisantes minimales » pour des données possédant des symétries de structure de groupe.

En statistique classique, un statistique est suffisant s'il préserve toute l'information pertinente pour estimer un paramètre, et minimalement suffisant s'il est le statistique le plus grossier possible. Dans le contexte de l'apprentissage de représentations avec des symétries, la question est : lorsqu'un groupe $G$ agit sur un espace d'échantillonnage $X$, et que la tâche est invariante sous cette action, quelle est la représentation minimale qui élimine la variation de nuisance (les orbites du groupe) tout en conservant l'information pertinente pour la tâche ?

Méthodologie

L'article emploie une synthèse de la théorie statistique classique, de la théorie des groupes et de l'analyse harmonique pour combler le fossé entre les quotients géométriques et la suffisance statistique.

1. Factorisation géométrique via les quotients : Les auteurs formalisent l'espace d'échantillonnage $X$ sous une action mesurable d'un groupe compact $G$. Ils proposent la application quotient $\pi: X \to X/G$ comme candidat pour une représentation suffisante minimale. Cette application réduit chaque orbite de groupe en une classe d'équivalence unique.
2. Preuves de suffisance statistique : En utilisant le théorème de factorisation de Fisher-Neyman et la caractérisation par rapport de vraisemblance de la suffisance minimale, l'article prouve que si la vraisemblance (ou la loi cible conditionnelle) est invariante le long des orbites du groupe, le quotient d'orbite est suffisant. Sous une condition supplémentaire de « séparation d'orbite » (où des orbites distinctes produisent des rapports de vraisemblance non constants), le quotient est prouvé être minimalement suffisant.
3. Analyse harmonique sur les groupes compacts : La méthodologie se spécialise pour les groupes de Lie compacts et les espaces homogènes. En exploitant le théorème de Peter-Weyl, l'article utilise la décomposition en coefficients de matrice de représentations unitaires irréductibles.
4. Familles exponentielles harmoniques à bande finie : L'article définit une classe spécifique de modèles où la log-densité est une combinaison linéaire finie de coefficients de matrice (une approximation à « bande finie »). Il analyse les coefficients de Fourier généralisés empiriques de ces familles.
5. Normalisation algébrique : Pour traiter la difficulté computationnelle de la fonction de partition (constante de normalisation) de ces familles exponentielles, l'article utilise la décomposition de Clebsch-Gordan. Cet outil algébrique décompose les produits tensoriels de représentations irréductibles, permettant à la fonction de partition d'être exprimée comme une série de coefficients de la représentation triviale.

Contributions Clés

L'article présente trois contributions théoriques principales :

1. Formulation de la représentation suffisante minimale comme un problème de quotient : Il établit que pour les familles de vraisemblance invariantes sous une action de groupe, le quotient d'orbite $X/G$ n'est pas seulement une représentation invariante, mais une représentation suffisante. Avec la condition de séparation d'orbite, elle est minimalement suffisante. Cela connecte directement la suffisance statistique à la factorisation géométrique.
2. Connexion avec les statistiques harmoniques suffisantes : Pour les groupes compacts et les espaces homogènes, l'article démontre que la structure du quotient d'orbite admet des coordonnées canoniques via l'analyse harmonique. Spécifiquement, pour les familles exponentielles harmoniques à bande finie, les coefficients de Fourier généralisés empiriques (coefficients de matrice de représentations irréductibles) servent de statistiques minimalement suffisantes pour les paramètres du modèle, à condition que les conditions standards de rang plein soient respectées.
3. Représentation algébrique de la fonction de partition : L'article fournit une représentation algébrique exacte pour la fonction de partition des familles exponentielles harmoniques à bande finie. En développant l'exponentielle de la fonction d'énergie et en appliquant la décomposition de Clebsch-Gordan, la constante de normalisation est montrée comme étant la projection de l'algèbre tensorielle de l'exponentielle sur la composante de la représentation triviale. Cela remplace l'intégration continue sur le groupe par une extraction algébrique des composantes invariantes.

Résultats Clés

• Théorème 3.1 (Suffisance du quotient d'orbite) : Prouve que si $p_\theta(gx) = p_\theta(x)$ pour tout $g \in G$, alors l'application d'orbite $\pi(X)$ est suffisante pour $\theta$. La preuve repose sur la factorisation de Fisher-Neyman où la densité dépend des données uniquement à travers l'orbite.
• Théorème 3.2 (Quotient d'orbite minimalement suffisant) : Prouve que si des orbites distinctes sont statistiquement distinguables (les rapports de vraisemblance ne sont pas constants en $\theta$), alors $\pi(X)$ est minimalement suffisant. Cela établit l'espace d'orbite comme la représentation la plus grossière préservant l'information pertinente pour la tâche.
• Théorème 3.3 (Suffisance minimale des statistiques harmoniques) : Pour une famille exponentielle harmonique à rang plein et à bande finie, la statistique $T_N$ consistant en la somme des coefficients de Fourier généralisés empiriques est minimalement suffisante pour les paramètres naturels. La preuve utilise la caractérisation par rapport de vraisemblance, montrant que le rapport est constant en $\theta$ si et seulement si les statistiques sont égales.
• Théorème 3.4 (Normalisation de Clebsch-Gordan) : Exprime la fonction de partition $e^{A(\theta)}$ comme une série infinie :
  $$e^{A(\theta)} = \sum_{k=0}^{\infty} \frac{1}{k!} \text{Coeff}_1(E_\theta^k)$$
  où $\text{Coeff}_1$ extrait le coefficient de la représentation triviale de la $k$-ième puissance de la fonction d'énergie, calculé via les règles de Clebsch-Gordan.
• Théorème 3.5 (Récupération harmonique) : Confirme que l'espace algébrique des coefficients de matrice est dense dans $L^2(G)$, garantissant qu'aucune information n'est perdue dans la limite de bande infinie, bien que les résultats de suffisance soient spécifiquement formulés pour les familles à bande finie.

Signification et Revendications

L'article affirme clarifier la relation entre invariance, compression et suffisance statistique. Sa signification réside dans :

• Interprétation géométrique de la suffisance : Il recadre l'apprentissage de représentations minimales comme le problème d'identifier et de réduire les symétries de nuisance (orbites) sans détruire l'information nécessaire à la prédiction.
• Minimalité dépendante de la tâche : Il distingue les tâches invariantes des tâches équivariantes, notant que la minimalité est une propriété de la représentation relative à la tâche statistique. Bien que les représentations irréductibles identifient des modes harmoniques élémentaires, elles ne sont minimalement suffisantes pour les tâches invariantes que si elles correspondent à la représentation triviale ou à des structures d'orbites spécifiques.
• Tractabilité algébrique : En exprimant la fonction de partition via la décomposition de Clebsch-Gordan, l'article offre une méthode pour calculer les constantes de normalisation de manière algébrique plutôt que par une intégration intractable, spécifiquement pour les modèles harmoniques à bande finie.

Ce travail ne propose pas de nouvelles architectures de machine learning ou de nouveaux bancs d'essai expérimentaux. Au lieu de cela, il fournit un fondement théorique reliant l'apprentissage de représentations, la théorie des groupes et la statistique classique, suggérant que le quotient géométrique induit la suffisance statistique sous des structures invariantes.