Résumé technique : Symétries dans l'apprentissage PAC-Bayésien

Énoncé du problème

Les symétries dans l'apprentissage automatique, telles que l'invariance par rotation ou par translation, sont empiriquement connues pour améliorer les performances des modèles. Cependant, les garanties théoriques existantes expliquant ces gains sont limitées par des hypothèses restrictives. Les cadres théoriques antérieurs, particulièrement dans le cadre PAC-bayésien, reposent généralement sur deux contraintes clés :

1. Compacité : Le groupe de symétrie doit être compact (par exemple, des groupes finis ou des rotations), excluant les groupes non compacts comme les translations ou les mises à l'échelle, qui sont pourtant centraux dans des architectures comme les réseaux de neurones convolutifs (CNN).
2. Invariance des données : La distribution des données elle-même est supposée être invariante sous l'action du groupe. Dans les scénarios réels, cela est rarement vrai (par exemple, une tasse d'eau renversée est peu probable dans des données naturelles, violant ainsi l'invariance par translation).

Ce travail comble la lacune de la compréhension théorique en étendant les garanties de généralisation à des contextes impliquant des symétries non compactes et des distributions de données non invariantes.

Méthodologie

Les auteurs utilisent le cadre PAC-bayésien, qui permet des priors et des posteriors dépendants des données sur des classes d'hypothèses. La méthodologie se déroule en trois étapes :

1. Formulation du problème et hypothèses

Le papier formalise le processus de génération de données où les sorties $Y$ sont générées à partir d'entrées $X$ via une fonction équivariante par rapport au groupe $f^*$ perturbée par un bruit indépendant $\Xi$ (Hypothèse 2.1).

• Action de groupe : Un groupe topologique $G$ agit sur l'espace d'entrée $X$ et l'espace de sortie $Y$.
• Équivariance : Une hypothèse $f$ est équivariante si $f(g \cdot x) = g \cdot f(x)$.
• Fonction de perte : La perte $\ell$ est supposée convexe dans son premier argument et $G$-invariante (Hypothèse 4.1), ce qui signifie $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$.

Crucialement, les auteurs relâchent l'exigence de compacité pour $G$ et d'invariance pour la distribution des données. Ils supposent que l'action du groupe sur l'espace d'entrée est libre (Hypothèse 3.1) afin de faciliter la construction d'un opérateur de moyenne.

2. L'opérateur de moyenne et la décomposition KL

Pour gérer les groupes non compacts et les distributions non invariantes, les auteurs introduisent un opérateur de moyenne généralisé $Q$. Contrairement aux travaux précédents qui reposent sur la mesure de Haar (qui nécessite la compacité), cet opérateur intègre sur l'orbite du groupe en utilisant un noyau de probabilité dérivé du théorème de désintégration (Théorème 1.1).

• Définition : $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$, où $\kappa$ est la distribution conditionnelle du groupe étant donné le représentant de l'orbite.
• Propriété : $Q$ transforme des fonctions mesurables arbitraires en fonctions équivariantes et agit comme une projection ($Q^2 = Q$).

En utilisant cet opérateur, les auteurs dérivent une décomposition de la divergence KL (Lemme 3.4). Pour deux mesures $\mu$ et $\nu$ sur la classe d'hypothèses :
$$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Reste}$$
Cela montre que la divergence KL entre les mesures originales est strictement supérieure ou égale à la divergence KL entre leurs projections équivariantes ($Q_*\mu$ et $Q_*\nu$). Le terme de reste capture l'information « non équivariante » écartée par la projection.

3. Bornes de généralisation

Les auteurs appliquent cette décomposition à la borne PAC-Bayes de McAllester.

• Réduction de la complexité : En restreignant le prior et le posterior aux fonctions équivariantes (via la mesure image $Q_*$), le terme de complexité (impliquant $D_{KL}$) est réduit (Corollaire 3.6).
• Réduction du risque : Les auteurs prouvent que la symmetrisation de l'hypothèse n'augmente pas le risque réel et que les risques peuvent être calculés entièrement sur les représentants d'orbites sans perte d'information (Théorème 4.3).
• Résultat principal : La borne dérivée (Équation 14) est valable pour les groupes non compacts et les données non invariantes, fournissant une garantie de généralisation plus serrée pour les modèles équivariants par rapport aux bornes standards appliquées à la classe d'hypothèses complète.

Principales contributions

1. Extension aux symétries non compactes : Le papier fournit la première analyse de généralisation PAC-bayésienne capable d'accommoder des groupes de symétrie non compacts (ex: translations, mises à l'échelle, transformations de Lorentz), couvrant les architectures invariantes par translation dans un cadre unifié.
2. Relâchement de l'invariance des données : Les garanties théoriques ne nécessitent pas que la distribution des données soit invariante sous l'action du groupe, répondant à une limitation majeure des travaux antérieurs où les données réelles violent souvent cette hypothèse.
3. Opérateur de moyenne généralisé : L'introduction d'un opérateur de moyenne basé sur le théorème de désintégration permet la projection d'hypothèses sur des sous-espaces équivariants sans dépendre de l'existence d'une mesure uniforme (Haar), indisponible pour les groupes non compacts.
4. Bornes plus serrées : Le travail démontre qu'imposer l'équivariance conduit à une divergence KL strictement plus petite dans la borne PAC-Bayes, expliquant théoriquement l'amélioration des performances de généralisation des modèles symétriques.

Résultats expérimentaux

Les auteurs valident leur théorie par des expériences numériques sur plusieurs jeux de données (Exemple fictif, MNIST, CIFAR-10/100, ModelNet, Top Tagging) avec des groupes tant compacts (SO(2), SO(3)) que non compacts (SE(2), $\mathbb{R}^+$, $SO^+(1,3)$).

• Configuration : Ils comparent des réseaux de neurones de base (non équivariants) avec des équivalents équivariants (utilisant des bibliothèques comme e2cnn et e3nn). Les expériences utilisent explicitement un échantillonnage non uniforme des transformations pour violer les hypothèses d'invariance des données.
• Résultats :
  • Réduction de la KL : Les posteriors symétriques ont systématiquement atteint des divergences KL nettement plus faibles par rapport aux bases (réductions de 14,5 % à 89,2 % selon les jeux de données).
  • Resserrement de la borne : Les bornes de généralisation PAC-Bayes étaient sensiblement plus serrées pour les modèles équivariants (réductions de 10 % à 34 %).
  • Performance : Les modèles équivariants ont égalé ou amélioré le risque de test des modèles de base (réduction du risque de 5,3 % à 41,5 % dans certains cas), confirmant que le resserrement théorique se traduit par des gains empiriques même lorsque les distributions de données ne sont pas invariantes.

Signification et affirmations

Le papier affirme fournir une preuve théorique que les modèles symétriques sont préférables au-delà du cadre étroit des groupes compacts et des distributions invariantes. En supprimant ces hypothèses restrictives, ce travail élargit les fondements théoriques de la symétrie dans l'apprentissage automatique.

Les auteurs déclarent que leurs conclusions offrent une explication fondée sur des principes pour le succès empirique des architectures sensibles à la symétrie (comme les CNN) dans des scénarios pratiques où les données ne sont ni parfaitement invariantes, ni régies par des groupes compacts. Ils soulignent que leur cadre s'applique à des classes d'hypothèses générales et suit les formulations PAC-bayésiennes standards, rendant les résultats applicables à un large éventail de problèmes d'apprentissage impliquant des symétries non compactes. Le travail ne prétend pas résoudre tous les problèmes de généralisation, mais cible spécifiquement la lacune théorique concernant le rôle des symétries dans les distributions de données réelles et non idéales.