Identifiable Equivariant Networks are Layerwise Equivariant

Résumé Technique : Les réseaux équivariants identifiables sont équivariants couche par couche

Énoncé du problème
Dans l'apprentissage profond géométrique, un paradigme dominant consiste à concevoir des réseaux de neurones dotés d'une équivariance explicite couche par couche pour garantir que l'ensemble du réseau respecte les symétries des données. Cependant, une question théorique fondamentale demeure : l'équivariance couche par couche est-elle une condition nécessaire pour qu'un réseau soit équivariant de bout en bout ? Empiriquement, les réseaux entraînés sur des données symétriques développent souvent des structures approximativement équivariantes dans leurs couches intermédiaires, mais la justification théorique expliquant pourquoi l'équivariance de bout en bout implique l'équivariance couche par couche est restée obscure. Ce travail comble le fossé entre la symétrie globale (de bout en bout) et la symétrie locale (couche par couche), en investiguant spécifiquement si une fonction équivariante de bout en bout doit être construite à partir de couches équivariantes.

Méthodologie et formalisme
Les auteurs développent un formalisme hautement abstrait, agnostique vis-à-vis de l'architecture, fondé sur la théorie des catégories et la géométrie algébrique pour analyser les réseaux de neurones profonds.

1. Définition du modèle abstrait : Un modèle profond est défini comme une composition séquentielle de cartes paramétriques $f_i: V_{i-1} \times \Theta_i \to V_i$, représentant des couches agissant sur des espaces latents $V_i$.
2. Symétries et actions de groupe : Les symétries sont formalisées via des actions de groupe. Les espaces d'entrée et de sortie sont agis par un groupe $G$. Crucialement, les espaces latents $V_i$ sont équipés de leurs propres groupes de symétrie $K_i$.
3. Hypothèse d'identifiabilité : L'hypothèse théorique centrale est l'identifiabilité des paramètres. Les auteurs définissent un paramètre $\theta$ comme étant « faiblement identifiable » s'il est l'image d'un paramètre identifiable au sein d'un « sous-modèle ». Un sous-modèle représente un cas dégénéré où des neurones sont inactifs ou redondants (clonés).
   • L'identifiabilité implique que si deux ensembles de paramètres produisent la même fonction, ils doivent être liés par des symétries des espaces latents (spécifiquement, des transformations inter-couches qui s'annulent).
   • Cette propriété est connue pour tenir pour diverses architectures (ex: MLP avec des activations Sigmoïde, Tanh ou des polynômes de degré élevé), mais reste une conjecture pour d'autres (ex: réseaux ReLU, bien que des résultats partiels existent).
4. Sous-modèles et dégénérescence : Le cadre traite explicitement les neurones « inactifs » (ceux qui ne participent pas à la passe avant) en les traitant comme des sous-modèles. La théorie postule que tout paramètre non identifiable provient de telles structures dégénérées.

Résultat théorique principal
Le théorème central (Théorème 4.1) établit un lien direct entre l'équivariance globale et locale :

• Prémisse : Considérons un réseau profond qui est équivariant de bout en bout par rapport à un groupe $G$ agissant sur l'entrée et la sortie. Supposons que les paramètres du réseau sont faiblement identifiables.
• Conclusion : Il existe des actions de groupe de $G$ sur les espaces latents intermédiaires $V_1, \dots, V_{L-1}$ telles que chaque couche $f_i$ est équivariante par rapport à ces actions.
• Implication : Concevoir des couches équivariantes n'est pas seulement une heuristique ; c'est la seule façon de construire un réseau équivariant de bout en bout (à l'exclusion des neurones inactifs). Si un réseau converge vers une solution équivariante pendant l'entraînement, l'équivariance doit émerger automatiquement dans les parties actives de ses couches.

Contributions clés

1. Formalisation abstraite : Le papier formule l'identifiabilité, l'équivariance et les sous-modèles dans un langage abstrait unifié qui s'applique à différentes architectures de réseaux et groupes de symétrie.
2. Preuve de nécessité : Il prouve que, sous l'hypothèse de la faible identifiabilité, l'équivariance de bout en bout nécessite l'équivariance couche par couche. Cela résout la question ouverte de savoir si des réseaux non équivariants couche par couche peuvent atteindre une équivariance globale.
3. Application à des architectures spécifiques :
   • MLP : La théorie est appliquée aux perceptrons multicouches, montrant comment les symétries latentes correspondent à des permutations de neurones et des redimensionnements (rescalings). Elle discute du statut de l'identifiabilité pour diverses fonctions d'activation (Sigmoïde, Tanh, Polynômes, ReLU).
   • Réseaux d'attention : Le cadre est étendu aux réseaux d'attention multi-têtes (Multi-Head Attention), où les symétries latentes incluent les permutations de têtes et les transformations linéaires des espaces de tokens.
4. Illustration empirique : Les auteurs mènent des expériences sur CIFAR10 utilisant de petits MLP (auto-encodeurs et classifieurs) entraînés avec une perte d'équivariance. Bien que la théorie suppose une équivariance exacte, les expériences démontrent que les structures de couches prédites (ex: filtres symétriques ou anti-symétriques) émergent dans des contextes pratiques d'équivariance approximative.

Signification et affirmations
Le papier affirme fournir une explication mathématique du phénomène observé systématiquement en pratique : que les réseaux de neurones entraînés sur des données symétriques encodent ces symétries linéairement dans leurs espaces latents.

• Le travail clarifie la relation entre l'augmentation de données basée sur la symétrie et la conception de couches équivariantes, suggérant que si un réseau apprend une fonction équivariante, il « découvre » effectivement la structure équivariante couche par couche nécessaire pour la soutenir.
• Les résultats sont ancrés dans l'hypothèse d'identifiabilité. Les auteurs reconnaissent que, bien que cela soit établi pour de nombreuses architectures, cela reste une conjecture pour d'autres (notamment les réseaux ReLU), et leurs résultats s'appliquent immédiatement aux premières et de manière conditionnelle aux secondes.
• La théorie est présentée comme agnostique à l'architecture, s'appuyant sur les propriétés structurelles des applications paramétriques plutôt que sur des configurations de poids spécifiques, offrant ainsi un principe général pour l'apprentissage profond géométrique.

Limites et portée
Les auteurs notent que leur preuve repose sur des propriétés d'adjonction spécifiques entre l'action de groupe et les paramètres de la couche. Bien qu'ils discutent de généralisations pour les réseaux d'attention et de convolution, certaines architectures comme les Deep Sets ou certains réseaux de neurones sur graphes (GNN) équivariants spécifiques, où les couches linéaires absorbent des actions de groupe spécifiques mais pas des transformations arbitraires, sortent du champ d'application direct de leur preuve actuelle. De plus, le recours à la faible identifiabilité signifie que les résultats sont tributaires du fait que le modèle ne soit pas piégé dans des configurations de paramètres dégénérées qui ne proviennent pas de sous-modèles.