📊 statistics

Conservation Laws from Data Symmetry in Neural Networks

Cet article étudie si les symétries intrinsèques des données conduisent à des quantités conservées lors de l'entraînement de réseaux de neurones, prouvant que de telles symétries n'induisent généralement pas d'intégrales de mouvement supplémentaires pour les pertes analytiques non polynomiales, tout en démontrant que la perte de l'erreur quadratique moyenne combinée à l'augmentation de données peut engendrer des quantités conservées supplémentaires dans les réseaux tensorisables.

Auteurs originaux : Jakob Galley, Vahid Shahverdi, Axel Flinth

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jakob Galley, Vahid Shahverdi, Axel Flinth

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître des motifs, comme l'identification de différents types de fruits. Vous lui montrez des photos de pommes, d'oranges et de bananes. Maintenant, imaginez que vous ayez une règle spéciale : peu importe la façon dont vous faites pivoter l'image d'une pomme, c'est toujours une pomme. Cette règle est une symétrie.

Cet article pose une question fascinante : Si nous enseignons au robot en utilisant ces règles de symétrie, son processus d'apprentissage se retrouve-t-il « coincé » d'une manière spécifique ?

Dans le monde de la physique et des mathématiques, quand quelque chose reste identique alors que les choses changent autour de lui, nous appelons cela une quantité conservée (comme l'énergie dans un système fermé). En apprentissage automatique (machine learning), trouver ces « quantités conservées » revient à trouver une carte cachée qui nous indique exactement comment le cerveau du robot va changer au fur et à mesure qu'il apprend.

Voici le détail de ce que les auteurs ont découvert, en utilisant des analogies simples :

1. Les deux types de « Perte » (Le carnet de notes)

Pour apprendre, le robot essaie de minimiser ses « erreurs ». Ce score d'erreur est appelé la Perte (Loss). L'article examine deux manières très différentes de calculer ce score :

Le carnet de notes « strict » (Perte non polynomiale analytique) : Considérez cela comme une courbe très complexe et lisse où chaque infime changement de l'entrée crée une pénalité légèrement différente et unique.
- La découverte : Les auteurs ont prouvé que pour ce type de carnet de notes, les symétries dans les données ne créent PAS de nouvelles cartes cachées. Même si vous faites pivoter vos photos de pommes, le chemin d'apprentissage du robot reste tout aussi flexible et imprévisible que si vous ne les aviez pas fait pivoter. La symétrie ne « verrouille » pas le robot dans un comportement spécifique.
- L'analogie : Imaginez que vous marchiez dans une forêt dense et brumeuse (le chemin d'apprentissage). Si vous avez une règle selon laquelle « les arbres se ressemblent sous tous les angles », cela ne vous aide pas réellement à trouver un chemin caché et droit à travers le brouillard. Vous devez toujours errer de manière aléatoire.
Le carnet de notes « simple » (Erreur Quadratique Moyenne - MSE) : C'est une façon plus simple et plus rigide de calculer les erreurs (comme mesurer la distance en ligne droite entre la prédiction et la vérité). C'est une équation polynomiale (pensez à $x^2$ ou $x^3$ ).
- La découverte : Ici, l'histoire change ! Si les données présentent des symétries (comme la rotation d'images), de nouvelles cartes cachées APPARAISSENT. Le chemin d'apprentissage du robot est contraint. Il ne peut pas aller n'importe où ; il est forcé de rester sur une voie spécifique.
- L'analogie : Imaginez maintenant que la forêt possède une rivière cachée (la quantité conservée). Si vous savez que les arbres sont symétriques, vous réalisez que la rivière doit couler en ligne droite. La symétrie des arbres force l'eau à suivre un chemin spécifique et immuable. Le robot est alors en train de « surfer » sur cette rivière ; il ne peut pas en sortir, peu importe ses efforts.

2. Les réseaux « Tensorisables » (L'architecture spéciale)

Les auteurs ont découvert que ces nouveaux « rivières » (quantités conservées) n'apparaissent que dans un type spécifique d'architecture de cerveau de robot qu'ils appellent Réseaux Tensorisables.

Qu'est-ce que c'est ? Imaginez une chaîne de montage d'usine.
- Étape 1 : La matière première (la donnée d'entrée, comme une image) est pré-traitée en un « kit » de pièces standardisé.
- Étape 2 : Le cerveau du robot (les paramètres) se contente d'assembler ces kits pré-fabriqués.
Pourquoi c'est important : Parce que les données sont pré-emballées dans ces kits, la symétrie des données (comme la rotation) est « élevée » dans le processus d'assemblage. Si vous faites pivoter l'entrée, cela équivaut à faire pivoter les instructions d'assemblage. Cela crée une nouvelle symétrie continue dans la façon dont le robot peut ajuster son cerveau, menant à ces « quantités conservées ».

3. L'exemple de l'« Attention Éclair » (Lightning Attention)

L'article utilise un type spécifique et moderne de réseau de neurones appelé Lightning Attention comme exemple concret.

Ils ont montré que si vous entraînez ce réseau avec des images pivotées (symétrie des données), les « boutons de réglage » internes du réseau (les paramètres) sont forcés de bouger d'une manière qui maintient constante une forme géométrique spécifique (l'espace colonne).
Le résultat : Même si le réseau est en train d'apprendre, une partie spécifique de sa structure reste figée en place, comme une toupie qui vacille mais ne tombe jamais.

Résumé

La grande question : Est-ce que le fait d'enseigner à un robot avec des données symétriques (comme des images pivotées) le force à apprendre de manière prévisible et contrainte ?
La réponse : Cela dépend du « carnet de notes » (fonction de perte).
- Si le carnet de notes est complexe et lisse : Non. La symétrie ne crée pas de nouvelles règles.
- Si le carnet de notes est simple (MSE) et que le robot possède une structure de type « chaîne de montage » : Oui. La symétrie crée une règle cachée (une quantité conservée) que le robot doit suivre, ce qui restreint son chemin d'apprentissage.

Les auteurs n'ont pas seulement supposé cela ; ils ont utilisé des mathématiques avancées (comme le théorème de Noether issu de la physique, qui lie la symétrie à la conservation) pour le prouver, et ils ont réalisé des expériences informatiques pour montrer que ces « rivières cachées » existent réellement en pratique.

Résumé technique : Lois de conservation issues de la symétrie des données dans les réseaux de neurones

Énoncé du problème

L'article étudie si les symétries intrinsèques présentes dans les données d'entraînement induisent de nouvelles quantités conservées (intégrales de mouvement) lors du flux de gradient de l'entraînement des réseaux de neurones. Alors que le théorème de Noether classique lie les symétries continues d'un système dynamique à des lois de conservation, les travaux antérieurs en apprentissage profond se sont largement concentrés sur les symétries au sein de l'espace des paramètres (par exemple, les permutations ou les changements d'échelle des poids) qui laissent la fonction réalisée invariante. Ce travail aborde une question distincte : les symétries dans les données (par exemple, l'invariance par permutations, rotations ou actions de groupe) peuvent-elles générer de nouvelles lois de conservation qui contraignent la trajectoire d'optimisation, même lorsque l'architecture du réseau n'encode pas explicitement ces symétries ?

Méthodologie

Les auteurs utilisent un cadre théorique fondé sur les systèmes dynamiques et la théorie des représentations pour analyser la dynamique du flux de gradient définie par $\dot{\theta} = -\nabla E_\pi(\theta)$ .

Définitions et configuration :
- Intégrales de mouvement : Une fonction lisse $I(\theta)$ est une intégrale de mouvement si elle reste constante le long des trajectoires du flux de gradient pour toute distribution de données $\pi$ (ou spécifiquement pour les distributions symétriques).
- Symétrie des données : La distribution de données d'entraînement $\pi$ est symétrique sous un groupe compact $G$ si l'application d'actions de groupe aux entrées et aux sorties laisse la distribution invariante.
- Risque augmenté par le groupe : Les auteurs analysent le risque « augmenté par le groupe » $E^G_\pi$ , obtenu en moyennant la perte sur l'orbite du groupe. Par la Proposition 1, une fonction est une intégrale de mouvement pour des données symétriques si et seulement si elle est préservée par le flux de gradient augmenté.
Approche analytique :
- La condition centrale pour l'existence d'une nouvelle intégrale de mouvement est que l'espace engendré par les gradients augmentés soit strictement plus petit que l'espace engendré par les gradients standards (Équation 9). Si les gradients augmentés engendrent le même sous-espace que les gradients standards, aucune nouvelle loi de conservation n'émerge.
- Les auteurs distinguent deux classes de fonctions de perte :
  - Pertes de marge analytiques non polynomiales : (ex. logistique, exponentielle).
  - Pertes polynomiales : Spécifiquement l'erreur quadratique moyenne (MSE).
- Réseaux tensorisables : Pour le cas polynomial, les auteurs introduisent une classe d'architectures appelées « réseaux tensorisables ». Ce sont des réseaux où la dépendance aux paramètres $\theta$ et aux entrées $x$ peut être séparée via un espace de caractéristiques levé $H$ tel que $f_\theta(x) = M(\theta)T(x)$ . Cette classe inclut les réseaux linéaires, les réseaux polynomiaux et certains mécanismes d'attention spécifiques comme le Lightning Attention.

Contributions clés et résultats

1. Absence de nouvelles lois de conservation pour les pertes analytiques non polynomiales

Le Théorème 3 établit que pour des groupes finis et des pertes de marge analytiques non polynomiales, les symétries de données n'induisent pas génériquement de nouvelles intégrales de mouvement.

Mécanisme : La preuve repose sur le développement de Taylor de la fonction de perte analytique. Puisque la perte est non polynomiale, sa dérivée contient une infinité de termes non nuls. Sous des hypothèses de régularité modérées (Hypothèse 1, qui exclut les initialisations équivariantes dégénérées), ces termes infinis agissent comme un système linéaire de rang plein. Cela permet de reconstruire linéairement les directions de gradient individuelles de l'orbite du groupe à partir du gradient augmenté (moyenné).
Implication : L'espace engendré par les gradients augmentés est égal à l'espace engendré par les gradients standards. Par conséquent, toute quantité conservée sous un entraînement avec des données symétriques est déjà conservée sous un entraînement avec des données arbitraires ; aucune nouvelle contrainte n'est introduite par la symétrie des données.

2. Émergence de lois de conservation pour la perte MSE dans les réseaux tensorisables

Le Théorème 4 démontre que pour les réseaux tensorisables entraînés avec une perte MSE, les symétries de données peuvent créer de nouvelles intégrales de mouvement.

Mécanisme : Contrairement aux pertes analytiques non polynomiales, la MSE est déterminée uniquement par ses termes quadratiques et linéaires. Lorsqu'elle est augmentée sur un groupe $G$ , ces termes imposent des contraintes d'équivariance sur l'espace de caractéristiques levé $H$ . Cela crée un nouveau groupe de symétrie $H$ agissant sur l'espace levé qui préserve la perte augmentée.
Symétries continues : Crucialement, même si le groupe de symétrie des données $G$ est discret, le groupe de symétrie $H$ induit sur l'espace de caractéristiques levé peut être continu (par exemple, les groupes orthogonaux, unitaires ou symplectiques).
Résultat : Si la paramétrage du réseau réalise cette symétrie continue (spécifiquement, si la rotation d'un bloc de paramètres $P$ est équivalente à agir sur l'espace levé par un élément de $H$ ), alors l'espace colonne (range) de $P$ devient une intégrale de mouvement. L'espace colonne de $P$ est préservé le long du flux de gradient.

3. Caractérisation du groupe de symétrie $H$

L'article fournit une caractérisation algébrique détaillée (Annexe D) du groupe $H$ qui préserve la perte MSE augmentée.

$H$ est l'intersection des matrices orthogonales qui commutent avec tous les opérateurs $G$ -équivariants et les applications linéaires $G$ -équivariantes.
La structure de $H$ dépend de la décomposition de l'espace de caractéristiques levé en représentations irréductibles de $G$ . Selon le type de ces représentations irréductibles (réelles, complexes ou quaterniens), $H$ peut contenir des facteurs continus tels que $O(n)$ , $U(n)$ ou $Sp(n)$.

Exemples illustratifs

Les auteurs valident leurs découvertes théoriques avec deux exemples :

Modèle linéaire avec symétrie cyclique : Un modèle linéaire entraîné sur des données augmentées par un groupe cyclique $C_3$ . La théorie prédit que la direction de la matrice de poids projetée sur le complément orthogonal du vecteur de vivage (all-ones vector) est conservée. Les expériences confirment que cette quantité reste constante sous la descente de gradient augmentée, alors qu'elle dérive significativement sans augmentation.
Lightning Attention : Un modèle Lightning Attention à tête unique entraîné avec une augmentation par action à droite $O(d)$ . La théorie prédit que l'espace colonne du bloc de paramètres concaténés $P = [Q, K, V]$ est préservé. Les expériences numériques montrent que la distance entre les espaces colonnes des paramètres à différents pas d'entraînement reste proche de zéro pour l'entraînement augmenté, tandis qu'elle croît pour l'entraînement standard.

Signification et affirmations

L'article affirme fournir une frontière théorique rigoureuse pour déterminer quand la symétrie des données conduit à de nouvelles contraintes d'optimisation :

Généralité vs Spécificité : Il clarifie que pour la large classe des pertes analytiques non polynomiales (communes en classification), la symétrie des données ne crée pas de nouvelles intégrales de mouvement. Le phénomène est spécifique aux pertes polynomiales (comme la MSE) et aux architectures permettant une séparation « tensorisable » des entrées et des paramètres.
Nouveauté : Le travail identifie un mécanisme où des symétries de données discrètes peuvent induire des symétries continues dans l'espace des paramètres, menant à des quantités conservées (spécifiquement la préservation de sous-espaces) qui ne sont pas présentes dans les dynamiques d'entraînement standard.
Limites : Les auteurs notent modestement que leur cadre repose sur des hypothèses techniques spécifiques (analiticité, tensorisabilité) et ne prétend pas couvrir toutes les nouvelles quantités conservées possibles issues de données symétriques. Ils reconnaissent également que toutes les symétries $H$ ne sont pas réalisables dans chaque paramétrage.

En résumé, l'article établit que si la symétrie des données ne modifie généralement pas les lois de conservation fondamentales du flux de gradient pour les pertes de classification standard, elle peut fondamentalement contraindre la trajectoire des réseaux tensorisables entraînés par MSE en préservant la structure géométrique (les espaces colonnes) de blocs de paramètres spécifiques.