🤖 machine learning

Conservation Laws for Modern Neural Architectures

Cet article établit un cadre théorique unifié pour caractériser les lois de conservation dans le flot de gradient pour les architectures neuronales modernes — incluant les modèles avec des activations GELU, SiLU, SwiGLU, divers mécanismes d'attention et des conceptions de type Mixture-of-Experts — validant ces découvertes par des expériences afin de mieux expliquer le biais implicite des modèles sur-paramétrés.

Auteurs originaux : Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une machine massive et complexe être construite et ajustée en temps réel. Cette machine est un modèle d'IA moderne (comme ceux qui écrivent des histoires ou reconnaissent des images). À mesure que la machine apprend, ses boutons et cadrans internes (appelés « paramètres ») tournent constamment pour minimiser les erreurs.

Ce document est comme une histoire de détective sur ce qui reste identique alors que tout le reste change.

L'idée principale : Les « règles immuables » de l'apprentissage

Habituellement, nous considérons l'entraînement d'une IA comme un processus chaotique où les nombres augmentent et diminuent de manière aléatoire. Mais les auteurs ont découvert que, même dans ce chaos, il existe des Lois de Conservation strictes.

Pensez à ces lois comme à la conservation de l'énergie en physique. Si vous faites rouler une balle du haut d'une colline, son énergie potentielle se transforme en énergie cinétique, mais l'énergie totale reste la même. De la même manière, lorsqu'une IA apprend, certaines combinaisons mathématiques de ses réglages internes restent parfaitement constantes, peu importe les données qu'elle voit ou la durée de son entraînement.

L'objectif principal de l'article était de trouver ces « invariants cachés » pour les architectures d'IA modernes les plus populaires utilisées aujourd'hui.

Le travail de détective : Comment ils ont trouvé les règles

Les auteurs n'ont pas simplement deviné ; ils ont utilisé une « loupe mathématique ». Ils ont demandé : « Si nous changeons les données ou le point de départ, quelles formules mathématiques impliquant les réglages de l'IA ne changeront jamais ? »

Ils ont traité le processus d'apprentissage de l'IA comme une rivière qui coule. Même si l'eau (les données et le chemin spécifique) change, la forme du lit de la rivière (l'architecture) force l'eau à suivre des motifs spécifiques. Ils ont cartographié ces motifs pour trois types majeurs de composants d'IA modernes :

1. Les réseaux de propagation avant (« Feedforward ») fluides (Les cerveaux)

Les IA modernes utilisent des « fonctions d'activation » spéciales (des interrupteurs mathématiques) pour décider à quoi prêter attention.

GELU et SiLU : Ce sont des interrupteurs doux et fluides. Les auteurs ont découvert que pour les réseaux utilisant ceux-ci, rien d'intéressant ne reste constant si ce n'est le fait que le système fait simplement son travail. C'est comme une rivière lisse sans tourbillons ; l'eau s'écoule, tout simplement.
SwiGLU : Il s'agit d'un interrupteur plus complexe utilisé dans les modèles de haut niveau (comme LLaMA). Ici, ils ont trouvé un équilibre caché. Imaginez deux poids, A et C, agissant comme une balançoire à bascule. Si A devient plus lourd, C doit devenir plus léger d'une manière très spécifique pour maintenir le « score d'équilibre » total constant. Le document prouve exactement comment fonctionne cet équilibre.

2. Le mécanisme d'attention (La focalisation)

C'est la partie de l'IA qui décide quels mots dans une phrase sont importants.

Attention multi-têtes standard : Les auteurs ont résolu un puzzle que des chercheurs précédents n'avaient pas pu terminer. Ils ont découvert que pour chaque « tête » (un sous-processeur), il existe deux paires de poids (Requête/Clé et Valeur/Sortie) qui doivent maintenir une différence spécifique. Pensez à cela comme à un tir à la corde : la force de l'équipe qui « tire » doit toujours correspondre à la force de l'équipe qui « pousse » d'une manière mathématique précise.
Codage positionnel rotatif (RoPE) : C'est une façon sophistiquée de dire à l'IA où se situent les mots dans une phrase (par exemple, « premier mot » contre « dernier mot »). Les auteurs ont découvert que cela change totalement les règles. Au lieu d'un simple tir à la corde, les poids doivent maintenant tourner dans un cercle spécifique pour maintenir la « balance rotationnelle » constante. C'est comme un danseur qui tourne ; sa vitesse et sa position changent, mais son moment cinétique reste fixe.

3. Mélange d'experts (L'équipe de spécialistes)

Imaginez une IA qui n'utilise pas un seul cerveau géant, mais une équipe de 100 experts plus petits, où seuls quelques-uns sont appelés à travailler sur chaque problème.

Le mécanisme de porte (Gating) : C'est le « gestionnaire » qui décide quels experts travaillent. Les auteurs ont découvert que les décisions du gestionnaire et les réglages des experts sont liés.
La découverte : Que le gestionnaire choisisse les 2 meilleurs experts ou les 10 meilleurs, ou qu'il utilise un vote « doux » (softmax) ou un vote « dur » (sigmoid), le « poids » total des décisions de l'équipe reste constant. Les experts individuels peuvent changer, mais la somme de leur influence suit une règle stricte.

L'expérience : Est-ce que cela fonctionne dans la vie réelle ?

Les auteurs n'ont pas seulement fait des mathématiques sur papier. Ils ont construit de petits modèles d'IA et les ont entraînés sur des données réelles (comme des images et du texte).

Ils ont suivi ces « quantités conservées » sur des milliers d'étapes.

Le résultat : Tout comme un pendule qui oscille, les valeurs sont restées incroyablement stables.
Le bémol : Lorsqu'ils utilisaient un taux d'apprentissage très élevé (une grande taille de pas), les valeurs oscillaient un peu, mais l'oscillation était prévisible et faible. S'ils ralentissaient l'apprentissage, les valeurs restaient presque parfaitement immobiles. Cela a prouvé que ces lois ne sont pas seulement théoriques ; elles sont des contraintes physiques réelles de la façon dont ces modèles d'IA apprennent.

Résumé

En termes simples, ce document dit : « Les modèles d'IA modernes ne sont pas des amas chaotiques. Ils sont régis par des règles mathématiques cachées et incassables. »

Tout comme un moteur de voiture a des règles sur la façon dont le carburant se transforme en mouvement, ces modèles d'IA ont des règles sur la façon dont leurs nombres internes doivent se balancer les uns les autres. Les auteurs ont réussi à rédiger le livre de règles pour les architectures d'IA les plus avancées actuellement en usage, nous montrant exactement ce qui reste identique pendant que l'IA apprend.

Résumé technique : Lois de conservation pour les architectures neuronales modernes

Énoncé du problème
Comprendre la dynamique d'entraînement des réseaux de neurones sur-paramétrés est central pour expliquer leur succès. Un mécanisme clé dans cette compréhension est le concept de lois de conservation — des quantités qui restent invariantes le long des trajectoires d'optimisation (spécifiquement le flot de gradient). Bien que ces lois soient bien caractérisées pour les réseaux linéaires et ReLU, elles restent largement inexplorées pour les architectures modernes. Les cadres existants peinent à fournir des caractérisations complètes pour les modèles contemporains utilisant des activations lisses (par exemple, GELU, SiLU), des mécanismes d'attention complexes (Multihead Attention avec encodages positionnels), et des conceptions de type Mixture-of-Experts (MoE). De plus, les travaux précédents sur la Multihead Attention (MHA) étaient limités aux configurations à tête unique, laissant le cas multi-têtes comme un problème ouvert.

Méthodologie
L'article développe un cadre théorique unifié pour caractériser les lois de conservation des modèles de deep learning modernes. L'approche s'appuie sur les travaux de Marcotte et al. (2023 ; 2025) mais diverge dans sa stratégie analytique :

Formulation du problème : Les auteurs définissent une loi de conservation $h(\theta)$ comme une fonction invariante sous le flot de gradient euclidien $\dot{\theta} = -\nabla L_D(\theta)$ . Pour rendre le problème traitable, ils adoptent l'hypothèse que les lois de conservation doivent être valables pour n'importe quel jeu de données, isolant ainsi le biais implicite induit uniquement par l'architecture et la dynamique d'optimisation.
Réduction aux EDP : Au lieu de s'appuyer sur la machinerie de la théorie de Lie, les auteurs réduisent la condition de conservation à un système d'équations aux dérivées partielles (EDP). Plus précisément, ils exigent que le gradient de la loi de conservation $\nabla_\theta h$ soit orthogonal à l'espace engendré par les vecteurs jacobiens du modèle pour toutes les entrées.
Techniques d'analyse complexe : La stratégie de preuve centrale consiste à considérer ces conditions d'orthogonalité comme des fonctions à valeurs complexes. En restreignant ces fonctions à des sous-espaces spécifiques et en utilisant le théorème de l'identité pour les fonctions méromorphes, les auteurs dérivent des contraintes indépendantes de l'entrée sur les gradients de $h$ .
Caractérisation via les invariants : Les contraintes d'EDP résultantes sont résolues pour identifier des « invariants caractéristiques ». Il est démontré que les lois de conservation sont constantes sur les composantes connexes des ensembles de niveau définis par ces invariants.

Contributions clés et résultats
L'article fournit des caractérisations complètes des lois de conservation pour trois classes principales d'architectures modernes :

Réseaux de propagation avant (FFN) :
- GELU et SiLU : Les auteurs prouvent que pour les FFN utilisant les activations GELU ou SiLU, les seules lois de conservation sont les fonctions constantes. Aucun invariant non trivial n'existe.
- SwiGLU : En revanche, les architectures SwiGLU (qui impliquent une interaction multiplicative entre les matrices de paramètres) présentent des lois de conservation non triviales. Les invariants sont déterminés par les quantités $\|A_{:,i}\|^2 - \|C_{i,:}\|^2$ pour chaque unité cachée $i$ , où $A$ et $C$ sont les matrices de poids impliquées dans le mécanisme de porte.
Attention multi-têtes (MHA) :
- MHA classique (Vanilla) : Les auteurs résolvent le problème ouvert concernant l'attention multi-têtes, confirmant que les lois de conservation sont caractérisées par les invariants $Q_i^\top Q_i - K_i^\top K_i$ et $V_i^\top V_i - O_i^\top O_i$ pour chaque tête $i$ .
- Encodage positionnel sinusoïdal (PE) : Puisque le PE sinusoïdal agit comme un décalage bijectif fixe sur l'entrée, la structure de conservation reste identique au cas de la MHA classique.
- Encodage positionnel rotatif (RoPE) : RoPE modifie fondamentalement la structure interne de l'attention. Les auteurs dérivent un ensemble distinct d'invariants : $\|Q_i^{(j)}\|_F^2 - \|K_i^{(j)}\|_F^2$ (où $Q$ et $K$ sont décomposés en blocs $2 \times 2$ ) et $V_i^\top V_i - O_i^\top O_i$ . Cela démontre que RoPE introduit une classe de lois de conservation différente par rapport aux encodages positionnels absols.
Mixture-of-Experts (MoE) :
- MoE denses et sparses : L'étude couvre à la fois le partitionnement (gating) dense et le MoE sparse (SMoE) avec routage Top- $k$ . Les résultats montrent que les lois de conservation pour le SMoE coïncident avec celles du MoE dense correspondant.
- Mécanismes de porte (Gating) : Les invariants sont localisés au niveau de l'expert (suivant les invariants SwiGLU pour chaque expert) et incluent un invariant supplémentaire pour les poids de porte : la somme des vecteurs de poids de porte $\sum W_i$ .
- Porte Sigmoïde : Les auteurs démontrent que remplacer le partitionnement softmax par un partitionnement sigmoïde normalisé ne modifie pas l'ensemble des lois de conservation ; les invariants restent identiques au cas avec partitionnement softmax.

Validation expérimentale
Les découvertes théoriques sont validées empiriquement à travers des tâches de modélisation de langage (WikiText-103, Penn Treebank) et de vision par ordinateur (CIFAR-10, ImageNet-1K).

Configuration : Les expériences utilisent à la fois la descente de gradient en batch complet (pour approximer le flot en temps continu) et le SGD en mini-batch sur des jeux de données de petite et grande échelle.
Métriques : Les auteurs suivent l'« erreur de conservation » (déviation des invariants par rapport à leurs valeurs initiales) au cours des étapes d'entraînement.
Résultats : Les expériences confirment que les lois de conservation restent bornées pendant l'entraînement. Plus précisément, l'erreur suit l'ordre de grandeur du taux d'apprentissage $\tau$ et du nombre d'étapes $k$ comme prédit par la théorie ( $O(\tau^2 k)$ pour des tailles de pas constantes). Les résultats sont cohérents pour MHA, les FFN SwiGLU, RoPE et les mécanismes de partitionnement MoE, indépendamment du jeu de données ou du régime d'entraînement.

Signification et affirmations
L'article affirme faire progresser la compréhension théorique de la dynamique d'entraînement en fournissant la première caractérisation complète des lois de conservation pour un large spectre d'architectures neuronales modernes.

Unification théorique : Il établit un cadre unifié qui étend les résultats précédents des réseaux linéaires/ReLU aux activations lisses et aux mécanismes d'attention complexes.
Résolution de problèmes ouverts : Il résout explicitement le problème ouvert de la caractérisation des lois de conservation pour l'attention multi-têtes et étend l'analyse pour inclure les encodages positionnels et le partitionnement MoE.
Biais implicite : En identifiant ces invariants, ce travail apporte un éclairage sur les contraintes géométriques inhérentes aux architectures modernes, révélant des propriétés qui persistent de l'initialisation à la convergence.
Limites : Les auteurs notent modestement que leur recours aux techniques d'analyse complexe (extensions méromorphes) limite actuellement l'application du cadre aux architectures impliquant des composants non méromorphes, tels que la normalisation de couche (layer normalization) ou des compositions profondes impliquant des fonctions comme $\sqrt{x}$ ou $e^{1/x}$ . Ils reconnaissent également que l'hypothèse d'indépendance vis-à-vis du jeu de données, bien que fondée pour isoler le biais architectural, peut être considérée comme restrictive dans des contextes plus larges.