🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

Cette étude démontre que, pour la plupart des fonctions d'activation (homogènes, à portes ou non), un MLP avec connexions résiduelles ne peut pas être absorbé par un MLP sans connexion de même largeur, prouvant ainsi que ces deux architectures représentent des classes de fonctions génériquement distinctes.

Auteurs originaux : Antonij Mijoski, Marko Karbevski

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Antonij Mijoski, Marko Karbevski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Mystère de la "Connexion de Secours" : Pourquoi les IA ne peuvent pas tricher

Imaginez que vous construisez un robot pour apprendre à cuisiner. Pour que ce robot progresse, vous utilisez une technique appelée "Skip Connection" (ou connexion de saut).

Au lieu de lui donner uniquement une nouvelle recette compliquée à chaque étape, vous lui dites : "Prends ce que tu sais déjà faire, et ajoute juste un petit nouveau truc par-dessus." C'est comme si, au lieu de réapprendre à faire une omelette à chaque cours, le robot gardait sa base et apprenait juste à ajouter du fromage. Cela aide énormément le robot à ne pas "perdre le fil" et à apprendre beaucoup plus vite.

La question des chercheurs est la suivante : Est-ce que cette "connexion de secours" est vraiment indispensable ? Ou est-ce qu'on pourrait simplement construire un robot différent (sans connexion de secours) qui soit capable de faire exactement la même chose, mais de manière plus directe ?

En gros : Peut-on "absorber" le saut dans le cerveau de l'IA ?

1. La métaphore du "Mélange Impossible" (Les activations modernes)

Les chercheurs ont testé les "cerveaux" les plus modernes (ceux utilisés par ChatGPT, LLaMA ou Mistral). Ces cerveaux utilisent des fonctions mathématiques très sophistiquées (appelées SwiGLU ou GeGLU) pour décider de l'importance d'une information.

L'analogie : Imaginez que vous essayez de mélanger de l'eau et de l'huile. Vous pouvez secouer le flacon, vous pouvez essayer de les combiner, mais à la fin, vous aurez toujours une couche d'eau et une couche d'huile.

Les chercheurs ont prouvé mathématiquement que pour ces IA modernes, la "connexion de secours" (l'eau) et le "calcul de l'IA" (l'huile) sont de natures tellement différentes qu'il est absolument impossible de les fusionner. Le saut n'est pas juste un gadget ; c'est une pièce structurelle qui change la nature même de ce que l'IA peut comprendre. Sans ce saut, l'IA devient une créature totalement différente, incapable de reproduire les mêmes raisonnements.

2. Le cas du "LEGO" (ReLU et GELU)

Il existe d'autres types de cerveaux un peu plus simples (comme ReLU), qui sont un peu comme des blocs de LEGO. Pour ces modèles, la réponse est plus nuancée : "C'est possible, mais c'est un miracle."

L'analogie : Imaginez que vous avez des milliers de pièces de LEGO. Il existe une combinaison extrêmement précise, presque impossible à trouver par hasard, où vous pourriez assembler les pièces de manière à ce que le résultat final ressemble exactement à un objet qui avait une "connexion de secours".

Mais si vous lancez les pièces au hasard sur la table (ce qui correspond à l'entraînement d'une IA), la probabilité que vous tombiez sur cette combinaison magique est de zéro.

Conclusion pour ces modèles : Bien que la fusion soit théoriquement possible dans des cas très particuliers, dans la réalité, une IA avec des sauts est "plus puissante" ou "différente" d'une IA sans sauts.

Ce qu'il faut retenir (Le résumé pour le café)

Si vous voulez construire une IA ultra-performante, vous ne pouvez pas vous contenter de lui donner des couches de calcul classiques.

Les chercheurs ont prouvé que les "Skip Connections" (les sauts) ne sont pas une simple astuce de confort pour l'entraînement. Elles créent une nouvelle catégorie de fonctions mathématiques. C'est comme la différence entre un escalier (où chaque marche est une étape) et un ascenseur (qui vous propulse directement). Vous ne pouvez pas transformer un ascenseur en escalier simplement en changeant la forme des marches.

En résumé : Le "saut" est l'ingrédient secret qui rend les IA modernes capables de comprendre le monde, et on ne peut pas le remplacer par une simple couche de calcul standard.

Résumé Technique : Un MLP peut-il absorber sa propre connexion de saut (skip connection) ?

1. Problématique

L'article s'attaque à une question fondamentale de la théorie de l'apprentissage profond : les connexions de saut (skip connections) modifient-elles réellement la capacité de représentation d'un réseau de neurones, ou ne sont-elles qu'une astuce de paramétrage facilitant l'optimisation ?

Plus précisément, les auteurs cherchent à savoir si un bloc MLP avec connexion de saut (de type $x + \text{MLP}(x)$ ) peut être réécrit de manière équivalente sous la forme d'un MLP sans saut (de type $\text{MLP}'(x)$ ) en conservant la même largeur (nombre de neurones dans la couche cachée). Si l'absorption est possible, la connexion de saut est redondante d'un point de vue représentationnel. Si elle est impossible, la connexion de saut permet d'accéder à une classe de fonctions mathématiquement distincte.

2. Méthodologie

Les auteurs utilisent une approche algébrique et géométrique rigoureuse, segmentée selon la nature des fonctions d'activation :

Réduction à l'identité : Ils démontrent d'abord que pour les architectures utilisant des matrices de mélange apprenables (comme les Hyper-Connections), si la matrice de saut est inversible, le problème se réduit mathématiquement au cas d'une connexion d'identité.
Analyse par parité : Pour les activations non bornées (ReLU, GELU), ils décomposent la fonction en une partie paire et une partie impaire. Ils exploitent le fait que pour ces fonctions, la partie impaire est exactement $z/2$ .
Arguments de degré et de linéarisation : Pour les activations modernes (gated activations), ils utilisent des arguments de degré d'homogénéité et des développements de Taylor au voisinage de l'origine pour prouver l'impossibilité de l'absorption.
Théorie des fonctions de crête (Ridge Functions) : Pour le cas du GELU, ils mobilisent des résultats de la théorie de l'indépendance des fonctions analytiques pour prouver l'unicité des directions des neurones.

3. Contributions Clés et Résultats

Les résultats sont classés en trois catégories selon les fonctions d'activation :

A. Impossibilité absolue (Activations modernes et homogènes)

L'absorption est mathématiquement impossible pour les fonctions d'activation utilisées dans les modèles de pointe actuels (LLaMA, Mistral, DeepSeek, Gemma) :

Activations homogènes de degré $k \neq 1$ (ex: ReLU², ReGLU) : Un argument de degré montre qu'une somme d'une fonction linéaire et d'une fonction de degré $k$ ne peut jamais être réécrite comme une fonction pure de degré $k$ .
Activations à porte (Gated Activations, ex: SwiGLU, GeGLU) : Un argument de linéarisation montre que le produit de la porte et de la valeur produit un terme d'ordre supérieur à l'origine. La composante linéaire de la connexion de saut ne peut donc pas être compensée.
Extension à la profondeur : Ces impossibilités s'étendent aux compositions de $L$ couches : un réseau profond avec connexions de saut ne peut pas être répliqué par un réseau sans saut de même largeur.

B. Absorption conditionnelle (ReLU et GELU non-gated)

Pour les activations classiques non-gated, l'absorption est possible mais extrêmement rare. Les auteurs établissent une condition nécessaire et suffisante :

Condition de sous-matrice : L'absorption est possible si et seulement s'il existe un ensemble d'indices $S$ (représentant un sous-ensemble de neurones) tel que la relation suivante soit vérifiée :
$W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$
Cela signifie qu'une partie des neurones doit être configurée de manière très spécifique pour "annuler" l'identité et la réinjecter dans la structure non linéaire.

C. Disjonction générique des classes de fonctions

C'est l'un des résultats les plus puissants de l'article :

Théorème de mesure nulle : Pour les activations ReLU et GELU, la condition de sous-matrice mentionnée ci-dessus n'est satisfaite que pour un ensemble de paramètres de mesure de Lebesgue nulle.
Conclusion : De manière générique (pour presque tous les poids possibles), les réseaux avec connexions de saut et les réseaux sans saut constituent des classes de fonctions disjointes.

4. Signification et Implications

Ce travail apporte une clarification théorique majeure sur l'architecture des Transformers :

Valeur ajoutée des Skip Connections : Contrairement à l'idée reçue selon laquelle elles ne serviraient qu'à faciliter le gradient (optimisation), les connexions de saut augmentent la puissance expressive du modèle. Elles permettent d'exprimer des fonctions qu'un MLP standard de même largeur ne pourrait jamais atteindre.
Limites de la compression : Toute tentative de compresser un modèle de type "ResNet" (avec sauts) en un modèle "Feedforward" pur (sans sauts) sans augmenter la largeur du réseau entraînera nécessairement une perte d'information ou une erreur d'approximation.
Ouverture de recherche : L'article laisse ouverte la question de savoir si cette disjonction persiste pour les compositions profondes de blocs ReLU/GELU, ouvrant une voie pour des études futures sur la complexité de la représentation dans les réseaux très profonds.