🤖 machine learning

Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models

Ce papier présente PolyNeXt, une famille d'architectures de vision sans fonctions d'activation qui remplacent les non-linéarités standard par des alternatives polynomiales utilisant des produits de Hadamard au sein d'architectures de type MetaFormer, atteignant des performances de pointe dans les tâches de reconnaissance et de segmentation d'images tout en réduisant les coûts computationnels.

Auteurs originaux : Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeffrey Wang, Jonathan Gregory, Grigorios G. Chrysos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot super-intelligent capable d'examiner une image et de vous dire exactement ce qu'il voit. Pendant des années, les ingénieurs qui construisent ces robots se sont appuyés sur un ensemble spécifique de « interrupteurs magiques » appelés fonctions d'activation (comme ReLU ou GELU). Ces interrupteurs agissent comme des feux de circulation ou des portes ; ils décident quelles informations peuvent traverser le cerveau du robot et lesquelles sont bloquées. La norme de l'industrie a été que sans ces portes spécifiques, le robot ne peut pas apprendre de motifs complexes.

Ce papier, intitulé "Activation-Free Backbones for Image Recognition", remet en question cette croyance de longue date. Les auteurs, Jeffrey Wang et ses collègues, affirment : « En fait, vous n'avez pas besoin de ces feux de circulation spécifiques. Vous pouvez construire un robot plus intelligent et plus efficace en utilisant un type de mathématiques entièrement différent. »

Voici une explication simple de ce qu'ils ont fait et pourquoi cela compte, en utilisant des analogies du quotidien.

1. Le Problème : Le Goulot d'Étranglement des « Feux de Circulation »

Dans l'IA moderne, le cerveau du robot est composé de couches. Les informations circulent à travers ces couches, et à chaque étape, elles rencontrent un « feu de circulation » (une fonction d'activation) qui allume ou éteint le signal, ou en modifie la forme.

L'Ancienne Méthode : Le robot calcule un nombre, passe un feu de circulation, puis continue.
Le Problème : Les auteurs soutiennent que ces feux de circulation ne sont pas le seul moyen de créer de la complexité. En fait, ils peuvent être inefficaces et parfois faire obstacle.

2. La Solution : La « Recette » au Lieu de l'« Interrupteur »

Au lieu d'utiliser des feux de circulation, les auteurs les ont remplacés par des polynômes.

L'Analogie : Imaginez que vous préparez un gâteau.
- L'Ancienne Méthode (Activation) : Vous mélangez les ingrédients, puis vous vous arrêtez pour vérifier une règle spécifique (un feu de circulation) afin de voir si vous devez ajouter plus de sucre.
- La Nouvelle Méthode (Polynômes) : Vous mélangez simplement les ingrédients ensemble selon une recette mathématique spécifique. La complexité provient de la manière dont vous les mélangez, et non du fait de s'arrêter pour vérifier une règle.

Plus précisément, ils ont remplacé les étapes de « arrêt et vérification » par des produits de Hadamard.

Qu'est-ce que c'est ? Imaginez que vous avez deux listes de nombres. Au lieu de les additionner, vous les multipliez ensemble, élément par élément.
La Magie : Lorsque vous multipliez deux listes de nombres, vous créez automatiquement une relation complexe et courbe (un polynôme) sans avoir besoin d'aucun interrupteur spécial de « feu de circulation ». C'est comme mélanger de la peinture rouge et bleue pour créer du violet naturellement, sans avoir besoin d'un « interrupteur violet ».

3. Les Trois Nouveaux Outils

L'équipe a construit trois nouveaux outils pour remplacer les anciens dans le cerveau du robot :

PolyMLP : Remplace la couche « feedforward » standard (la partie qui traite les informations). Au lieu d'une porte, elle multiplie deux flux de données ensemble.
PolyConv : Remplace la couche de « convolution » (la partie qui cherche des formes comme des bords ou des textures). Elle mélange différentes vues de l'image en utilisant la multiplication.
PolyAttn : Remplace le mécanisme d'« attention » (la partie qui décide quelles parties de l'image sont importantes). Au lieu d'utiliser une fonction mathématique exponentielle complexe (comme une colline raide), elle utilise une courbe polynomiale lisse.

4. Le Défi : L'« Effet Boule de Neige »

Il y avait un gros problème avec cette nouvelle approche.

L'Analogie : Si vous multipliez deux grands nombres, vous obtenez un nombre énorme. Si vous le faites à nouveau dans la couche suivante, vous obtenez un nombre colossal. Si vous continuez cela pendant 100 couches, les nombres deviennent si grands qu'ils explosent (comme une boule de neige qui dévale une colline et devient trop lourde à contrôler). Cela a provoqué l'échec de l'entraînement du robot.

La Correction : Les auteurs ont inventé une « recette de stabilisation » pour empêcher la boule de neige d'exploser :

Sigmoid-Scale : Ils ont ajouté un tout petit « variateur » qui baisse automatiquement le volume si les nombres deviennent trop forts.
Sauts Multi-Entrées : Ils ont construit des « routes de contournement » qui permettent aux informations de deux étapes auparavant de sauter une couche, garantissant que le signal ne se perd pas ni ne se déforme.
Profond et Étroit : Ils ont découvert qu'il était préférable de rendre le cerveau du robot très profond (beaucoup de couches) mais étroit (moins large) que la conception habituelle large et peu profonde.

5. Les Résultats : Plus Rapide, Plus Fort et Plus Robuste

Ils ont testé leurs nouveaux robots « PolyNeXt » sur un ensemble de données massif d'images (ImageNet).

Performance : Leurs robots polynomiaux ont performé aussi bien, voire mieux, que les meilleurs robots utilisant les anciens interrupteurs de « feux de circulation ».
Efficacité : Ils ont obtenu ces résultats avec moins de paramètres (moins de matière cérébrale) et moins de puissance de calcul.
Robustesse : Lorsqu'ils ont montré aux robots des images floues, bruyantes ou étrangement dessinées (données hors distribution), les robots polynomiaux ont été étonnamment meilleurs pour deviner correctement que les anciens.
Potentiel de Confidentialité : Parce qu'ils ont supprimé les étapes mathématiques complexes d'« exponentielle » et de division, ces robots sont beaucoup plus proches d'être compatibles avec le Chiffrement Homomorphe Complet (FHE).
- Qu'est-ce que le FHE ? C'est une façon de faire des mathématiques sur des données chiffrées sans jamais les déchiffrer. C'est énorme pour la confidentialité. Les anciens interrupteurs de « feux de circulation » étaient difficiles à utiliser avec le chiffrement ; ces nouveaux interrupteurs polynomiaux lui sont beaucoup plus sympathiques.

6. La Conclusion

Le papier prouve que les fonctions d'activation ne sont pas une nécessité fondamentale pour construire une IA puissante de reconnaissance d'images. Elles ne sont qu'une solution à un problème d'ingénierie. En passant aux mathématiques polynomiales (multiplication au lieu de commutation) et en ajoutant quelques mécanismes de sécurité pour maintenir la stabilité des mathématiques, les auteurs ont créé une nouvelle famille de modèles d'IA qui sont :

Tout aussi intelligents (ou plus intelligents) que les modèles actuels.
Plus efficaces (moins chers à exécuter).
Plus robustes (meilleurs pour gérer des images étranges).
Plus respectueux de la vie privée (plus faciles à chiffrer).

En bref : Ils ont retiré les « feux de circulation » du cerveau du robot, les ont remplacés par une recette de mélange astucieuse, et ont découvert que le robot conduisait en fait mieux.

Résumé technique : Épine dorsales sans activation pour la reconnaissance d'images

Énoncé du problème

Les architectures de vision modernes, y compris les épine dorsales de style MetaFormer, reposent fortement sur des fonctions d'activation ponctuelles (par exemple, ReLU, GELU, SiLU) et des opérations exponentielles au sein de l'attention softmax pour introduire de la non-linéarité. Bien que ces composants permettent aux réseaux de neurones d'approximer des fonctions complexes, ils ne sont pas la seule source de non-linéarité. L'article postule que ces activations ne sont pas strictement nécessaires pour obtenir des performances compétitives. De plus, la dépendance à l'égard d'opérations non polynomiales (telles que les exponentielles et les activations ponctuelles) crée une surcharge significative pour le chiffrement homomorphe complet (FHE), un paradigme de calcul préservant la vie privée où les réseaux standards encourent des coûts substantiels en raison de leur nature non polynomiale. Les réseaux polynomiaux existants (par exemple, MONet, DTTN) ont démontré leur potentiel mais nécessitent souvent des architectures personnalisées et étroitement couplées qui limitent leur utilité pratique et ne parviennent pas à égaler les performances des contreparties basées sur des activations à des coûts de calcul comparables.

Méthodologie

Les auteurs proposent un cadre pour remplacer les non-linéarités standards par des alternatives polynomiales tout en préservant les interfaces entrée-sortie des épine dorsales modulaires de vision existantes. Cette approche permet l'intégration de modules polynomiaux dans des cadres établis comme MetaFormer sans redessiner l'architecture entière.

Primitives de base

L'article introduit trois modules sans activation qui remplacent les non-linéarités standards par des produits de Hadamard (multiplication élément par élément) de projections linéaires apprises :

PolyMLP (Mélange de canaux) : Remplace l'activation ponctuelle dans les réseaux feed-forward par le produit de Hadamard de deux projections linéaires parallèles : $PolyMLP(x) = W_o ((W_a x) * (W_b x))$ . Cela génère un polynôme de deuxième degré par rapport aux caractéristiques d'entrée.
PolyConv (Mélange spatial) : Remplace l'activation dans les convolutions séparables en fusionnant des branches convolutionnelles parallèles avec des champs récepteurs différents via une multiplication élément par élément. Plus précisément, il combine une branche « grossière » (convolution profonde dilatée) et une branche « fine » (convolution profonde standard), appliquant un retournement de canal à l'une des branches avant la fusion pour décorréler les caractéristiques.
PolyAttn (Mélange spatial global) : Remplace la fonction exponentielle dans l'attention softmax par un noyau polynomial : $A = (s \cdot QK^\top + 1)^p$ , suivi d'une normalisation $\ell_1$ . Cela crée un mécanisme d'attention sans activation qui reste compatible avec des variantes structurelles comme l'attention par fenêtre.

Techniques de stabilisation

Les auteurs identifient que les produits de Hadamard peuvent amplifier les grandes valeurs, entraînant une instabilité de l'entraînement dans les réseaux profonds. Pour permettre un entraînement stable de réseaux jusqu'à environ 200 couches, ils introduisent :

Sigmoid-Scale : Un scalaire apprenable borné par une fonction sigmoïde ( $\sigma(\lambda)$ ) qui met à l'échelle les contributions résiduelles ( $y = x + \sigma(\lambda)f(x)$ ), empêchant une croissance illimitée.
Connexions résiduelles multi-entrées : Inspiré de NASNet, chaque cellule reçoit des entrées des deux cellules précédentes ( $x_{t-1}$ et $x_{t-2}$ ), améliorant le flux de gradient.
Conception profondeur-sur-largeur : Les auteurs préconisent d'empiler des couches plus étroites plus profondément plutôt que d'utiliser des configurations plus larges et plus peu profondes. Cette conception exploite le fait que le degré polynomial croît exponentiellement avec la profondeur ( $2^L$ pour une profondeur $L$ ), maximisant la capacité de représentation sans augmentation linéaire des paramètres.

Architecture : PolyNeXt

Ces modules sont instanciés au sein d'une architecture hiérarchique à quatre étapes de style MetaFormer. Deux variantes sont proposées :

CPolyNeXt : Utilise PolyConv pour le mélange spatial dans toutes les étapes.
APolyNeXt : Une conception hybride utilisant PolyConv dans les étapes haute résolution et PolyAttn dans les étapes basse résolution.

Résultats clés

Les modèles ont été évalués sur la classification ImageNet-1K, la robustesse hors distribution (OOD) et la segmentation sémantique ADE20K.

Classification ImageNet-1K : Les modèles PolyNeXt égalent ou dépassent les instanciations de MetaFormer basées sur des activations (ConvFormer, CAFormer) à toutes les échelles de modèles (de Tiny à Large). Par exemple, CPolyNeXt-S (26M de paramètres) atteint 83,9 % de précision Top-1, surpassant ConvFormer-S18 (83,0 %) et les réseaux polynomiaux antérieurs comme DTTN-S (79,4 %) avec des marges significatives (2 à 3 points de pourcentage) et un coût de calcul inférieur.
Robustesse : Les épine dorsales polynomiales démontrent une robustesse supérieure sur ImageNet-C (corruptions), ImageNet-A (adversaires), ImageNet-R (représentations) et ImageNet-Sketch. CPolyNeXt-B (40M de paramètres) dépasse ConvFormer-B36 (100M de paramètres) sur plusieurs benchmarks OOD.
Prédiction dense : Sur la segmentation sémantique ADE20K, CPolyNeXt-S surpasse à la fois ConvFormer-S18 et CAFormer-S18 de +2,0 et +1,7 mIoU respectivement à nombre de paramètres égal.
Variantes entièrement polynomiales : En remplaçant LayerNorm par un BatchNorm compatible polynomial (utilisant des statistiques en cours d'exécution pour éviter la division), les auteurs ont créé des modèles entièrement polynomiaux. CPolyNeXt-S (BN) atteint 82,7 % sur ImageNet, soit une amélioration de 5,0 points par rapport au meilleur modèle entièrement polynomial antérieur (MONet-T BN) et dépassant le ConvNeXt-T basé sur des activations (82,1 %).

Insights des ablations

Les activations sont préjudiciables : La réintroduction d'activations (par exemple, GELU) dans les modules polynomiaux dégrade systématiquement les performances. Les auteurs attribuent cela à la perturbation du « couplage de gradient mutuel » inhérent au produit de Hadamard, où le gradient de chaque branche est mis à l'échelle par la sortie de l'autre.
La stabilisation est critique : La suppression de Sigmoid-Scale ou des connexions résiduelles multi-entrées entraîne des baisses de performances significatives ou un effondrement de l'entraînement.
Sensibilité de la recette : Les gains de performance sont attribués à la conception des modules et aux techniques de stabilisation plutôt qu'à une recette d'entraînement unique, car les modules se transfèrent bien lorsqu'ils sont échangés dans d'autres architectures.

Importance et revendications

L'article revendique que les fonctions d'activation ne sont pas une nécessité représentationnelle pour les épine dorsales de vision modernes, mais plutôt une solution aux défis d'optimisation. En abordant la stabilité de l'entraînement par des mécanismes spécifiques (Sigmoid-Scale, profondeur-sur-largeur), les interactions polynomiales peuvent servir de sources efficaces de non-linéarité.

Les contributions principales sont :

Alternatives polynomiales : L'introduction de PolyMLP, PolyConv et PolyAttn, qui remplacent les non-linéarités standards par des produits de Hadamard tout en maintenant la compatibilité avec les améliorations architecturales.
Preuves empiriques : La démonstration que les épine dorsales sans activation (PolyNeXt) peuvent égaler ou dépasser les contreparties basées sur des activations en termes de précision et de robustesse à toutes les échelles.
Recette de stabilisation : Un ensemble léger de techniques permettant l'entraînement de réseaux polynomiaux profonds (jusqu'à 200 couches).
Progrès FHE : Une avancée vers une inférence compatible avec le chiffrement homomorphe complet en supprimant les opérations non polynomiales, incluant une variante entièrement polynomiale qui surpasse les réseaux polynomiaux entièrement polynomiaux antérieurs et approche les bases basées sur des activations.

Les auteurs concluent que, bien que leur travail n'implique pas de bénéfices immédiats en matière de sécurité ou d'équité, il ouvre une voie vers une inférence préservant la vie privée et suggère que le domaine devrait réévaluer la nécessité des fonctions d'activation traditionnelles dans les modèles de vision profonde.