🤖 machine learning

Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance

Cet article propose la famille d'activations Swish-T, qui améliore la fonction Swish existante en y ajoutant un biais Tanh pour optimiser les performances des réseaux de neurones sur divers jeux de données de référence.

Auteurs originaux : Youngmin Seo, Jinha Kim, Unsang Park

Publié 2026-04-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Youngmin Seo, Jinha Kim, Unsang Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Les "Moteurs" des Intelligences Artificielles

Imaginez que vous construisez une voiture de course très sophistiquée (une Intelligence Artificielle). Pour que cette voiture roule, elle a besoin d'un moteur. Dans le monde des réseaux de neurones, ce moteur s'appelle une fonction d'activation. C'est elle qui décide si un "neurone" doit s'activer (envoyer un signal) ou rester endormi.

Pendant longtemps, le moteur standard s'appelait ReLU. C'est un moteur simple et efficace, mais il a un défaut majeur : il est un peu "cassé". Si la voiture entre dans une zone de brouillard (des données négatives), le moteur s'éteint complètement et ne redémarre plus. On appelle ça le problème du "ReLU mort".

Ensuite, les ingénieurs ont inventé Swish. C'est un moteur plus fluide, plus intelligent. Il sait gérer les zones de brouillard sans s'éteindre. C'est excellent, mais les chercheurs se sont demandé : "Peut-on le rendre encore plus performant ?"

💡 La Solution : Swish-T (Le "Swish" avec un Turbo)

C'est là que les auteurs de ce papier (Youngmin Seo, Jinha Kim et Unsang Park) interviennent. Ils proposent une nouvelle famille de moteurs appelée Swish-T.

L'analogie du "Biais Tanh" :
Imaginez que le moteur Swish est un coureur très talentueux. Parfois, il a besoin d'un petit coup de pouce, d'une légère poussée dans le dos pour mieux gérer les virages difficiles (les valeurs négatives).

Les chercheurs ont ajouté ce "coup de pouce" en utilisant une fonction mathématique appelée Tanh (Tangente Hyperbolique).

Sans Swish-T : Le coureur avance, mais s'il rencontre un obstacle négatif, il ralentit un peu trop.
Avec Swish-T : On ajoute un petit "assistant" (le biais Tanh) qui dit au coureur : "Ne t'inquiète pas, même si c'est négatif, continue de courir doucement, je vais t'aider à garder le cap."

Ce petit assistant permet au moteur d'accepter plus facilement les valeurs négatives au début de l'entraînement, rendant la courbe de progression plus lisse et plus stable.

🛠️ La Famille Swish-T : Trois Modèles pour Trois Besoins

Comme une marque de voitures propose plusieurs modèles, les auteurs ont créé trois variantes de Swish-T :

Swish-T (Le modèle de base) : Il ajoute le "coup de pouce" (le biais Tanh) directement. C'est très puissant, mais un peu complexe à calculer.
Swish-TA (Le modèle "Rapide") : C'est une version simplifiée. On a retiré certains réglages compliqués pour que le moteur soit plus léger et plus rapide. C'est idéal si vous voulez que votre voiture accélère vite sans trop consommer de carburant (mémoire).
Swish-TB et Swish-TC (Les modèles "Intelligents") : Ce sont les versions les plus avancées.
- Swish-TC est le grand gagnant du papier. Il a un mécanisme spécial qui s'adapte automatiquement pour rester stable, même si les conditions de route (les données) changent radicalement. Il est comme un pilote de Formule 1 qui ajuste sa suspension en temps réel pour ne jamais perdre le contrôle.

🏁 Les Résultats sur la Piste (Les Expériences)

Les chercheurs ont testé ces nouveaux moteurs sur plusieurs circuits célèbres (des bases de données d'images comme CIFAR-10 ou MNIST, qui servent à entraîner les IA à reconnaître des chiffres ou des objets).

La performance : Sur presque tous les circuits, les voitures équipées de Swish-TC ont fini la course plus vite et avec une meilleure précision que les anciennes versions (ReLU, Swish classique, etc.).
La surprise : Ils ont découvert qu'ils pouvaient même "figer" certains réglages (ne pas les laisser apprendre pendant l'entraînement) et obtenir d'excellents résultats. C'est comme si vous régliez le moteur une fois pour toutes avant la course, et qu'il fonctionnait parfaitement sans avoir besoin d'être ajusté en temps réel. Cela rend le système plus rapide et moins gourmand en énergie.

🎯 En Résumé

Ce papier nous dit essentiellement :

"Le moteur Swish est déjà très bon, mais en lui ajoutant un petit 'assistant' mathématique (le biais Tanh), nous avons créé une famille de moteurs (Swish-T) qui sont plus robustes, plus stables et souvent plus performants. Le modèle Swish-TC est particulièrement recommandé car il offre le meilleur équilibre entre puissance et stabilité."

C'est une amélioration incrémentale mais significative, un peu comme passer d'une voiture de sport standard à une version "GT" avec une suspension active : la voiture va plus loin, plus vite, et moins souvent en panne.

1. Problématique

Les fonctions d'activation sont fondamentales pour introduire la non-linéarité dans les réseaux de neurones profonds. Bien que des fonctions comme ReLU aient résolu le problème de la disparition du gradient, elles souffrent du problème des "neurones morts" (dying ReLU), où les neurones deviennent inactifs pour une large gamme d'entrées négatives.

Des variantes comme Leaky ReLU ou PReLU tentent de résoudre cela mais introduisent des discontinuités dérivables à zéro. D'autres fonctions plus récentes et lisses, comme GELU, Swish et Mish, ont montré de meilleures performances grâce à leur nature non monotone et lisse. Cependant, l'article identifie un besoin d'améliorer encore davantage la capacité d'adaptation de ces fonctions, notamment en introduisant un contrôle plus fin du seuil d'activation et en permettant une meilleure acceptation des valeurs négatives lors des premières étapes de l'entraînement, sans sacrifier la stabilité de l'optimisation.

2. Méthodologie : La famille Swish-T

Les auteurs proposent la famille Swish-T, une amélioration de la fonction Swish classique ( $x \cdot \sigma(\beta x)$ ) par l'ajout d'un biais Tanh.

Concept Fondamental

L'idée centrale est d'intégrer directement un terme de biais paramétré dans la fonction d'activation elle-même, inspiré par le rôle crucial des biais dans les couches neuronales. La fonction de base est définie comme :
$f(x; \beta, \alpha) = x\sigma(\beta x) + \alpha \tanh(x)$
Où :

$\sigma$ est la fonction sigmoïde.
$\beta$ est un paramètre entraînable (initialement à 1.0).
$\alpha$ est un hyperparamètre de mise à l'échelle (initialement à 0.1).
Le terme $\alpha \tanh(x)$ agit comme un biais non linéaire, borné, centré en zéro, permettant d'accepter plus largement les valeurs négatives au début de l'entraînement.

Variantes de la Famille

Pour optimiser l'efficacité computationnelle, l'adaptabilité et la stabilité, trois variantes sont proposées :

Swish-TA : Une version simplifiée où les coefficients de $x$ sont unifiés à 1. Elle ne possède aucun paramètre entraînable (non-paramétrique), ce qui accélère le calcul tout en maintenant de bonnes performances.
$f_A(x) = \sigma(x)(x + 2\alpha) - \alpha$
Swish-TB : Réintroduit le paramètre entraînable $\beta$ dans la version simplifiée, permettant une adaptation dynamique du biais selon les caractéristiques de l'entrée.
$f_B(x) = \sigma(\beta x)(x + 2\alpha) - \alpha$
Swish-TC (La proposition principale) : Conçue pour assurer la symétrie lorsque $\beta$ change de signe. Elle offre un contrôle stable du biais et une convergence robuste.
$f_C(x) = \sigma(\beta x)\left(x + \frac{2\alpha}{\beta}\right) - \frac{\alpha}{\beta}$

Propriétés Mathématiques

Non-monotonie lisse : Comme Swish, la fonction conserve une courbe non monotone lisse, favorable à la propagation de l'information.
Gradients : Les auteurs dérivent les expressions analytiques des gradients pour la rétropropagation, montrant que Swish-TA est particulièrement efficace en termes de mémoire et de vitesse de calcul.
Comportement asymptotique : La fonction converge vers $\pm \alpha$ (ou $\pm \alpha/\beta$ pour TC) dans les régions négatives, évitant les explosions de gradient tout en maintenant une activité neuronale.

3. Contributions Clés

Introduction de la famille Swish-T : Une nouvelle classe de fonctions d'activation combinant Swish et un biais Tanh pour améliorer la flexibilité et la stabilité.
Diversité des variantes : Proposition de trois formes (TA, TB, TC) adaptées à différents compromis entre vitesse de calcul, adaptabilité et stabilité.
Validation Empirique Étendue : Tests exhaustifs sur plusieurs architectures (ResNet, ShuffleNet, SENet, EfficientNet, MobileNet, DenseNet) et jeux de données (MNIST, Fashion MNIST, SVHN, CIFAR-10, CIFAR-100).
Étude d'ablation sur les paramètres fixes : Démonstration que des variantes comme Swish-TC et Swish-TB peuvent être utilisées comme fonctions non-paramétriques (en fixant $\beta$ à une valeur optimale, ex: 6.0) tout en surpassant les fonctions paramétriques en termes de vitesse et de performance.

4. Résultats Expérimentaux

Les expériences ont été menées sur GPU NVIDIA 2080Ti avec PyTorch.

Performance sur CIFAR-10 et CIFAR-100 :
- La famille Swish-T surpasse systématiquement les fonctions de référence (ReLU, GELU, Swish, Mish, SMU).
- Swish-TC atteint les meilleures performances globales. Par exemple, sur CIFAR-10 avec ShuffleNetV2 (2.x), elle atteint 94.27% de précision (Top-1), surpassant ReLU de 2,34 %.
- Sur CIFAR-100, Swish-TC améliore la précision de 4,12 % par rapport à ReLU.
Efficacité Computationnelle :
- Bien que Swish-T (paramétrique) soit légèrement plus lent que Swish simple, Swish-TC et Swish-TB en mode non-paramétrique (avec $\beta$ fixé) offrent des temps d'entraînement comparables ou supérieurs à SMU et SMU-1, tout en maintenant une précision supérieure.
- L'utilisation de la version non-paramétrique élimine la mise à jour des gradients pour $\beta$ , réduisant l'empreinte mémoire et accélérant la convergence.
Robustesse : Les courbes d'apprentissage montrent une convergence plus stable et une meilleure gestion des pertes (loss) par rapport aux autres fonctions, en particulier dans les modèles profonds comme DenseNet-121.

5. Signification et Conclusion

Ce travail démontre que l'intégration d'un biais non linéaire (Tanh) directement dans la fonction d'activation est une stratégie efficace pour améliorer les réseaux de neurones profonds.

Avantages principaux : La famille Swish-T offre un meilleur équilibre entre la capacité à modéliser des motifs complexes (grâce à la non-monotonie) et la stabilité de l'entraînement (grâce au biais borné).
Flexibilité : La capacité à utiliser ces fonctions soit comme des modules paramétriques (pour une adaptation maximale) soit comme des fonctions fixes (pour une efficacité maximale) les rend très polyvalents.
Impact : Swish-TC se positionne comme une alternative supérieure aux fonctions d'activation standards actuelles, particulièrement pour les tâches de classification d'images où la précision et l'efficacité sont critiques.

En résumé, Swish-T représente une évolution significative de la fonction Swish, offrant une nouvelle voie pour optimiser les dynamiques d'apprentissage des réseaux de neurones modernes. Le code est disponible publiquement pour reproduction et adoption.