🤖 machine learning

Fractional Optimizers Meet Fractal Activation Functions: An Empirical Study of Multi-Scale Optimization in Neural Network

Cette étude empirique étudie l'interaction entre les optimiseurs fractionnaires et les fonctions d'activation fractales, révélant que si aucun des deux ne sert de remplacement universel, certains appariements spécifiques — tels que la mise à l'échelle fractionnaire de type régularisation avec des activations fractales sélectionnées — offrent des améliorations prometteuses pour l'entraînement des réseaux de neurones.

Auteurs originaux : Sebastian Raubitzek, Georg Goldenits, Sebastian Schrittwieser, Philip König, Kevin Mallinger

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sebastian Raubitzek, Georg Goldenits, Sebastian Schrittwieser, Philip König, Kevin Mallinger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les ordinateurs apprennent en ajustant leurs paramètres internes pour minimiser les erreurs, un processus piloté par des outils mathématiques appelés optimiseurs. Ces outils agissent comme un randonneur tentant de trouver le point le plus bas dans une vaste vallée brumeuse, faisant des pas basés sur la pente du sol sous ses pieds. Pendant des décades, l'approche standard a consisté à ne regarder que la pente immédiate, ignorant ce qui s'est passé un instant auparavant. Cependant, la nature est rarement aussi simple. De nombreux motifs naturels, du bord découpé d'un littoral au rythme fluctuant d'un battement de cœur, possèdent une complexité rugueuse et auto-similaire qui se répète à chaque échelle. Les mathématiciens appellent cela la géométrie fractale. Récemment, des chercheurs ont commencé à se demander si ces deux idées — les motifs rugueux et multi-échelles et les outils mathématiques utilisés pour les mesurer — pourraient être combinées pour aider les ordinateurs à mieux apprendre. Plus précisément, ils se sont demandé si l'utilisation de fonctions d'activation « fractales », qui injectent cette structure complexe et rugueuse dans le réseau neuronal, fonctionnerait mieux lorsqu'elles seraient associées à des optimiseurs « fractionnaires », qui sont conçus pour se souvenir des étapes passées sur une histoire plus longue plutôt que de simplement réagir au présent.

Une équipe de chercheurs s'est donné pour mission de tester cette idée en construisant un cadre expérimental unifié afin de voir comment ces deux concepts interagissent. Ils n'ont pas simplement deviné ; ils ont construit un test rigoureux impliquant deux étapes distinctes. Premièrement, ils ont créé des paysages bidimensionnels contrôlés qui imitaient la rugosité de la géométrie fractale. Certains de ces paysages étaient lisses et prévisibles, tandis que d'autres étaient délibérément brouillés avec des couches de petites oscillations répétitives pour simuler la complexité des données du monde réel. Ils ont envoyé vingt et un types de méthodes d'optimisation à travers ces surfaces pour voir lesquelles trouvaient les points les plus bas de la manière la plus fiable. Dans la seconde étape, ils sont passés à un cadre plus réaliste, entraînant des réseaux neuronaux sur dix jeux de données publics utilisés pour des tâches de classification. Ils ont couplé ces réseaux avec quatre types spécifiques de fonctions d'activation fractales et les ont testés contre les mêmes vingt et un optimiseurs, effectuant chaque expérience quarante fois pour s'assurer que les résultats n'étaient pas de simples coups de chance.

Les résultats ont révélé une vérité surprenante sur la façon dont ces outils fonctionnent ensemble. Sur les paysages rugueux et contrôlés, les méthodes qui se souvenaient de leurs étapes passées ont performé exceptionnellement bien. Lorsque le terrain était rempli du genre de motifs persistants et répétitifs que créent les fractales, les optimiseurs qui regardaient leur historique pouvaient naviguer à travers le bruit et atteindre la cible plus efficacement que ceux qui ne regardaient que la pente immédiate. Cependant, l'histoire a radicalement changé lorsque les chercheurs sont passés aux expériences de réseaux neuronaux. Dans l'environnement chaotique de l'entraînement d'un modèle informatique réel, où les données sont traitées par petits lots bruités, les mêmes méthodes basées sur la mémoire ont souvent eu du mal. Le mécanisme même qui aidait sur les surfaces lisses et déterministes — regarder les étapes précédentes — avait tendance à amplifier le bruit aléatoire présent dans les données du monde réel, entraînant une instabilité ou une progression plus lente.

L'étude a révélé que l'approche la plus fructueuse ne consistait pas à appliquer aveuglément la mémoire ou les structures fractales partout, mais à trouver des appariements spécifiques et soigneux. Les chercheurs ont découvert qu'un type particulier d'optimiseur, qui ajuste la taille de l'étape d'apprentissage en se basant sur une règle mathématique sans stocker une longue histoire des gradients passés, s'est avéré être le plus robuste et le plus efficace sur presque tous les jeux de données. Cette méthode, lorsqu'elle est combinée à une fonction d'activation fractale spécifique qui ajoute une quantité modérée de rugosité au réseau, a produit de manière constante les meilleurs résultats. En revanche, les méthodes qui reposaient lourdement sur le stockage et la moyenne des gradients passés ont souvent mal performé dans l'environnement bruyant de l'entraînement des réseaux neuronaux, malgré leur succès sur les surfaces contrôlées.

En fin de compte, l'article démontre que si les fonctions d'activation fractales et les optimiseurs fractionnaires sont mathématiquement compatibles et peuvent être puissants lorsqu'ils sont correctement associés, ils ne constituent pas une solution universelle. Le bénéfice provient de la combinaison spécifique de la fonction d'activation, de la conception de l'optimiseur et de la nature des données. Les chercheurs ont montré que le simple fait d'ajouter des étiquettes « fractales » ou « fractionnaires » à une méthode ne garantit pas une meilleure performance ; en fait, l'utilisation indiscriminée de techniques basées sur la mémoire peut être préjudiciable dans les contextes bruités. Au lieu de cela, la voie la plus pratique consiste à traiter le choix de la fonction d'activation et de l'optimiseur comme une décision conjointe, en sélectionnant l'appariement spécifique qui convient au problème posé. L'étude conclut que pour la plupart des applications pratiques, une méthode qui ajuste les tailles d'étapes localement sans dépendre lourdement de l'historique passé offre le meilleur équilibre entre vitesse, stabilité et précision, prouvant que parfois, regarder en arrière est moins utile que de regarder vers l'avant avec les bons outils.

Résumé Technique : L'union des optimiseurs fractionnaires et des fonctions d'activation fractales

Énoncé du Problème

L'entraînement des réseaux de neurones se heurte souvent à des paysages de perte présentant des structures irrégulières et multi-échelles. Bien que la géométrie fractale offre un cadre mathématique pour décrire une telle rugosité, et que le calcul fractionnaire offre des outils pour analyser les comportements non locaux et les effets de mémoire, ces deux domaines se sont historiquement développés indépendamment au sein de la recherche sur les réseaux de neurones.

Des travaux antérieurs ont établi que les fonctions d'activation fractales (dérivées de séries de type Weierstrass et Blancmange) peuvent injecter des représentations non linéaires multi-échelles dans les réseaux, augmentant potentiellement l'expressivité. Séparément, des optimiseurs fractionnaires ont été proposés pour étendre la descente de gradient de premier ordre en incorporant des dérivées d'ordre non entier, ce qui introduit des effets de mémoire et des comportements non locaux. Cependant, l'interaction entre ces deux composants — spécifiquement, si les optimiseurs conçus avec des principes de mémoire fractionnaire sont bien adaptés pour entraîner des réseaux utilisant des activations fractales — reste inexplorée. De plus, l'efficacité des optimiseurs fractionnaires sur des paysages d'objectifs explicitement perturbés par des structures fractales n'a pas été évaluée de manière systématique.

Méthodologie

L'étude emploie un cadre expérimental en deux étapes pour étudier l'interaction entre les activations fractales et les optimiseurs fractionnaires.

1. Fondement Mathématique

Les auteurs établissent un lien théorique entre les fonctions de type Weierstrass et les dérivées fractionnaires. Ils démontrent que pour une fonction de type Weierstrass avec un exposant de rugosité $\gamma_H$ , les dérivées fractionnaires d'ordre $\nu < \gamma_H$ existent et projettent la fonction vers une autre fonction de type Weierstrass avec un exposant réduit. La formulation discrète de Grünwald–Letnikov (G-L) est identifiée comme le mécanisme de calcul qui discrétise ces dérivées, fournissant une somme historique pondérée avec des coefficients à décroissance algébrique. Ce noyau sert de base aux optimiseurs basés sur la mémoire, tandis que la série de Weierstrass tronquée sert de base aux activations fractales.

2. Conception Expérimentale

L'étude évalue 21 optimiseurs répartis en cinq groupes et quatre fonctions d'activation fractales (plus des références standards) sur deux tâches distinctes :

Tâche A : Optimisation de Surfaces Contrôlées
- Surfaces : Fonctions de référence Ackley et Himmelblau.
- Variantes : Formes standards et variantes additives perturbées par des séries de type Weierstrass ( $P_J$ ) pour introduire une rugosité multi-échelle contrôlée.
- Métriques : Perte finale, meilleure perte, taux de succès (atteinte des minima connus), distance aux minima et temps d'exécution.
- Configuration : 40 passages répétés par optimiseur par variante de surface.
Tâche B : Classification de Réseaux de Neurones
- Jeux de données : Dix jeux de données de classification publics issus d'OpenML (ex. Iris, Wine, Ionosphere, Vehicle Silhouettes).
- Architecture : Perceptrons Multicouches (MLP) à propagation avant (feed-forward).
- Activations : Quatre activations fractales sélectionnées (Blancmange modulée, Cosinus décroissant, Weierstrass–Tanh modifiée, Weierstrass–Mandelbrot $x+\sin$ ) ainsi que ReLU et Tanh.
- Configuration : 40 passages répétés par configuration (optimiseur $\times$ activation $\times$ ordre fractionnaire).

3. Familles d'Optimiseurs

Les 21 optimiseurs sont catégorisés comme suit :

Références Classiques : SGD, RMSprop, Adam, Adadelta.
Type Herrera (Mise à l'échelle locale) : Redimensionnent le gradient actuel en utilisant un facteur de loi de puissance inspiré de Caputo $f_\nu(g_t)$ sans stocker l'historique (ex. FSGD, FAdam).
Basés sur la Mémoire (Historique Explicite) : Remplacent le gradient actuel par un gradient G-L à historique fini $g^{(\nu)}_t$ , stabilisé par des garde-fous de descente et une mise en correspondance de norme (ex. MemoryFSGD, MemoryFAdam).
Mémoire Adaptative : Combinaison du gradient ordinaire et du gradient fractionnaire avec mise en correspondance de norme via un coefficient de mélange $\lambda_t$ borné, contrôlé par la stabilité et la perte (ex. AdaptiveMemoryFSGD).
Travaux Connexes : Inclut des méthodes telles que AdaGL, FCSGD_GL et des variantes de AOFGD.

Contributions Clés

Cadre Théorique Unifié : Le papier connecte explicitement l'analyse des dérivées fractionnaires des fonctions de type Weierstrass avec les constructions discrètes de G-L utilisées dans les optimiseurs, démontrant que les activations fractales et les optimiseurs fractionnaires sont deux réalisations du même mécanisme mathématique multi-échelle.
Nouveau Cadre Adaptatif : Introduction de la famille d'optimiseurs AdaptiveMemory. Ces méthodes maintiennent l'ordre fractionnaire $\nu$ fixe mais adaptent un coefficient de confiance $\lambda_t$ pour contrôler la contribution du terme de mémoire, permettant une réduction exacte vers l'optimiseur classique lorsque la mémoire est jugée peu fiable.
Comparaison Empirique Systématique : Une évaluation exhaustive de 21 optimiseurs sur des surfaces perturbées par des fractales et des tâches de classification de réseaux de neurones, fournissant une vue granulaire de la performance des différents mécanismes fractionnaires (mise à l'échelle locale vs mémoire explicite) sous diverses conditions.

Résultats

Expériences d'Optimisation de Surfaces

Dominance de la Famille d'Optimiseurs : La famille de base de l'optimiseur (SGD vs RMSprop/Adadelta) était le facteur dominant. Les méthodes de type SGD ont surpassé les autres sur Ackley et Himmelblau, quelles que soient les modifications fractionnaires.
Effet de la Perturbation Fractale :
- Sur Himmelblau, la perturbation fractale additive a réduit la fiabilité de toutes les méthodes mais a favorisé les méthodes à ordre adaptatif (AOFGD_Adam) et les variantes basées sur Adam.
- Sur Ackley, la perturbation a créé des régions de faible valeur locales que les variantes de SGD basées sur la mémoire et les perturbations stochastiques (ex. FCSGD_GL, MemoryFSGD) pouvaient exploiter, bien que les taux de succès globaux soient restés faibles en raison du plateau extérieur plat.
Mémoire vs Mise à l'échelle : Sur les surfaces contrôlées, la mémoire de gradient explicite (groupe basé sur la mémoire) s'est avérée fiable, particulièrement sur les paysages perturbés où des structures oscillatoires persistantes existaient.

Expériences de Classification de Réseaux de Neurones

Activations Fractales : Les activations fractales ont dominé les 15 meilleures configurations sur 8 des 10 jeux de données et ont fourni la meilleure configuration unique sur 6 jeux de données. Cependant, lorsqu'on fait la moyenne de toutes les configurations d'optimiseurs, les activations standards (ReLU, Tanh) surpassent souvent les fractales. La Weierstrass–Tanh modifiée (sous-critique) était l'activation fractale la plus constante, tandis que la variante de Weierstrass–Mandelbrot super-critique performait généralement mal.
Performance des Optimiseurs :
- Type Herrera (Mise à l'échelle locale) : Ces méthodes étaient les plus performantes globalement, obtenant la seule meilleure configuration sur 6 jeux de données et partageant la première place sur un 7ème. Elles offraient une haute performance avec un surcoût computationnel négligeable.
- Mémoire Explicite (Mémoire GL) : Ces méthodes ont mal performé en classification, se retrouvant souvent en dehors du top 15 et exhibant une variance élevée. Les auteurs attribuent cela à l'amplification du bruit d'échantillonnage lors de l'entraînement par mini-lots (minibatch), contrastant avec leur succès sur les surfaces déterministes.
- Mémoire Adaptative : Ce groupe a montré une meilleure robustesse que les méthodes de mémoire simple, se classant plus haut dans les moyennes de groupe et gagnant sur deux jeux de données (Climate-Model Simulation Crashes, Glass Identification).
Interaction : Les meilleurs résultats ont été obtenus grâce à des appariements spécifiques (ex. Weierstrass–Tanh modifiée avec des optimiseurs de type Herrera) plutôt que par l'application universelle de composants fractaux. Aucun ordre fractionnaire ( $\nu$ ) n'était universellement optimal ; les configurations gagnantes utilisaient $\nu \in \{0.75, 1.25, 1.50\}$ .

Signification et Revendications

Le papier affirme que les activations fractales et les optimiseurs fractionnaires sont des modifications mathématiquement compatibles de différentes parties du problème d'entraînement (représentation vs dynamique d'optimisation), mais que leur combinaison ne produit des bénéfices qu'à travers des appariements spécifiques et identifiables plutôt que comme des remplacements universels.

Mécanisme vs Classement : L'étude souligne une divergence critique : la mémoire de gradient explicite est bénéfique sur des paysages déterministes et multi-échelles (expériences de surface) mais devient un handicap dans l'entraînement stochastique par mini-lots (classification), où elle amplifie le bruit.
Conseils Pratiques : Les auteurs recommandent :
1. De sélectionner conjointement la fonction d'activation, la formulation de l'optimiseur et l'ordre fractionnaire.
2. D'utiliser la mise à l'échelle locale de type Herrera comme extension fractionnaire par défaut en raison de son coût négligeable et de sa limite classique exacte.
3. De traiter l'ordre fractionnaire comme un hyperparamètre discret à ajuster.
4. De réserver la mémoire de gradient explicite aux contextes à faible bruit avec des structures multi-échelles persistantes, ou de l'utiliser uniquement via un mélange adaptatif borné (le cadre $\lambda_t$ proposé).

L'étude conclut que bien que le cadre unifié fournisse une base reproductible pour des recherches futures, l'utilisation indiscriminée de la mémoire de gradient explicite n'est pas soutenue par les données, et que la "meilleure" méthode dépend fortement du jeu de données spécifique et de l'appariement activation-optimiseur.