🤖 machine learning

Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression

Cet article démontre que la régression symbolique à profondeur fixe peut découvrir efficacement des règles de mise à jour de poids de réseaux de neurones compactes et performantes qui surpassent de manière significative les optimiseurs standards conçus à la main sur des bancs d'essai à petite échelle, suggérant une approche légère et prometteuse pour la découverte automatisée d'optimiseurs.

Auteurs originaux : Charles Brum, Edward Finkelstein

Publié 2026-07-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Charles Brum, Edward Finkelstein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à peindre un tableau, mais le robot est maladroit et ne cesse de tâcher la toile. Pour corriger cela, vous avez besoin d'un ensemble d'instructions — une recette — qui lui dit exactement comment ajuster ses coups de pinceau pour se rapprocher du chef-d'œuvre. Dans le monde de l'intelligence artificielle, ces instructions sont appelées « règles de mise à jour des poids » (weight-update rules). Ce sont les étapes mathématiques qu'un ordinateur suit pour apprendre de ses erreurs. Pendant des décennies, des scientifiques ont élaboré ces recettes à la main, en y mélangeant des ingrédients comme le « momentum » (pour maintenir le robot dans une bonne direction) ou des « taux adaptatifs » (pour ralentir quand les choses deviennent délicates). Mais voici la grande question : nous manque-t-il une meilleure recette ? Et s'il existait une façon secrète et super efficace d'enseigner au robot que l'aucun humain n'a encore pensé à écrire ? C'est le terrain de jeu de la « régression symbolique », une technique qui agit comme un alchimiste numérique, cherchant à travers d'innombrables combinaisons de symboles mathématiques pour trouver la formule parfaite pour l'apprentissage.

Dans cet article, deux chercheurs ont décidé de laisser un ordinateur cuisiner. Au lieu de deviner quels ingrédients font les meilleurs optimiseurs, ils ont utilisé une méthode appelée régression symbolique pour traquer de nouvelles règles de mise à jour des poids. Considérez cela comme un algorithme génétique qui fait se reproduire des millions d'expressions mathématiques différentes, testant chacune d'elles pour voir si elle aide un petit réseau de neurones à apprendre une tâche plus rapidement et plus précisément que les meilleures règles conçues par l'homme. Ils n'ont pas seulement ajusté les recettes existantes ; ils ont laissé l'ordinateur en inventer de toutes nouvelles en utilisant une boîte à outils d'opérations mathématiques courantes (comme l'addition, la multiplication ou la racine carrée) et des ingrédients standards comme les gradients et le momentum.

Les résultats étaient étonnamment savoureux. Sur 30 défis d'apprentissage différents, les règles découvertes par l'ordinateur ont battu les meilleurs optimiseurs réglés par l'homme dans 25 cas. Lorsque l'ordinateur trouvait un gagnant, il réduisait l'erreur moyenne (mesurée par l'erreur quadratique moyenne) de 44,47 % en moyenne par rapport aux méthodes standard. Cependant, l'article précise avec prudence que ces expériences ont été menées sur de petits réseaux simples et seulement pendant 10 époques (un seul cycle d'entraînement). Les auteurs suggèrent que, bien que ces nouvelles règles soient compactes et efficaces pour ces tâches spécifiques, nous ne savons pas encore si elles résisteront au monde réel, complexe et désordonné du deep learning massif.

Les règles découvertes n'avaient pas toutes le même aspect. Certaines étaient simples, tandis que d'autres étaient des mélanges sauvages de fonctions trigonométriques, exponentielles et rationnelles. Pourtant, beaucoup partageaient un esprit commun : elles combinaient le momentum (comme une balle qui prend de la vitesse en roulant) avec une normalisation adaptative (ajustant la taille du pas en fonction des performances passées). Les chercheurs ont constaté que l'ordinateur pouvait tomber sur ces formules efficaces et interprétables sans qu'on lui dise explicitement de le faire. Cela suggère que l'espace du « comment apprendre » est vaste et rempli de joyaux cachés que l'intuition humaine pourrait négliger. Mais avant de jeter nos vieux livres de cuisine, les auteurs avertissent que ces découvertes sont un début prometteur, et non une victoire finale. Les règles doivent être testées sur des réseaux plus grands et des sessions d'entraînement plus longues pour voir si elles sont véritablement l'avenir de l'apprentissage de l'IA ou simplement un tour de passe-passe habile pour de petits puzzles.

Résumé technique : Recherche dans l'espace des règles de mise à jour des poids de réseaux de neurones à propagation avant par régression symbolique à profondeur fixe

Énoncé du problème

L'entraînement des réseaux de neurones à propagation avant repose sur des règles de mise à jour des poids (optimiseurs) pour minimiser les fonctions d'erreur. Bien que les optimiseurs standards tels que SGD, Momentum, Adam et AdaGrad soient largement utilisés, ils sont souvent conçus de manière heuristique. Les auteurs étudient si la régression symbolique peut découvrir algorithmiquement des règles de mise à jour des poids explicites et compactes qui surpassent empiriquement ces optimiseurs conçus à la main et ajustés par hyperparamètres sur des benchmarks de régression symbolique à petite échelle, sans augmenter de manière significative la complexité computationnelle.

Méthodologie

Espace de recherche et représentation

L'étude utilise la régression symbolique pour rechercher des règles de mise à jour des poids représentées sous forme d'arbres d'expressions à profondeur fixe.

Opérateurs : L'espace de recherche comprend un ensemble fixe d'opérateurs unaires (ex. : ln, exp, sin, tanh, sqrt), d'opérateurs binaires (+, -, *, /, ^) et d'hyperparamètres spécifiques (η, θ, ϵ, γ, β1, β2).
Opérandes : Les nœuds feuilles des arbres d'expression sont dérivés de quantités communes dans les optimiseurs existants. Ceux-ci incluent les poids actuels, les gradients, les termes de vélocité, les moyennes mobiles de gradients (premiers et seconds moments) et les gradients carrés accumulés. Les opérandes sont définies pour refléter la mécanique de Heavy-Ball, Nesterov, AdaGrad, RMSProp, Adadelta, Adam et AdamW.
Contrainte : Toutes les règles générées sont contraintes à une profondeur d'arbre d'expression fixe de 5.

Configuration expérimentale

Benchmarks : L'évaluation utilise 10 fonctions de benchmark de régression symbolique (5 de Hemberg et al. et 5 de Feynman et al.) avec des profondeurs d'arbres d'expression et des complexités variables.
Architectures : Trois architectures distinctes de réseaux de neurones à propagation avant entièrement connectés sont testées pour chaque benchmark, variant le nombre de couches et l'utilisation de fonctions d'activation sigmoïde vs linéaire. Cela donne lieu à 30 combinaisons uniques de benchmark/réseau.
Comparaison avec les bases de référence : Avant la régression symbolique, une recherche par grille est effectuée sur les hyperparamètres des optimiseurs établis (Gradient Descent, Heavy-Ball, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdamW) pour établir la meilleure performance de base pour chaque combinaison.
Processus évolutif : Un algorithme de programmation génétique (GP) fait évoluer des populations de règles de mise à jour candidates.
- Population : Taille maximale de 100 candidats par thread.
- Évaluation : Les candidats sont évalués en entraînant un réseau de neurones initialisé aléatoirement pendant exactement 10 époques en utilisant la règle candidate. La métrique de fitness est l'erreur quadratique moyenne (MSE).
- Ensemencement (Seeding) : Des expériences ultérieures tentent d'ensemencer les populations avec des règles découvertes dans des benchmarks précédents, bien qu'elles reviennent à des populations aléatoires si l'ensemencement ne produit pas de résultats compétitifs.
- Terminaison : Les exécutions s'arrêtent si les améliorations deviennent négligeables ou si 100 expressions surpassent la base de référence.

Contributions clés

Découverte empirique d'optimiseurs : L'article démontre que la régression symbolique peut découvrir des règles de mise à jour des poids explicites qui surpassent les meilleurs optimiseurs standards ajustés par hyperparamètres.
Compacité et interprétabilité : Les règles découvertes sont structurellement compactes (profondeur fixe) et interprétables, combinant souvent des motifs reconnaissables tels que la normalisation adaptative, des termes de type momentum et des transformations non linéaires, bien qu'elles ne soient pas explicitement contraintes à ces formes.
Exploration de l'espace de recherche : Ce travail explore un vaste espace d'équations (estimé à $\approx 1,71 \times 10^{65}$ règles uniques pour la profondeur donnée) pour trouver des dynamiques efficaces, révélant que de multiples expressions algébriquement distinctes peuvent atteindre des performances comparables.

Résultats

Taux de succès : Dans 25 des 30 combinaisons benchmark/réseau de neurones, la procédure de régression symbolique a découvert une règle de mise à jour qui surpasse le meilleur optimiseur établi et ajusté par hyperparamètres.
Gain de performance : Dans les 25 cas améliorés, la réduction globale de l'erreur quadratique moyenne (MSE) est de 44,47 %.
Cas d'échec : Les 5 cas où la régression symbolique n'a pas trouvé de règle supérieure étaient concentrés dans la plus grande architecture de réseau de neurones (Neural Network 3), suggérant que les règles découvertes peuvent devenir moins compétitives à mesure que la complexité du modèle augmente.
Diversité structurelle : Les meilleures règles découvertes ne convergeaient pas vers une forme symbolique unique. Cependant, quatre « signatures d'expressions canoniques » sont réapparues dans plusieurs benchmarks, incorporant toutes des statistiques de gradients accumulés. De nombreuses règles utilisaient des non-linéarités (trigonométriques, hyperboliques, exponentielles) et des expressions rationnelles impliquant des moyennes mobiles.

Signification et limites

Les auteurs présentent ce travail comme une étude préliminaire plutôt que comme un benchmark définitif pour les optimiseurs de deep learning.

Signification : Les résultats suggèrent que la régression symbolique sert de mécanisme léger pour découvrir des variantes d'optimiseurs compactes, explicites et performantes. Cela souligne que les dynamiques d'optimisation efficaces peuvent admettre des représentations symboliques de faible complexité, même lorsque leurs formes fonctionnelles varient considérablement selon les tâches.
Limites : L'étude est restreinte à de petits réseaux de neurones entraînés pendant seulement 10 époques sur des tâches de régression symbolique, et non sur de grands ensembles de données d'apprentissage automatique ou des tâches de classification. La recherche est stochastique, et les règles découvertes manquent de garanties théoriques de convergence.
Perspectives : L'article conclut qu'une validation supplémentaire est nécessaire sur des architectures plus grandes, des horizons d'entraînement plus longs et des benchmarks de deep learning standards. Les travaux futurs devraient également inclure des pénalités de complexité, des contraintes de stabilité et une simplification algébrique post-hoc pour garantir que les optimiseurs découverts soient à la fois performants et analysables.