Résumé technique : Les réseaux de neurones rationnels présentent des avantages d'expressivité

Énoncé du problème

Les réseaux de neurones profonds reposent fortement sur le choix des fonctions d'activation non linéaires pour contrôler l'expressivité et la capacité d'apprentissage. Bien que les architectures modernes utilisent principalement des activations lisses et fixes (par exemple, GELU, Swish/SiLU, Mish, ELU/SELU/CELU) ou des fonctions linéaires par morceaux (par exemple, ReLU et ses variantes), ces choix imposent des limitations spécifiques sur la manière dont les réseaux peuvent approximer efficacement des fonctions présentant des transitions brusques, des cassures ou des singularités complexes proches. L'article examine si le remplacement de ces activations fixes par des activations rationnelles entraînables de bas degré offre un avantage théorique et pratique en termes d'efficacité des paramètres et de puissance expressive.

Méthodologie

Cadre théorique

Les auteurs établissent des séparations de théorie de l'approximation entre les réseaux rationnels et les réseaux construits à partir d'activations lisses ou linéaires par morceaux standards.

• Réseaux rationnels : Définis comme des réseaux de propagation avant (feedforward) où la non-linéarité scalaire à chaque couche est une fonction rationnelle $r(x) = P(x)/Q(x)$ avec des polynômes de bas degré $P$ et $Q$. Les coefficients sont appris pendant l'entraînement.
• Métriques d'approximation : L'expressivité est mesurée par le nombre de paramètres entraînables (taille du réseau) requis pour atteindre une erreur uniforme $\epsilon$ sur un domaine compact fixe (par exemple, $[-1, 1]^d$).
• Outils théoriques clés :
  • Théorie de l'approximation rationnelle : En s'appuyant sur les résultats classiques (par exemple, Trefethen, Gonchar) montrant que les fonctions rationnelles peuvent approximer des caractéristiques non lisses (comme $|x|$ ou ReLU) et des fonctions avec des singularités proches de manière exponentiellement plus efficace que les polynômes ou les substituts lisses.
  • Preuves constructives : L'article fournit des constructions explicites utilisant des fonctions de Zolotarev, des itérations de la moyenne arithmétique-géométrique (AGM) et la méthode de Halley pour approximer des activations lisses (comme GELU) à l'aide de réseaux rationnels.
  • Bornes inférieures : Prouver que l'approximation de cibles rationnelles spécifiques (notamment celles ayant des pôles proches de la droite réelle) à l'aide de réseaux lisses à paramètres limités nécessite nettement plus de paramètres en raison des contraintes de courbure.

Configuration expérimentale

Les auteurs évaluent les activations rationnelles dans trois domaines distincts, en gardant les architectures, les optimiseurs et les budgets d'entraînement fixes tout en faisant varier uniquement la fonction d'activation :

1. Vision supervisée : Classification d'images CIFAR-10 en utilisant des architectures VGG4 et VGG8, et classification Tiny ImageNet en utilisant des modèles basés sur les Transformers (ViT, CaiT, Swin).
2. Apprentissage par renforcement hors ligne (Offline RL) : Benchmarks de locomotion en contrôle continu (HalfCheetah, Hopper, Walker2d) en utilisant les jeux de données Minari medium et les algorithmes IQL et TD3+BC.
3. Analyse de la normalisation : Étude de l'interaction entre les activations rationnelles adaptatives et les couches de normalisation (BatchNorm, LayerNorm), en testant spécifiquement les variantes "sans-LayerNorm" dans les Transformers.

Contributions clés

1. Séparation exponentielle dans la complexité des paramètres :

   • Lisse $\to$ Rationnel : Tout réseau construit à partir d'activations lisses standards (GELU, Swish, SiLU, etc.) peut être approximé uniformément par un réseau rationnel avec un surcoût de taille de seulement $O(\text{poly}(\log \log(1/\epsilon)))$. Plus précisément, l'article prouve une borne de taille de $O(\log^3 \log(1/\epsilon))$ pour GELU.
   • Rationnel $\to$ Lisse : Inversement, approximer une famille de fonctions rationnelles extrêmes (avec des pôles proches du domaine) en utilisant des réseaux lisses à paramètres limités nécessite une taille d'au moins $\Omega(\log(1/\epsilon))$.
   • Résultat : Cela établit un écart exponentiel d'expressivité, où les réseaux rationnels peuvent atteindre la même précision avec nettement moins de paramètres que les réseaux à activations lisses dans les régimes impliquant des structures non lisses.

2. Extension aux architectures complexes :

   • Les résultats de séparation sont portés des fonctions scalaires aux réseaux complets de propagation avant, aux activations à porte (gated activations) et aux architectures de type Transformer (spécifiquement les sous-couches MLP).
   • L'article démontre que les réseaux rationnels peuvent approximer les modèles lisses à porte avec un faible surcoût, tandis que l'inverse nécessite un surcoût élevé.

3. Normalisation et identifiabilité :

   • Les auteurs formalisent le fait que les couches de normalisation standards peuvent être préjudiciables aux activations rationnelles adaptatives. La normalisation introduit des transformations affines apprises qui peuvent être absorbées par les coefficients rationnels, entraînant une non-identifiabilité et un mauvais conditionnement.
   • De plus, la stochasticité dépendante des données dans la normalisation (par exemple, BatchNorm) amplifie le bruit de gradient en raison des sensibilités polynomiales des coefficients rationnels.
   • Constat : Supprimer la normalisation (par exemple, les variantes "no-LayerNorm" des Transformers) permet aux rationnels adaptatifs de fonctionner comme des mécanismes de mise à l'échelle apprenables, stabilisant souvent l'entraînement là où les activations fixes échouent.

4. Preuves constructives :

   • L'article fournit des preuves constructives basées sur la théorie classique de l'approximation, incluant l'utilisation des fonctions de Zolotarev et des constructions AGM, pour démontrer comment les réseaux rationnels peuvent réaliser efficacement des non-linéarités complexes.

Résultats expérimentaux

• CIFAR-10 : Les activations rationnelles ont systématiquement atteint la précision Top-1 de test la plus élevée dans les modèles VGG4 et VGG8, surpassant ReLU, LeakyReLU, Swish et GELU. Dans le pipeline d'entraînement augmenté, les variantes rationnelles (initialisées pour imiter LeakyReLU ou GELU) sont restées performantes même lorsque GroupNorm était appliqué, bien que GroupNorm induise une chute de performance plus importante pour les rationnels par rapport aux activations fixes.
• RL Hors ligne : Sur les jeux de données MuJoCo medium, les activations rationnelles égalent ou surpassent les meilleures activations fixes dans 5 des 6 configurations (IQL et TD3+BC sur HalfCheetah, Hopper, Walker2d). Notamment, les modèles rationnels avec des largeurs plus petites (128) sont compétitifs ou supérieurs à des modèles GELU beaucoup plus larges (largeur 384), validant l'hypothèse d'efficacité des paramètres.
• Tiny ImageNet (Transformers) : Les activations rationnelles ont égalé ou amélioré la meilleure précision de validation EMA pour les modèles ViT, CaiT et Swin. Crucialement, dans une variante ViT "no-LayerNorm", les activations fixes (ReLU, GELU) ont divergé vers des NaNs, tandis que la variante rationnelle est restée stable et a atteint une haute précision (61,24 %), soutenant l'idée que la normalisation peut être restrictive pour les rationnels adaptatifs.
• Formes apprises : Les visualisations des fonctions rationnelles apprises ont montré qu'elles réallouent rapidement la courbure vers les régions d'entrée à haute densité, développant souvent des formes de "portage" (gating) non monotones localisées similaires aux activations fixes réussies comme Swish et Mish.

Signification et affirmations

L'article affirme que les réseaux de neurones rationnels offrent un fondement mathématiquement naturel et computationnellement efficace pour l'apprentissage profond. La signification centrale réside dans l'avantage d'expressivité : les activations rationnelles peuvent représenter des fonctions avec des transitions abruptes et des singularités complexes en utilisant exponentiellement moins de paramètres que les activations lisses modernes.

Les auteurs soutiennent que cet avantage théorique se traduit directement dans la pratique, résultant en :

• Une précision plus élevée : Atteindre de meilleures performances sur les tâches de vision et de RL avec des architectures identiques.
• Une convergence plus rapide : Atteindre des performances solides plus tôt durant l'entraînement.
• Une efficacité des paramètres : Atteindre des résultats comparables ou supérieurs avec des largeurs de réseau plus petites.
• Une robustesse dans les régimes sans normalisation : Permettre l'entraînement de Transformers profonds sans couches de normalisation, un régime où les activations fixes échouent souvent.

Ce travail suggère que le domaine devrait reconsidérer la dominance des activations lisses fixes, proposant que les fonctions rationnelles entraînables fournissent une alternative principielle qui s'aligne mieux sur les exigences structurelles des distributions de données complexes.