Résumé technique : Puissance expressive des réseaux de neurones à virgule flottante avec ordres de réduction arbitraires et implémentations d'activation inexactes

1. Énoncé du problème

Les cadres théoriques existants concernant la puissance expressive des réseaux de neurones reposent principalement sur l'arithmétique réelle exacte. Cependant, les réseaux de neurones pratiques fonctionnent sous une arithmétique à virgule flottante de précision finie, caractérisée par :

• Représentabilité finie : Les paramètres et les activations appartiennent à un ensemble discret de nombres machine.
• Erreurs d'arrondi : Les opérations arithmétiques entraînent des erreurs d'arrondi.
• Non-associativité : L'addition à virgule flottante n'est pas associative, ce qui signifie que la sortie des transformations affines dépend de l'ordre de réduction (la séquence dans laquelle les termes sont sommés).
• Implémentations inexactes : Les implémentations pratiques des fonctions d'activation (par exemple, exp, tanh, sin) s'écartent souvent des valeurs correctement arrondies de plusieurs unités du dernier rang (ulp) afin d'optimiser le coût computationnel.

Les travaux précédents traitant de l'expressivité en virgule flottante ont été limités par des hypothèses idéalisées, telles que :

1. Restreindre l'analyse aux activations linéaires par morceaux (par exemple, ReLU, Step).
2. Supposer des ordres de réduction fixes de gauche à droite.
3. Supposer des implémentations correctement arrondies des fonctions d'activation.

Ces hypothèses échouent à capturer le comportement des réseaux dans des environnements modernes massivement parallèles (par exemple, les GPU) où les ordres de réduction varient, et où des activations lisses et largement utilisées (par exemple, Sigmoid, GELU, Swish) sont implémentées avec des erreurs d'approximation bornées. Par conséquent, il reste unclear si les réseaux de neurones à virgule flottante conservent leur représentabilité universelle dans ces conditions réalistes.

2. Méthodologie

Les auteurs introduisent un cadre général pour analyser la représentabilité universelle des réseaux de neurones à virgule flottante. Un réseau est considéré comme un « représentateur universel » s'il peut représenter chaque fonction entre des domaines à virgule flottante prescrits exactement.

Définitions clés et cadre

• Réseaux de neurones à virgule flottante ($N(I,S)$) : Définis sous un ordre de réduction arbitraire $S$. La transformation affine dans la couche $\ell$ calcule $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$, où $\Sigma$ désigne la somme de réduction selon l'ordre $o$, et $\otimes, \oplus$ sont la multiplication et l'addition à virgule flottante.
• Discernabilité : Le concept central introduit est la $\sigma$-discernabilité. Un domaine $X$ est $\sigma$-discernable sous $S$ si pour tout $x, x' \in X$ distincts, il existe une transformation affine à virgule flottante $\phi$ telle que $\sigma(\phi(x)) \neq \sigma(\phi(x'))$.
  • Nécessité : L'article démontre que si un domaine n'est pas $\sigma$-discernable, le réseau ne peut pas représenter toutes les fonctions sur ce domaine (Lemme 2).
  • Suffisance : Sous des conditions légères sur la fonction d'activation (Condition 1), la $\sigma$-discernabilité est montrée comme suffisante pour la représentabilité universelle (Théorème 5).

Approche technique

1. Séparation des points : Les auteurs définissent des « points de séparation » ($\eta$) où la sortie de la fonction d'activation change de manière discontinue par rapport à la grille à virgule flottante (c'est-à-dire $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$). Ils établissent les conditions sous lesquelles ces points existent pour les implémentations correctement arrondies et inexactes.
2. Transférabilité : Une série de lemmes techniques (Section V) démontre que sous la Condition 1, des paires spécifiques de nombres à virgule flottante peuvent être « transférées » vers des valeurs cibles en utilisant des additions de gauche à droite et des fonctions d'activation. Cela permet la construction de réseaux qui isolent des entrées spécifiques.
3. Gestion de l'inexactitude : Pour les implémentations avec des erreurs ulp bornées, les auteurs dérivent des conditions (Condition 2) garantissant que l'erreur d'approximation ne fait pas s'effondrer les points de séparation nécessaires, à condition que la précision $p$ soit suffisamment élevée (par exemple, $p \geq 7$).

3. Contributions clés

A. Cadre général de discernabilité

L'article établit une condition nécessaire et suffisante pour la représentabilité universelle basée sur la discernabilité.

• Condition nécessaire : Si un réseau ne peut pas distinguer chaque paire d'entrées distinctes dans la première couche via une transformation affine suivie d'une activation, il ne peut pas représenter toutes les fonctions. Ce cadre généralise les contre-exemples précédents (par exemple, le cosinus correctement arrondi) à des classes plus larges de fonctions.
• Condition suffisante : Si la fonction d'activation satisfait la Condition 1 (existence de valeurs de sortie spécifiques $C_0, C_1, C_2$) et que le domaine est $\sigma$-discernable, un réseau à quatre couches peut représenter n'importe quelle fonction sur ce domaine. Crucialement, cela vaut pour des ordres de réduction arbitraires, prouvant que la représentabilité universelle n'est pas un artefact d'une séquence de sommation spécifique.

B. Extension aux fonctions d'activation pratiques

La théorie s'étend au-delà des fonctions linéaires par morceaux à une large classe d'activations pratiques et lisses :

• Correctement arrondies : L'article démontre la représentabilité universelle pour les versions correctement arrondies de Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish et sin.
• Implémentations inexactes : Les auteurs fournissent des conditions vérifiables sous lesquelles des implémentations avec des erreurs ulp bornées (jusqu'à $K=10$ ulps) restent des représentateurs universels. Cela couvre les bibliothèques pratiques où des fonctions comme exp et sin sont approximées.

C. Résultats négatifs et contre-exemples

Le cadre identifie des fonctions d'activation spécifiques qui échouent à être des représentateurs universels sous certaines conditions.

• Corollaire 4 : Les réseaux utilisant le cosinus correctement arrondi, $\sqrt{1+x^2}$, cosh, ou $e^{-x^2}$ ne peuvent pas représenter toutes les fonctions sur des domaines spécifiques (par exemple, $[-2^{p+3}, 2^{p+3}]_F$) car ils échouent à satisfaire la condition de discernabilité. Cela généralise le contre-exemple connu de l'activation cosinus.

4. Résultats

L'article établit les théorèmes principaux suivants :

• Théorème 5 : Si $\sigma$ satisfait la Condition 1 et que $X$ est $\sigma$-discernable avec la plage $[-2^{e_{max}}, 2^{e_{max}}]_F$, alors toute fonction $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ peut être représentée par un réseau $\sigma$ à quatre couches sous n'importe quel ordre de réduction $S$.
• Corollaire 9 et 12 : Pour Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish et sin correctement arrondis, la représentabilité universelle vaut sur de grands domaines (par exemple, $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$). Notamment, même la fonction d'activation Identité est montrée comme étant un représentateur universel en arithmétique à virgule flottante (contrairement à l'arithmétique réelle) en raison de la nature non affine des opérations à virgule flottante.
• Corollaire 13 et 16 : Pour Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish et sin implémentés avec des erreurs ulp bornées (Condition 2), la représentabilité universelle vaut à condition que la précision $p \geq 7$.

5. Importance et affirmations

L'article prétend généraliser substantiellement la compréhension théorique des réseaux de neurones à virgule flottante :

1. Réalisme : Il dépasse les hypothèses idéalisées (ordres de réduction fixes, arrondi correct) pour atteindre des modèles reflétant l'exécution matérielle réelle (ordres arbitraires, erreurs ulp bornées).
2. Large applicabilité : Il fournit les premières garanties théoriques pour la puissance expressive des réseaux utilisant des activations lisses et non linéaires par morceaux (comme GELU et Swish) sous une sémantique à virgule flottante réaliste.
3. Insight fondamental : Il démontre que le phénomène d'« approximation universelle » en arithmétique à virgule flottante est robuste face à la non-associativité de l'addition et aux imprécisions d'implémentation, à condition que la fonction d'activation maintienne des propriétés de « séparation » suffisantes.
4. Limites : Les résultats sont modestes concernant les formats de faible précision (par exemple, float8), où le nombre de valeurs représentables est trop faible pour que les conditions dérivées s'appliquent sans implémentations spécifiques de tables de recherche. L'article note également que les preuves reposent sur l'existence de points de séparation spécifiques, qui peuvent échouer pour certaines fonctions (comme le cosinus) ou des précisions très faibles.

Les auteurs soulignent que ces résultats sont dérivés d'un nouveau cadre qui ne repose pas sur la linéarité par morceaux, des ordres de sommation fixes ou des comportements d'activation exacts, offrant ainsi une fondation plus rigoureuse pour la compréhension des réseaux de neurones dans des contextes pratiques à précision finie.