Résumé Technique : Les réseaux à virgule flottante avec différenciation automatique peuvent représenter presque toutes les fonctions à virgule flottante et leurs gradients

1. Énoncé du Problème

Les applications modernes de réseaux de neurones nécessitent fréquemment non seulement l'approximation des valeurs de fonctions, mais aussi le calcul de gradients par rapport aux entrées. Ces gradients sont critiques pour des tâches telles que l'apprentissage automatique scientifique (résolution d'équations aux dérivées partielles), l'analyse de sensibilité, les problèmes inverses, l'apprentissage par renforcement, les attaques adverses et la génération d'entrées.

Les résultats théoriques en théorie de l'approximation ont établi que les réseaux de neurones avec des paramètres réels et une arithmétique exacte peuvent approximer à la fois des fonctions différentiables et leurs gradients sur des domaines compacts. Cependant, ces garanties théoriques ne s'appliquent pas directement aux implémentations pratiques. Les réseaux de neurones réels fonctionnent en utilisant l'arithmétique à virgule flottante (norme IEEE 754), où les paramètres et les valeurs intermédiaires sont restreints à un ensemble fini de nombres, et où les opérations impliquent des erreurs d'arrondi. Par conséquent, un réseau pratique est un algorithme défini par une séquence d'opérations à virgule flottante plutôt qu'une fonction continue à valeurs réelles. De plus, les gradients dans ces systèmes sont calculés via la différenciation automatique (AD) (par exemple, la rétropropagation) appliquée à ce graphe de calcul. Sous l'arithmétique à virgule flottante, les sorties de l'AD ne sont pas nécessairement les dérivées d'une fonction réelle différentiable, mais sont plutôt les résultats d'une procédure de calcul spécifique sujette à la non-associativité et à l'arrondi.

Le problème central abordé dans ce travail est le suivant : Les réseaux de neurones à virgule flottante, lorsqu'ils sont couplés à la différenciation automatique, peuvent-ils représenter des valeurs de fonctions arbitraires et des gradients arbitraires ?

2. Méthodologie et Cadre

2.1 Définitions et Configuration

Les auteurs définissent un réseau de neurones à virgule flottante $f$ comme une composition de transformations affines à virgule flottante $\rho_l$ et d'une fonction d'activation ponctuelle $\sigma$ :
$$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$$
où $\rho_l(x) = A_l \otimes x \oplus b_l$. Ici, $\otimes$ et $\oplus$ désignent respectivement la multiplication et l'addition à virgule flottante, qui incluent les opérations d'arrondi.

Le calcul du gradient est modélisé en utilisant l'algorithme de différenciation automatique en mode inverse, noté $DAD$. Pour une fonction composée $\phi_x \circ f$, où $\phi_x$ est une fonction scalaire (par exemple, une fonction de perte) et $\phi'_x$ est sa dérivée, le gradient est calculé comme suit :
$$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$$
Crucialement, les multiplications sont évaluées de manière associative à gauche ($((a \otimes b) \otimes c) \dots$) pour tenir compte de la non-associativité des opérations à virgule flottante. Cette non-associativité est un mécanisme clé exploité dans les preuves.

2.2 Stratégie de Construction du Réseau

Pour prouver la représentabilité, les auteurs construisent des réseaux spécifiques afin de découpler la représentation de la valeur de la fonction de la représentation du gradient. La stratégie centrale consiste à combiner deux sous-réseaux, $f_1$ et $f_2$, en utilisant une opération de concaténation ($\#$) :

1. $f_1$ (Réseau de Valeur de Fonction) : Conçu pour produire les valeurs de la fonction cible $f^*(x)$ tout en produisant un gradient nul ($D f_1, x = 0$). Ceci est réalisé en construisant des fonctions indicatrices pour des entrées spécifiques et en supprimant les gradients par une multiplication séquentielle par de petits poids.
2. $f_2$ (Réseau de Gradient) : Conçu pour produire des valeurs de fonction nulles ($f_2(x) = 0$) tout en produisant un gradient cible spécifique $g^*(x)$ lorsque le gradient d'entrée est non nul. Ce réseau utilise la non-associativité de la multiplication à virgule flottante pour manipuler l'amplitude et la direction du gradient indépendamment de la sortie de la fonction.

Le réseau final est construit comme $f = f_2 \# f_1$, permettant au réseau de satisfaire simultanément $f(x) = f^*(x)$ et $DAD(\phi_x \circ f, x) = g^*(x)$.

2.3 Conditions sur les Fonctions d'Activation

Les preuves reposent sur des conditions techniques spécifiques (Conditions 1–3) imposées à la fonction d'activation $\sigma$ et à sa dérivée $\sigma'$. Ces conditions garantissent la capacité de :

• Distinguer les entrées (Condition 1).
• Supprimer ou amplifier les gradients sans dépassement de capacité (overflow) (Condition 2).
• Générer des valeurs de gradient spécifiques dans la première couche (Condition 3).

Les auteurs vérifient que ces conditions sont remplies pour un large éventail de fonctions d'activation pratiques, incluant ReLU, ELU, GELU, Swish, Sigmoid et tanh, sous des formats de virgule flottante standards (float16, float32, float64, bfloat16 et formats 8-bits).

3. Contributions Clés et Résultats

3.1 Représentation de Valeurs et de Gradients Arbitraires (Théorème 3.1 / Théorème 1)

Le résultat principal établit que pour presque toutes les fonctions cibles $f^*$ et gradients cibles $g^*$ (avec une légère condition de cohérence où $g^*(x)=0$ si le gradient d'entrée est nul), il existe un réseau à virgule flottante $f$ tel que :
$$f(x) = f^*(x) \quad \text{et} \quad DAD(\phi_x \circ f, x) = g^*(x)$$
Ceci est vrai pour des réseaux de seulement 7 couches pour les fonctions d'activation standards (ReLU, ELU, GELU, Swish) et légèrement plus pour Sigmoid et tanh, à condition que le domaine soit compris dans une plage spécifique (par exemple, $[-\Omega/8, \Omega/8]^d$).

3.2 Représentation de Gradients Dépendants de l'Entrée (Théorème 3.2 / Théorème 2)

Les auteurs étendent le résultat pour montrer qu'un seul réseau $f$ peut représenter des gradients qui sont des fonctions arbitraires de l'entrée $x$ et du gradient d'entrée $y = \phi'_x(f(x))$. Plus précisément, pour presque toutes les fonctions $f^*$ et $g^*(x, y)$ satisfaisant la symétrie $g^*(x, -y) = -g^*(x, y)$, il existe un réseau $f$ tel que :
$$f(x) = f^*(x) \quad \text{et} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$$
Ce résultat met en évidence une divergence fondamentale entre l'arithmétique exacte et l'arithmétique à virgule flottante. En arithmétique exacte, le gradient d'une composition $\nabla(\phi \circ f)$ doit être proportionnel à $\phi'(f(x))$. En arithmétique à virgule flottante, en raison de la non-associativité et de l'arrondi, le réseau peut produire des gradients qui ne sont pas proportionnels au gradient d'entrée, "manipulant" ainsi efficacement le gradient tout en maintenant la valeur de sortie de la fonction correcte.

3.3 Généralisation à d'Autres Fonctions d'Activation

L'article fournit des théorèmes généralisés (Théorèmes 5 et 7) pour les fonctions d'activation satisfaisant les Conditions 1–3, étendant les résultats au-delà de l'ensemble spécifique $\Sigma$ vers des fonctions d'activation générales.

4. Signification et Revendications

L'article affirme démontrer que les réseaux de neurones à virgule flottante avec différenciation automatique possèdent un pouvoir de représentation universel tant pour les valeurs de fonctions que pour les gradients, une propriété qui n'est pas garantie par la théorie classique de l'approximation qui suppose une arithmétique réelle.

La signification de ce travail réside dans :

1. Réconciliation de la Théorie et de la Pratique : Il valide que la capacité théorique des réseaux de neurones à ajuster les gradients s'étend aux algorithmes réels utilisés dans les frameworks modernes de deep learning (PyTorch, TensorFlow), qui reposent sur l'arithmétique à virgule flottante.
2. Manipulation de Gradient : Il révèle que les réseaux à virgule flottante peuvent accomplir des tâches cibles (ajustement des valeurs de fonction) tout en ayant des gradients "manipulés". Cela implique que les gradients calculés via l'AD dans des contextes pratiques peuvent ne pas refléter strictement la dérivée de la fonction mathématique sous-jacente, mais sont plutôt des artefacts du graphe de calcul et de l'arrondi.
3. Implications pour la Sécurité et la Confidentialité : La capacité d'ajuster les valeurs de fonction tout en produisant des gradients arbitraires (par exemple, nuls ou trompeurs) suggère des mécanismes potentiels pour se protéger contre les attaques ou le raisonnement basés sur le gradient, car l'information du gradient peut être déconnectée du comportement de la fonction.
4. Apprentissage Automatique Scientifique : Les résultats soutiennent le fondement théorique de l'utilisation des réseaux de neurones comme substituts (surrogates) pour les modèles physiques où à la fois la solution et sa sensibilité (gradient) sont requises, confirmant que les implémentations à précision finie peuvent théoriquement atteindre la fidélité nécessaire.

Les auteurs maintiennent un ton modeste, notant que leurs résultats s'appliquent à "presque toutes" les fonctions (excluant un ensemble de mesure nulle de cas pathologiques) et dépendent de conditions spécifiques concernant la taille du domaine et la précision de la virgule flottante (par exemple, nécessitant $E \ge 6$ pour les théorèmes principaux, bien que des extensions existent pour une précision moindre). Ils ne prétendent pas que tous les comportements de gradient possibles sont réalisables sans contraintes (par exemple, la contrainte de symétrie $g^*(x, -y) = -g^*(x, y)$ est inhérente à la définition de l'AD).