📊 statistics

Limitations of Learning Tanh Neural Networks with Finite Precision

Cet article démontre que sous des contraintes de précision finie, l'apprentissage de réseaux de neurones $\tanh$ contenant des fonctions de type « bump » localisées est fondamentalement limité à un taux de convergence de Monte Carlo, à moins que le budget d'échantillonnage ne croisse de manière exponentielle avec la taille du réseau, étendant ainsi les limitations connues des réseaux ReLU au cadre des réseaux $\tanh$ .

Auteurs originaux : Philipp Grohs, Matěj Trödler

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Philipp Grohs, Matěj Trödler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à reconnaître un secret minuscule et très spécifique caché dans une vaste pièce obscure. L'ordinateur est un « réseau de neurones », un type d'IA qui apprend en observant des exemples. Dans cet article, les auteurs étudient un type particulier d'IA qui utilise un outil mathématique appelé tanh (tangente hyperbolique) pour traiter l'information. Cet outil est lisse et courbe, contrairement à l'outil « ReLU » utilisé dans beaucoup d'autres IA, qui agit plutôt comme un interrupteur marche/arrêt tranchant.

Les auteurs posent une question fondamentale : combien d'« échantillons » (ou de regards) l'ordinateur doit-il jeter pour apprendre parfaitement ce secret, en supposant que l'ordinateur a une capacité limitée à percevoir de très petits nombres ?

Voici la décomposition de leurs découvertes en utilisant des analogies simples :

1. Le problème de la « vision floue » (Précision finie)

Imaginez que l'ordinateur porte des lunettes légèrement embuées. Si un nombre est plus petit qu'un minuscule grain de poussière (appelons cela la « précision machine »), les lunettes de l'ordinateur le floutent complètement, et il le voit comme zéro. Il ne peut pas faire la différence entre un minuscule murmure et un silence total.

Les auteurs montrent qu'en raison de cette « vision floue », l'ordinateur est confronté à un obstacle massif. Il ne peut pas distinguer une fonction qui est réellement nulle partout d'une fonction qui possède une minuscule et vive « bosse » cachée dans un coin, à moins que cette bosse ne soit assez grande pour être perçue à travers la brume.

2. La construction de la « bosse invisible »

Les auteurs ont construit un tour mathématique spécial pour prouver leur point. Ils ont créé une fonction « bosse » (une petite colline de données) qui est :

Haute et vive au centre (pour avoir beaucoup de « masse » ou d'importance).
Exponentiellement fine sur les bords.

Parce que les bords deviennent fins si rapidement, ils finissent par devenir si petits que les « lunettes floues » de l'ordinateur les transforment en zéro. Pour l'ordinateur, cette bosse ressemble exactement à un sol plat et vide partout, sauf en un minuscule endroit invisible.

3. Le jeu de « l'aiguille dans une botte de foin »

Maintenant, imaginez que vous jouez à un jeu où vous devez trouver ces bosses cachées.

La configuration : Vous avez une immense pièce (l'espace de données). Vous pouvez déposer un nombre limité de « capteurs » (échantillons) pour vérifier la présence de bosses.
Le piège : Les auteurs ont prouvé que si les bosses sont cachées d'une manière qui exploite la « vision floue » de l'ordinateur, vous pouvez cacher des milliers de ces bosses dans la pièce.
Le résultat : Même si vous déposez un nombre énorme de capteurs, il y a une forte probabilité qu'aucun de vos capteurs ne tombe sur les minuscules endroits où les bosses existent réellement. Vos capteurs liront tous « zéro » (car les bosses sont invisibles pour eux en dehors de leur centre minuscule).

4. Le « coût exponentiel »

Cela mène à la conclusion principale de l'article : L'apprentissage est incroyablement coûteux.

Dans le monde des réseaux ReLU (les interrupteurs marche/arrêt tranchants), le nombre d'échantillons nécessaires pour apprendre croît de manière relativement prévisible. Mais pour ces réseaux tanh lisses, les auteurs ont découvert que, pour garantir que vous puissiez apprendre la fonction avec précision, le nombre d'échantillons dont vous avez besoin croît de manière exponentielle avec la taille du réseau.

Voyez les choses ainsi :

Si vous voulez apprendre un petit réseau, vous pourriez avoir besoin de 10 échantillons.
Si vous rendez le réseau légèrement plus grand, vous pourriez avoir besoin de 100 échantillons.
Si vous le rendez encore un peu plus grand, vous pourriez avoir besoin de 1 000 000 d'échantillons.
Si vous le rendez encore un tout petit peu plus grand, vous pourriez avoir besoin de plus d'échantillons qu'il n'y a d'atomes dans l'univers.

5. La « vérité instable »

L'article souligne également une instabilité effrayante. Ils ont montré que vous pourriez avoir deux fonctions différentes qui semblent identiques pour l'ordinateur (parce que les différences sont plus petites que ce que les « lunettes floues » peuvent voir), mais en réalité, elles sont complètement différentes (l'une a une bosse, l'autre n'en a pas).

Même si vous aviez un algorithme parfait, le fait que l'ordinateur ne puisse pas voir les différences infimes signifie qu'il ne pourra jamais être stable. Un changement minuscule et invisible dans l'entrée pourrait conduire à un changement massif et imprévisible dans la sortie. C'est comme essayer de faire tenir un château de cartes sur une table vibrante ; peu importe la précision de vos mains, la vibration de la table (la précision finie) rend toute structure stable impossible.

Résumé

L'article soutient que pour les réseaux de neurones lisses et courbes (tanh), la précision finie agit comme un mur infranchissable. Elle empêche l'ordinateur d'apprendre des fonctions qui possèdent des caractéristiques localisées et vives, à moins d'être prêt à projeter un nombre astronomique d'échantillons sur le problème. Dans de nombreux scénarios réalistes, cela rend l'apprentissage de ces types spécifiques de réseaux informatiquement impossible, non pas parce que les mathématiques sont trop difficiles à résoudre, mais parce que vous ne disposez simplement pas de suffisamment d'« yeux » (échantillons) pour voir les détails avant que les « lunettes floues » de l'ordinateur ne les effacent.

Résumé technique : Limites de l'apprentissage des réseaux de neurones $\tanh$ en précision finie

Énoncé du problème
Cet article étudie les limitations fondamentales de l'apprentissage de classes de réseaux de neurones avec des fonctions d'activation de type tangente hyperbolique ( $\tanh$ ) sous une arithmétique à précision finie. Bien que les résultats théoriques établissent que les réseaux de neurones possèdent des capacités d'approximation universelle, l'apprentissage pratique est contraint par la disponibilité de seulement un nombre fini de valeurs échantillonnées et par la précision finie des dispositifs de calcul. Les auteurs répondent à la question suivante : Combien d'échantillons $m$ sont nécessaires pour garantir qu'un algorithme puisse approximer chaque fonction d'une classe de réseaux $\tanh$ avec une précision donnée $\epsilon$ ?

L'étude se concentre sur l'interaction entre la nature lisse et non homogène des activations $\tanh$ et les contraintes imposées par la précision finie (quantification). Contrairement aux réseaux ReLU, où des fonctions « bosses » localisées peuvent être construites exactement grâce à la propriété d'homogénéité ( $\rho(\lambda x) = \lambda \rho(x)$ ), les réseaux $\tanh$ sont réel-analytiques et ne peuvent généralement pas produire de fonctions à support compact (zéro exact sur des ensembles de mesure positive). Cela crée un obstacle analytique majeur pour prouver des bornes inférieures sur la complexité de l'apprentissage, car les techniques standards reposant sur la localisation exacte échouent.

Méthodologie
Les auteurs développent un nouveau cadre pour surmonter l'absence de support compact exact dans les réseaux $\tanh$ en exploitant l'arithmétique à précision finie. Leur approche repose sur trois composantes techniques principales :

Localisation en précision finie : Les auteurs supposent une application de quantification $Q_{\epsilon_p}$ où toute valeur de magnitude $|x| \le \epsilon_p$ est arrondie à zéro. Ils construisent des réseaux de neurones qui produisent des « bosses » localisées de manière abrupte : des fonctions qui sont non triviales sur un petit cube mais décroissent exponentiellement vite en dehors de cette région. En ajustant la profondeur du réseau et les paramètres, les « queues » de ces fonctions sont forcées de tomber sous le seuil de précision machine $\epsilon_p$ , les rendant indiscernables de zéro par le dispositif de calcul, malgré une norme $L_p$ positive.
Mécanisme d'itération de point fixe : Une innovation centrale est l'exploitation de la structure de point fixe de l'activation $\tanh$ . Pour une activation mise à l'échelle $\sigma_a(x) = \tanh(ax)$ avec $a > 1$ , il existe des points fixes non triviaux $\pm x_\star$ satisfaisant $\tanh(ax_\star) = x_\star$ . Les auteurs conçoivent des couches de réseaux qui appliquent itérativement $\sigma_a$ à une fonction bosse grossière. Cette itération amplifie le signal, poussant la sortie vers un profil de fonction en escalier (convergeant vers $\pm x_\star$ à l'intérieur du support et décroissant rapidement à l'extérieur). Ce mécanisme remplace les constructions basées sur l'homogénéité utilisées dans l'analyse ReLU.
Cadre d'algorithme aléatoire adaptatif : Les bornes inférieures sont dérivées pour des algorithmes aléatoires adaptatifs, capables de choisir des points d'échantillonnage basés sur les observations précédentes et d'utiliser un caractère aléatoire interne. La preuve utilise un argument de « tiroir » : en construisant une grande famille de fonctions bosses disjointes (centrées sur une grille) et en démontrant que leurs supports sont plus petits que la densité d'échantillonnage, les auteurs démontrent qu'une fraction significative de ces fonctions produira des valeurs quantifiées nulles à tous les points échantillonnés. Par conséquent, l'algorithme ne peut pas distinguer ces fonctions de la fonction nulle.

Contributions clés et résultats
L'article établit une borne inférieure sur la complexité d'échantillonnage pour l'apprentissage des réseaux $\tanh$ . Le résultat principal (Théorème 6) prouve que pour une classe de réseaux de dimension d'entrée $d$ , de profondeur $L$ , de largeur $B$ et de coefficients bornés, l'erreur d'approximation $\epsilon$ pour tout algorithme utilisant $m$ échantillons satisfait :
$\epsilon \gtrsim C \cdot m^{-1/p}$
où la constante $C$ dépend des paramètres de l'architecture du réseau.

Principales conclusions :

Dépendance exponentielle vis-à-vis de l'architecture : Le nombre admissible d'échantillons $m$ requis pour atteindre une précision fixée croît exponentiellement par rapport aux paramètres de l'architecture du réseau (spécifiquement la largeur et la profondeur). Cela implique que l'apprentissage devient irréalisable à mesure que la taille du réseau augmente, même si le problème d'optimisation était soluble de manière computationnelle.
Comparaison avec ReLU : Alors que le cadre ReLU (Berner et al., 2023) présente une borne inférieure d'échelle avec $m^{-1/d - 1/p}$ , le cadre $\tanh$ sous précision finie produit une borne d'échelle avec $m^{-1/p}$ . Cependant, le facteur de constante dans la borne $\tanh$ dépend exponentiellement de l'architecture, menant à une infaisabilité pratique similaire.
Instabilité intrinsèque : Les résultats révèlent une instabilité fondamentale dans le problème d'apprentissage. Pour tout algorithme utilisant un nombre d'échantillons sous-exponentiel, il existe des paires de réseaux qui diffèrent par une perturbation négligeable (sous la précision machine) à tous les points échantillonnés, mais qui présentent une grande distance $L_p$ (ordre 0,5). Ainsi, aucune procédure de reconstruction ne peut être simultanément précise et stable dans le régime d'échantillonnage énoncé.
Rôle de la précision : Le résultat de dureté est tributaire de l'hypothèse de précision finie. La construction repose sur la capacité de « cacher » la queue de la fonction bosse sous le seuil de quantification $\epsilon_p$ .

Signification et affirmations
L'article affirme étendre les précédents résultats de dureté pour les réseaux ReLU à l'activation $\tanh$ , largement utilisée dans les architectures récurrentes (RNN, LSTM), les réseaux de neurones informés par la physique (PINNs) et les modèles fondateurs modernes.

Les auteurs soulignent que leurs résultats ne concernent pas simplement la complexité computationnelle (temps d'exécution) mais les limitations informationnelles. Même si un algorithme d'optimisation pouvait trouver le minimum global, le nombre d'échantillons requis pour identifier de manière unique la fonction à partir des évaluations ponctuelles est prohibitif. Le travail met en évidence que la lissité et la nature analytique de $\tanh$ , souvent perçues comme avantageuses pour la différentiabilité, introduisent des défis sévères pour la capacité d'apprentissage dans des environnements à précision finie, particulièrement concernant la construction de caractéristiques localisées nécessaires pour prouver les bornes inférieures.

Le papier fournit un théorème simplifié (Théorème 1) et un énoncé technique complet (Théorème 6) avec des dépendances explicites sur des paramètres tels que la précision machine $\epsilon_p$ , la largeur du réseau $B$ , la profondeur $L$ et les bornes des coefficients $c$ . Il inclut un outil de vérification numérique pour démontrer que pour des tailles de réseaux modérées et des précisions machine réalistes, les tailles d'échantillons requises pour une récupération uniforme deviennent astronomiquement grandes, rendant la tâche d'apprentissage computationnellement infaisable.