The minimal width of universal $p$-adic ReLU neural networks

Cet article détermine la largeur minimale requise pour que les réseaux de neurones $p$-adiques utilisant une fonction d'activation analogue au ReLU possèdent la propriété d'approximation universelle pour les fonctions continues à valeurs dans $\mathbb{Q}_p$ sur des sous-ensembles compacts ouverts, selon les normes $L_q$ et $C_1$.

L'essentiel

🌌 L'Univers des Nombres "P-adiques" : Un Monde de Châteaux Forts

Imaginez que nous vivons dans un monde habituel, celui des nombres réels (comme 1, 2, 3, 1,5, 3,14...). C'est un monde lisse, continu, comme une autoroute infinie où vous pouvez rouler de A à B sans jamais sauter.

Mais les auteurs de ce papier, Sándor et Ambrus, nous invitent à visiter un autre univers : celui des nombres p-adiques (notés $\mathbb{Q}_p$).

• L'analogie du château fort : Imaginez que les nombres réels sont une plage lisse. Les nombres p-adiques, eux, ressemblent à un archipel de milliers d'îles (des "boules") flottant dans l'espace. Si vous êtes sur une île, vous ne pouvez pas glisser doucement vers une autre île ; vous devez sauter. C'est un monde totalement déconnecté.
• Pourquoi s'y intéresser ? Souvent, l'intelligence artificielle (IA) essaie de classer des choses : "Chat" ou "Pas chat". C'est une décision binaire, comme être sur une île ou sur une autre. Les auteurs pensent que l'IA pourrait être plus naturelle et efficace dans ce monde "îlot" des nombres p-adiques que sur la "plage" des nombres réels.

🧠 Les Réseaux de Neurones : Des Usines à Transformations

Un réseau de neurones est comme une usine où l'information entre, passe par plusieurs étages de machines, et sort transformée.

• La largeur (Width) : C'est le nombre de machines (ou de "neurones") que vous pouvez mettre côte à côte à chaque étage. Plus c'est large, plus l'usine est puissante.
• Le problème : On veut savoir : "Quelle est la largeur minimale de cette usine pour qu'elle puisse imiter n'importe quelle fonction (n'importe quelle tâche) dans ce monde p-adique ?"

Dans le monde réel, c'est compliqué à calculer à cause de la "lissité" de la route. Mais dans le monde p-adique, grâce à la nature "îlot" des choses, la réponse est surprenante et très précise.

🛠️ L'Outil Magique : Le "pReLU"

Pour faire fonctionner leur usine, ils utilisent un outil spécial appelé pReLU.

• Dans le monde réel : L'outil ReLU dit "Si le nombre est positif, garde-le. Sinon, mets-le à zéro". C'est comme un robinet qui ne laisse passer que l'eau qui coule vers le haut.
• Dans le monde p-adique : Leur outil pReLU dit : "Si le nombre appartient à notre club de luxe (les entiers p-adiques, $\mathbb{Z}_p$), garde-le. Sinon, mets-le à zéro". C'est un filtre très sélectif qui ne laisse passer que les membres du club.

🏆 La Grande Découverte : La Formule Magique

Les auteurs ont résolu le mystère de la largeur minimale. Voici leur conclusion, traduite en langage simple :

Pour que votre usine (réseau de neurones) puisse apprendre n'importe quelle tâche (approximer n'importe quelle fonction continue) dans ce monde p-adique, elle doit avoir une largeur minimale égale à :

Le plus grand entre :

1. Le nombre d'entrées + 1 (Le nombre de portes d'entrée de l'usine + 1).
2. Le nombre de sorties (Le nombre de portes de sortie de l'usine).

En langage courant :
Si vous voulez trier des images (entrées) pour dire s'il y a un chat ou un chien (sorties), votre réseau doit être assez large pour contenir toutes les entrées plus un petit espace de manœuvre, ou assez large pour produire toutes les sorties possibles.

🧩 Comment ont-ils fait ? (La Stratégie)

Pour prouver que c'est possible, ils ont utilisé une stratégie ingénieuse, comme un jeu de Lego :

1. L'Encodage (Le Code Secret) : Ils ont montré qu'on peut prendre un tas d'informations complexes (les coordonnées d'une île) et les compresser en un seul nombre unique, comme un code-barres, en utilisant un réseau étroit. C'est comme transformer un gros sac de billes en une seule ligne de code.
2. Le Décodage (Le Décodeur) : Ensuite, ils ont montré qu'on peut prendre ce code-barres et le déplier pour reconstruire n'importe quelle forme complexe à la sortie.
3. La Clé du succès : Dans ce monde p-adique, les fonctions sont souvent "constantes par morceaux" (comme des cartes géographiques avec des couleurs plates). Parce que le monde est fait d'îles séparées, on n'a pas besoin de faire des courbes douces et compliquées. Il suffit de savoir sauter d'une île à l'autre. Cela rend le problème beaucoup plus simple que dans le monde réel !

💡 Pourquoi est-ce important ?

• Efficacité : Cela prouve que pour les problèmes de classification (chat vs pas chat), utiliser les mathématiques p-adiques pourrait être plus simple et nécessiter moins de "matériel" (moins de neurones) que les méthodes actuelles.
• Précision : Ils ont trouvé la limite exacte. On ne peut pas faire mieux. C'est comme dire : "Pour construire un pont de cette longueur, vous avez exactement besoin de 50 piliers. Ni 49, ni 51."

En résumé : Ce papier dit que si vous voulez construire une intelligence artificielle dans l'univers étrange et fragmenté des nombres p-adiques, vous n'avez pas besoin d'une usine gigantesque. Une usine de taille modeste, juste un peu plus large que le nombre de vos entrées ou de vos sorties, suffit pour tout apprendre ! C'est une victoire de la logique mathématique sur la complexité apparente.

Résumé technique

1. Problématique et Contexte

L'article s'attaque au problème de l'approximation universelle dans le cadre des réseaux de neurones définis sur les nombres p-adiques ($\mathbb{Q}_p$), plutôt que sur les nombres réels ($\mathbb{R}$).

• Motivation : De nombreux problèmes d'apprentissage automatique (comme la classification binaire) sont intrinsèquement discrets. Les auteurs soutiennent que l'utilisation du corps des nombres p-adiques $\mathbb{Q}_p$, qui possède une structure topologique totalement discontinue, est plus naturelle pour ces problèmes que $\mathbb{R}$.
• Objectif spécifique : Déterminer la largeur minimale ($w$) requise pour qu'un réseau de neurones p-adique, utilisant une fonction d'activation analogue au ReLU (appelée pReLU), possède la propriété d'approximation universelle.
• Cible d'approximation : Approximation de fonctions continues $f : \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$ (ou à valeurs dans $\mathbb{Z}_p$) sur des sous-ensembles compacts ouverts, selon les normes $L_q$ ($1 \le q \le \infty$) et la norme $C^1$ (équivalente à la norme $L_\infty$ dans ce contexte).
• Fonction d'activation : La fonction pReLU est définie comme :
  $$\text{pReLU}(x) = \begin{cases} x & \text{si } x \in \mathbb{Z}_p \\ 0 & \text{sinon} \end{cases}$$
  Contrairement aux travaux antérieurs sur les réseaux p-adiques qui autorisaient des classes larges de fonctions d'activation, ce papier se concentre sur cette fonction spécifique et simple.

2. Méthodologie

La preuve est divisée en deux parties principales : la démonstration d'une borne inférieure (nécessité) et d'une borne supérieure (suffisance).

A. Géométrie et Topologie p-adiques

Les auteurs exploitent les propriétés uniques de $\mathbb{Q}_p$ :

• Totalement discontinu : La topologie de $\mathbb{Q}_p$ est totalement discontinue, contrairement à $\mathbb{R}$. Cela élimine les obstructions topologiques subtiles présentes dans les preuves pour les réseaux réels (comme celles liées à la connexité).
• Convexité : Une notion de convexité est définie via les cosets de sous-modules $\mathbb{Z}_p$. Les ensembles convexes sont des cosets de sous-modules.
• Mesure de Haar : Une mesure de Haar unimodulaire unique est utilisée pour définir les normes $L_q$.

B. Preuve de la Borne Inférieure ($w \ge \max(d_x + 1, d_y)$)

Pour montrer que la largeur $w$ doit être au moins égale à $\max(d_x + 1, d_y)$, les auteurs utilisent des arguments d'obstruction :

1. Dimension de sortie ($w \ge d_y$) : Si $w < d_y$, l'image du réseau est contenue dans un sous-espace affine propre de $\mathbb{Q}_p^{d_y}$. En raison de la structure des ensembles convexes dans $\mathbb{Z}_p^{d_y}$, il existe une boule disjointe de l'image du réseau, rendant l'approximation d'une fonction surjective impossible.
2. Dimension d'entrée ($w \ge d_x + 1$) : C'est le résultat le plus subtil. Les auteurs démontrent un théorème clé (Théorème 2.13) : pour tout réseau pReLU de largeur $n$, soit la restriction à $\mathbb{Z}_p^n$ est une application affine, soit il existe une boule de rayon $1/p$ où la fonction est constante dans une certaine direction.
   • Ils construisent ensuite une fonction continue injective (un homéomorphisme) qui ne peut pas être approchée par des fonctions ayant cette propriété de constance directionnelle ou par des applications affines, sauf si la largeur est suffisante.

C. Preuve de la Borne Supérieure (Suffisance)

Pour montrer que $w = \max(d_x + 1, d_y)$ suffit, ils utilisent une stratégie de construction basée sur la densité des fonctions localement constantes :

1. Approximation par fonctions localement constantes : Grâce à la compacité et à la discontinuité totale, toute fonction continue peut être approchée arbitrairement bien par des fonctions localement constantes (constantes sur les cosets de $p^m \mathbb{Z}_p^n$).
2. Fonction d'Encodage (Theorem 3.4) : Ils construisent un réseau de largeur $d_x + 1$ capable de « coder » les cosets de $p^m \mathbb{Z}_p^{d_x}$ en des valeurs distinctes dans $\mathbb{Z}_p$. Cela réduit le problème à l'interpolation sur un ensemble fini.
3. Fonction de Décodage (Theorem 3.19) : Ils construisent un réseau de largeur $d_y$ capable de « décoder » une valeur dans $\mathbb{Z}_p$ vers n'importe quel coset dans $\mathbb{Z}_p^{d_y}$. Cela repose sur l'existence de fonctions « jongleuses » (juggling functions) qui intersectent chaque coset.
4. Composition : En combinant l'encodage, une interpolation sur un ensemble fini (réalisable avec largeur 2, donc $\le d_x+1$), et le décodage, ils obtiennent un réseau universel de largeur $\max(d_x + 1, d_y)$.

3. Résultats Principaux

Le résultat central est le Théorème 1.2 :

Pour tout $q \in [1, \infty]$, les réseaux pReLU de largeur $w$ possèdent la propriété d'approximation universelle pour les fonctions continues $f : \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$ dans la norme $L_q$ si et seulement si :
$$w \ge \max(d_x + 1, d_y)$$

Points clés des résultats :

• Absence de gap : Contrairement au cas réel où la borne supérieure pour la norme $C^1$ peut être plus élevée que pour les normes $L_q$, ici les bornes sont identiques pour toutes les normes ($L_q$ et $C^1$).
• Rôle des poids : La propriété d'universalité nécessite des poids dans $\mathbb{Q}_p$. Si les poids sont restreints à $\mathbb{Z}_p$, le réseau ne peut que calculer des applications affines (Remark 1.3).
• Généralisation : Le résultat s'applique à tout sous-ensemble compact et ouvert de $\mathbb{Q}_p^{d_x}$ (Remark 1.4).

4. Contributions et Significativité

• Résolution d'un analogue p-adique : Ce papier répond complètement à une question ouverte concernant l'analogue p-adique d'un problème intensivement étudié dans le domaine des réseaux de neurones réels (la largeur minimale pour l'universalité).
• Simplicité de la fonction d'activation : Contrairement à d'autres travaux p-adiques qui utilisent des classes larges de fonctions, ce papier montre qu'une fonction très simple (pReLU) suffit pour l'universalité, à condition d'avoir la bonne largeur.
• Différence fondamentale avec le cas réel : L'article met en lumière comment la topologie totalement discontinue de $\mathbb{Q}_p$ simplifie considérablement la théorie de l'approximation (pas d'obstructions topologiques liées à la connexité), conduisant à une formule de largeur minimale plus « propre » et unifiée pour toutes les normes.
• Outils algébriques : La preuve introduit des constructions algébriques spécifiques (fonctions d'encodage/décodage, fonctions jongleuses) adaptées à l'arithmétique p-adique, offrant de nouvelles perspectives sur la puissance expressive des réseaux de neurones dans des corps non archimédiens.

En résumé, ce travail établit les fondations théoriques rigoureuses pour l'utilisation des réseaux de neurones p-adiques, prouvant qu'ils sont universels avec une efficacité de largeur comparable, voire supérieure en termes de simplicité de norme, à leurs homologues réels, grâce à la structure particulière des nombres p-adiques.