Résumé technique : Action à distance : Un espace de Hilbert à noyau reproduisant universel issu de l'alignement polynomial et de la distance IMQ

Énoncé du problème

Les couches standard de perceptrons multicouches (MLP) ne possèdent pas de norme canonique d'espace de Hilbert. Les bornes de généralisation pour les réseaux entraînés reposent généralement sur des substituts lipschitziens ou spectraux de la matrice des poids, qui sont des objets au niveau de la fonction, construits de manière lâche et déconnectés des unités spécifiques. Ce déficit structurel découle du fait que les activations scalaires standard (par exemple, ReLU, GELU, sigmoïde) sont des fonctions d'un produit scalaire $\sigma(w^\top x)$, et non des sections de noyau symétriques de la variable conjointe $(w, x)$. Par conséquent, la lecture d'une couche entraînée n'est pas un élément fini d'un quelconque espace de Hilbert à noyau reproduisant (RKHS), privant le modèle d'outils tels que des normes sous forme close, l'universalité à noyau fixe et la caractéristicité.

Les primitives de sections de Mercer existantes souffrent d'un compromis :

1. Les noyaux radiaux (RBF gaussien, Inverse Multiquadrique/IMQ) possèdent la localité et la structure de Hilbert mais manquent d'« alignement » (la diagonale du noyau est constante, et le terme d'alignement polynomial $(w^\top x + b)^2$ ne joue aucun rôle).
2. Les noyaux alignés (noyaux universels de produit scalaire) possèdent l'alignement et la structure de Hilbert mais manquent de localité de distance (aucun décroissement en $\|x-w\|$).

L'article identifie le besoin d'une primitive d'unité cachée finie et entraînable qui combine simultanément localité, alignement et structure de Hilbert.

Méthodologie

Les auteurs introduisent le noyau Yat ($k_\Upsilon$), une primitive d'unité cachée rationnelle définie par :
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
Ce noyau est le produit de Schur d'un numérateur d'alignement polynomial $p_b(x, w) = (x^\top w + b)^2$ et d'un dénominateur Inverse Multiquadrique (IMQ) $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

La méthodologie procède à travers quatre piliers théoriques principaux :

1. Structure de Mercer et universalité : L'article établit que pour $b \ge 0$, le noyau est semi-défini positif (SDP) et donc un noyau de Mercer. Crucialement, pour $b > 0$, le noyau Yat domine au sens de Loewner un noyau IMQ mis à l'échelle ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). Par le théorème d'inclusion d'Aronszajn, cela implique que le RKHS Yat ($\mathcal{H}_{b,\varepsilon}$) contient le RKHS IMQ, héritant de ses propriétés d'universalité et de caractéristicité.
2. Structure d'alignement non radial : Contrairement aux noyaux radiaux purs, les atomes Yat conservent une « ombre quadratique directionnelle » à l'infini. La trace asymptotique le long d'un rayon $ru$ est $T_\infty g_\varepsilon(u) = (u^\top w)^2$, indépendante de $b$ et $\varepsilon$. Cela ouvre des canaux d'alignement non radiaux absents dans les développements IMQ finis, qui décroissent vers zéro à l'infini.
3. Encastrement algébrique IMQ : L'article fournit une preuve constructive qu'un atome IMQ peut être exactement récupéré à partir de trois atomes Yat via une différence finie d'ordre deux dans le paramètre de biais $b$ :
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   Cette identité est précise ; deux atomes sont insuffisants pour reproduire une section IMQ.
4. Capacité RKHS locale à la couche : Pour une couche entraînée avec $(b, \varepsilon)$ partagés, la norme RKHS au carré d'un développement fini $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ admet une expression sous forme close : $\|f\|^2 = \alpha^\top K \alpha$, où $K$ est la matrice de Gram des poids entraînés. Cela permet une borne de généralisation de Rademacher directe, pilotée explicitement par la diagonale du noyau $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

Contributions clés

1. Le noyau Yat : Une primitive rationnelle, finie et entraînable qui unifie l'alignement polynomial et la localité IMQ.
2. Universalité à noyau fixe : Preuve qu'un seul noyau Yat fixe (avec $b>0$) est universel sur tout domaine compact, et non pas simplement un membre d'une famille universelle.
3. Trace directionnelle lointaine : Identification d'un invariant structurel où les atomes Yat maintiennent une trace quadratique non nulle à l'infini, les distinguant de toutes les combinaisons radiales finies.
4. Récupération exacte IMQ : Une identité algébrique montrant que les atomes IMQ sont exactement constructibles à partir de trois atomes Yat, transférant les taux d'approximation IMQ vers Yat avec une surcharge de largeur d'un facteur 3.
5. Norme et bornes sous forme close : Dérivation d'une norme RKHS exacte ($\alpha^\top K \alpha$) et d'une borne de Rademacher monocouche dépendant explicitement des hyperparamètres $b$ et $\varepsilon$ ainsi que de la norme d'entrée $\|x\|$, offrant une transparence absente dans les MLP standards.

Résultats

• Propriétés théoriques : L'article établit que les noyaux Yat sont SDP, caractéristiques et strictement définis positifs pour $b > 0$. Ils satisfont une inclusion stricte de RKHS $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• Taux d'approximation : Grâce à l'identité de différence finie, tout taux d'approximation IMQ se transfère à Yat. Inversement, l'article démontre un « écart de complexité-largeur » : un seul atome Yat peut approximer une fonction de crête quadratique avec une précision arbitraire, tandis qu'un développement IMQ à variation bornée nécessite un nombre exponentiel d'atomes dans la dimension ambiante.
• Bornes de généralisation : La borne de Rademacher dérivée évolue comme $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. Contrairement au RBF gaussien (diagonale constante) ou à l'IMQ (diagonale constante $\varepsilon^{-1}$), la diagonale Yat dépend polynomialement de $\|x\|$, rendant $b$ et $\varepsilon$ des cibles de régularisation explicites.
• Diagnostics empiriques :
  • Sonde CLIP : Sur ImageNet-1k avec des caractéristiques CLIP figées, un classificateur Yat monocouche (centres entraînés) a atteint 73,9 % de précision, surpassant un noyau polynomial pur (72,5 %) et une variante Yat avec des centres aléatoires figés (69,5 %), isolant les bénéfices du dénominateur IMQ et de l'optimisation des centres.
  • Modèle de langage causal : Un LM causal de 261 millions de paramètres remplaçant les blocs MLP GELU par des primitives Yat a atteint le régime de précision de la base GELU (correspondant à la variance des graines) tout en obtenant une perplexité inférieure sur WikiText-103 et des tâches à longue portée. La norme RKHS sous forme close est restée applicable par couche.

Importance et affirmations

L'article affirme que le noyau Yat est la première primitive d'unité cachée finie et entraînable qui possède simultanément :

1. Une structure SDP/Mercer pour $b \ge 0$.
2. Une universalité à noyau fixe pour $b > 0$ via la domination de Loewner.
3. Un alignement non radial avec une trace directionnelle lointaine non nulle.
4. Un encastrement algébrique exact des atomes IMQ (précis à trois atomes).
5. Une norme RKHS sous forme close et locale à la couche avec une dépendance explicite aux hyperparamètres.

Les auteurs soulignent que si ces propriétés tiennent pour une seule couche, elles ne s'étendent pas à une théorie globale pour les réseaux profonds. Il n'existe pas de noyau de Mercer indépendant des paramètres qui capture la structure de Gram d'une pile Yat profonde. La théorie des couches profondes se limite à :

• Récupérations conditionnées par le préfixe : Des structures RKHS valides existent si les couches précédentes sont fixes.
• Inclusion Sobolev ambiante : Les piles de profondeur bornée résident dans un RKHS Sobolev fixe, mais les bornes de capacité sont qualitatives et souffrent d'une croissance super-exponentielle avec la profondeur.

Ce travail positionne Yat non pas comme un remplacement des MLP standards dans tous les contextes, mais comme une alternative théoriquement fondée qui restaure le lien entre les unités neuronales et la théorie des RKHS, fournissant des normes explicites et des bornes de généralisation autrement indisponibles pour les activations scalaires standards.