Technische Samenvatting: Actie op Afstand: Een Universele Reproducterende Kernel Hilbertruimte door Polynoomuitlijning en IMQ-Afstand

Probleemstelling

Standaard Multi-Layer Perceptron (MLP)-lagen missen een canonieke Hilbertruimtenorm. Generalisatiegrenzen voor getrainde netwerken vertrouwen doorgaans op Lipschitz- of spectrale vervangers van de gewichtsmatrix, die functieniveau-objecten zijn die losjes zijn geconstrueerd en losstaan van de specifieke eenheden. Deze structurele kloof ontstaat omdat standaard scalaire activeringen (bijv. ReLU, GELU, sigmoid) functies zijn van een inproduct $\sigma(w^\top x)$, en geen symmetrische kernelsecties van de gezamenlijke variabele $(w, x)$. Bijgevolg is de read-out van een getrainde laag geen eindig element van enige Reproducterende Kernel Hilbertruimte (RKHS), waardoor het model wordt beroofd van hulpmiddelen zoals gesloten-vorm normen, universaliteit van vaste kernels en karakteristieke eigenschappen.

Bestaande Mercer-sectieprimitieven lijden onder een afweging:

1. Radiale kernels (Gaussische RBF, Inverse Multiquadric/IMQ) bezitten localiteit en Hilbert-structuur, maar missen "uitlijning" (de kerneldiagonaal is constant, en de polynoomuitlijningsterm $(w^\top x + b)^2$ speelt geen rol).
2. Uitgelijnde kernels (universele dot-productkernels) bezitten uitlijning en Hilbert-structuur, maar missen afstandlocaliteit (geen $\|x-w\|$-afname).

Het artikel identificeert de behoefte aan een eindige, trainbare verborgen-eenheidsprimitief die gelijktijdig localiteit, uitlijning en Hilbert-structuur combineert.

Methodologie

De auteurs introduceren de Yat-kernel ($k_\Upsilon$), een rationele verborgen-eenheidsprimitief gedefinieerd als:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
Deze kernel is het Schur-product van een polynoomuitlijnerteller $p_b(x, w) = (x^\top w + b)^2$ en een Inverse Multiquadric (IMQ)-noemer $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

De methodologie verloopt via vier hoofdzakelijke theoretische pijlers:

1. Mercer-structuur en Universaliteit: Het artikel stelt vast dat voor $b \ge 0$ de kernel Positief Semidefiniet (PSD) is en bijgevolg een Mercer-kernel. Cruciaal is dat voor $b > 0$ de Yat-kernel een geschaalde IMQ-kernel Loewner-dominert ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). Volgens de insluitstelling van Aronszajn impliceert dit dat de Yat-RKHS ($\mathcal{H}_{b,\varepsilon}$) de IMQ-RKHS bevat, en erfenis trekt van de universaliteit en karakteristieke eigenschappen daarvan.
2. Niet-radiale Uitlijningsstructuur: In tegenstelling tot pure radiale kernels behouden Yat-atomen een "directioneel kwadratisch schaduwbeeld" op oneindig. De asymptotische trace langs een straal $ru$ is $T_\infty g_\varepsilon(u) = (u^\top w)^2$, onafhankelijk van $b$ en $\varepsilon$. Dit opent niet-radiale uitlijningskanalen die afwezig zijn in eindige IMQ-uitbreidingen, die op oneindig afnemen tot nul.
3. Algebraïsche IMQ-Embedding: Het artikel biedt een constructief bewijs dat elke IMQ-atom exact kan worden hersteld uit drie Yat-atomen via een tweede-orde eindige differentie in de bias-parameter $b$:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   Deze identiteit is scherp; twee atomen zijn onvoldoende om een IMQ-sectie te reproduceren.
4. Lage-lokale RKHS-capaciteit: Voor een getrainde laag met gedeelde $(b, \varepsilon)$, staat de gekwadrateerde RKHS-norm van een eindige uitbreiding $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ een gesloten-vorm uitdrukking toe: $\|f\|^2 = \alpha^\top K \alpha$, waarbij $K$ de Gram-matrix is van de getrainde gewichten. Dit maakt een directe Rademacher-generalisatiegrens mogelijk die expliciet wordt gedreven door de kerneldiagonaal $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

Belangrijkste Bijdragen

1. De Yat-kernel: Een rationele, eindige, trainbare primitief die polynoomuitlijning en IMQ-localiteit verenigt.
2. Universaliteit van Vaste Kernel: Bewijs dat een enkele vaste Yat-kernel (met $b>0$) universeel is op elk compact domein, en niet slechts een lid van een universele familie.
3. Directionele Ver-veld-Trace: Identificatie van een structurele invariant waarbij Yat-atomen een niet-nul kwadratische trace op oneindig behouden, wat hen onderscheidt van alle eindige radiale combinaties.
4. Exacte IMQ-Herstelling: Een algebraïsche identiteit die aantoont dat IMQ-atomen exact construeerbaar zijn uit drie Yat-atomen, waardoor IMQ-benaderingssnelheden worden overgedragen naar Yat met een breedte-overschot van factor 3.
5. Gesloten-vorm Norm en Grenzen: Afleiding van een exacte RKHS-norm ($\alpha^\top K \alpha$) en een single-layer Rademacher-grens die expliciet afhankelijk is van de hyperparameters $b$ en $\varepsilon$ en de inputnorm $\|x\|$, wat transparantie biedt die ontbreekt in standaard MLP's.

Resultaten

• Theoretische Eigenschappen: Het artikel stelt vast dat Yat-kernels PSD, karakteristiek en strikt positief definiet zijn voor $b > 0$. Ze voldoen aan een strikte RKHS-insluiting $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• Benaderingssnelheden: Via de eindige-differentie-identiteit wordt elke IMQ-benaderingssnelheid overgedragen naar Yat. Omgekeerd demonstreert het artikel een "breedte-complexiteitskloof": een enkele Yat-atom kan een kwadratische richelfunctie tot willekeurige nauwkeurigheid benaderen, terwijl een variatie-beperkte IMQ-uitbreiding exponentieel veel atomen vereist in de omgevende dimensie.
• Generalisatiegrenzen: De afgeleide Rademacher-grens schaalt als $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. In tegenstelling tot Gaussische RBF (constante diagonaal) of IMQ (constante diagonaal $\varepsilon^{-1}$), hangt de Yat-diagonaal polynomiaal af van $\|x\|$, waardoor $b$ en $\varepsilon$ expliciete regularisatiedoelen worden.
• Empirische Diagnostiek:
  • CLIP-probe: Op ImageNet-1k met bevroren CLIP-features behaalde een single-layer Yat-classificator (getrainde centra) 73,9% nauwkeurigheid, wat beter presteerde dan een pure polynoomkernel (72,5%) en een Yat-variant met bevroren willekeurige centra (69,5%), waardoor de voordelen van de IMQ-noemer en center-optimalisatie worden geïsoleerd.
  • Causaal Taalmodel: Een causaal LM van 261M parameters dat GELU-MLP-blokken verving door Yat-primitieven, bereikte het GELU-baseline-nauwkeurigheidsregime (overeenkomend met zaadvariatie) terwijl het een lagere perplexiteit bereikte op WikiText-103 en taken op lange afstand. De gesloten-vorm RKHS-norm bleef toepasbaar per laag.

Betekenis en Claims

Het artikel claimt dat de Yat-kernel de eerste eindige, trainbare verborgen-eenheidsprimitief is die gelijktijdig beschikt over:

1. PSD/Mercer-structuur voor $b \ge 0$.
2. Universaliteit van vaste kernel voor $b > 0$ via Loewner-dominatie.
3. Niet-radiale uitlijning met een niet-nul directionele ver-veld-trace.
4. Exacte algebraïsche embedding van IMQ-atomen (scherp bij drie atomen).
5. Een gesloten-vorm, lage-lokale RKHS-norm met expliciete afhankelijkheid van hyperparameters.

De auteurs benadrukken dat hoewel deze eigenschappen gelden voor een enkele laag, ze zich niet uitstrekken tot een globale theorie voor diepe netwerken. Er bestaat geen parameter-onafhankelijke Mercer-kernel die de Gram-structuur van een diepe Yat-stapel vastlegt. De theorie voor diepe lagen is beperkt tot:

• Prefix-geconditioneerde pullbacks: Geldige RKHS-structuren bestaan als voorgaande lagen vaststaan.
• Omgevende Sobolev-insluiting: Stacks met beperkte diepte liggen in een vaste Sobolev-RKHS, maar de capaciteitsgrenzen zijn kwalitatief en lijden onder super-exponentiële groei in diepte.

Het werk positioneert Yat niet als vervanging voor standaard MLP's in alle contexten, maar als een theoretisch onderbouwde alternatief dat de verbinding tussen neurale eenheden en RKHS-theorie herstelt, en expliciete normen en generalisatiegrenzen biedt die anders onbeschikbaar zijn voor standaard scalaire activeringen.