Riepilogo Tecnico: Azione a Distanza: Uno Spazio di Hilbert a Kernel Riproduttore Universale dall'Allineamento Polinomiale e dalla Distanza IMQ

Enunciato del Problema

I livelli standard delle Reti Neurali a Più Strati (MLP) mancano di una norma canonica nello spazio di Hilbert. I limiti di generalizzazione per le reti addestrate si basano tipicamente su surrogati Lipschitz o spettrali della matrice dei pesi, che sono oggetti a livello di funzione costruiti in modo approssimativo e disconnessi dalle unità specifiche. Questo divario strutturale nasce perché le attivazioni scalari standard (ad esempio, ReLU, GELU, sigmoide) sono funzioni di un prodotto interno $\sigma(w^\top x)$, e non sezioni simmetriche di kernel della variabile congiunta $(w, x)$. Di conseguenza, l'output di un livello addestrato non è un elemento finito di alcuno Spazio di Hilbert a Kernel Riproduttore (RKHS), privando il modello di strumenti come norme in forma chiusa, universalità a kernel fisso e proprietà caratteristiche.

Le primitive esistenti basate su sezioni di Mercer soffrono di un compromesso:

1. Kernel radiali (Gaussian RBF, Inverse Multiquadric/IMQ) possiedono località e struttura di Hilbert ma mancano di "allineamento" (la diagonale del kernel è costante e il termine di allineamento polinomiale $(w^\top x + b)^2$ non gioca alcun ruolo).
2. Kernel allineati (kernel universali del prodotto scalare) possiedono allineamento e struttura di Hilbert ma mancano di località della distanza (nessun decadimento in $\|x-w\|$).

Il documento identifica la necessità di una primitiva finita e addestrabile per unità nascoste che combini simultaneamente località, allineamento e struttura di Hilbert.

Metodologia

Gli autori introducono il kernel Yat ($k_\Upsilon$), una primitiva razionale per unità nascoste definita come:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
Questo kernel è il prodotto di Schur di un numeratore di allineamento polinomiale $p_b(x, w) = (x^\top w + b)^2$ e di un denominatore Inverse Multiquadric (IMQ) $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$.

La metodologia procede attraverso quattro pilastri teorici principali:

1. Struttura di Mercer e Universalità: Il documento stabilisce che per $b \ge 0$, il kernel è Semidefinito Positivo (PSD) e quindi un kernel di Mercer. Crucialmente, per $b > 0$, il kernel Yat domina in senso di Loewner un kernel IMQ scalato ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). Per il teorema di inclusione di Aronszajn, ciò implica che l'RKHS Yat ($\mathcal{H}_{b,\varepsilon}$) contiene l'RKHS IMQ, ereditandone le proprietà di universalità e caratteristicità.
2. Struttura di Allineamento Non Radiale: A differenza dei kernel radiali puri, gli atomi Yat mantengono un'"ombra quadratica direzionale" all'infinito. La traccia asintotica lungo un raggio $ru$è$T_\infty g_\varepsilon(u) = (u^\top w)^2$, indipendente da $b$ ed $\varepsilon$. Ciò apre canali di allineamento non radiali assenti nelle espansioni IMQ finite, che decadono a zero all'infinito.
3. Incorporamento Algebrico IMQ: Il documento fornisce una prova costruttiva che qualsiasi atomo IMQ può essere esattamente recuperato da tre atomi Yat tramite una differenza finita del secondo ordine nel parametro di bias $b$:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   Questa identità è precisa; due atomi sono insufficienti per riprodurre una sezione IMQ.
4. Capacità RKHS Locale al Livello: Per un livello addestrato con $(b, \varepsilon)$ condivisi, il quadrato della norma RKHS di un'espansione finita $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$ ammette un'espressione in forma chiusa: $\|f\|^2 = \alpha^\top K \alpha$, dove $K$ è la matrice di Gram dei pesi addestrati. Ciò consente un limite di generalizzazione di Rademacher diretto guidato esplicitamente dalla diagonale del kernel $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$.

Contributi Chiave

1. Il Kernel Yat: Una primitiva razionale, finita e addestrabile che unifica allineamento polinomiale e località IMQ.
2. Universalità a Kernel Fisso: Dimostrazione che un singolo kernel Yat fisso (con $b>0$) è universale su ogni dominio compatto, non meramente un membro di una famiglia universale.
3. Traccia Distanziale Direzionale: Identificazione di un invariante strutturale in cui gli atomi Yat mantengono una traccia quadratica non nulla all'infinito, distinguendoli da tutte le combinazioni radiali finite.
4. Recupero Esatto IMQ: Un'identità algebrica che mostra come gli atomi IMQ siano esattamente costruibili da tre atomi Yat, trasferendo i tassi di approssimazione IMQ a Yat con un sovraccarico di larghezza di un fattore 3.
5. Norma e Limiti in Forma Chiusa: Derivazione di una norma RKHS esatta ($\alpha^\top K \alpha$) e di un limite di Rademacher a singolo livello che dipende esplicitamente dagli iperparametri $b$ ed $\varepsilon$ e dalla norma di input $\|x\|$, offrendo trasparenza assente nelle MLP standard.

Risultati

• Proprietà Teoriche: Il documento stabilisce che i kernel Yat sono PSD, caratteristici e strettamente definiti positivi per $b > 0$. Soddisfano un'inclusione RKHS stretta $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$.
• Tassi di Approssimazione: Attraverso l'identità della differenza finita, qualsiasi tasso di approssimazione IMQ si trasferisce a Yat. Viceversa, il documento dimostra un "divario di complessità-larghezza": un singolo atomo Yat può approssimare una funzione cresta quadratica con accuratezza arbitraria, mentre un'espansione IMQ a variazione limitata richiede un numero esponenziale di atomi nella dimensione ambientale.
• Limiti di Generalizzazione: Il limite di Rademacher derivato scala come $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$. A differenza di Gaussian RBF (diagonale costante) o IMQ (diagonale costante $\varepsilon^{-1}$), la diagonale Yat dipende polinomialmente da $\|x\|$, rendendo $b$ ed $\varepsilon$ obiettivi di regolarizzazione espliciti.
• Diagnostica Empirica:
  • Sonda CLIP: Su ImageNet-1k con caratteristiche CLIP congelate, un classificatore Yat a singolo livello (centri addestrati) ha raggiunto il 73,9% di accuratezza, superando un kernel puramente polinomiale (72,5%) e una variante Yat con centri casuali congelati (69,5%), isolando i benefici del denominatore IMQ e dell'ottimizzazione dei centri.
  • Modello Linguistico Causale: Un LM causale da 261 milioni di parametri che sostituisce i blocchi MLP GELU con primitive Yat ha raggiunto il regime di accuratezza di base GELU (corrispondendo alla varianza del seme) ottenendo al contempo una perplessità inferiore su WikiText-103 e su compiti a lungo raggio. La norma RKHS in forma chiusa è rimasta applicabile per livello.

Significato e Affermazioni

Il documento afferma che il kernel Yat è la prima primitiva finita e addestrabile per unità nascoste che possiede simultaneamente:

1. Struttura PSD/Mercer per $b \ge 0$.
2. Universalità a kernel fisso per $b > 0$ tramite dominazione di Loewner.
3. Allineamento non radiale con una traccia distanziale direzionale non nulla all'infinito.
4. Incorporamento algebrico esatto di atomi IMQ (preciso a tre atomi).
5. Una norma RKHS in forma chiusa e locale al livello con dipendenza esplicita dagli iperparametri.

Gli autori sottolineano che, sebbene queste proprietà valgano per un singolo livello, non si estendono a una teoria globale per le reti profonde. Non esiste un kernel di Mercer indipendente dai parametri che catturi la struttura di Gram di una pila profonda di Yat. La teoria dei livelli profondi è limitata a:

• Ritorni condizionati al prefisso: Strutture RKHS valide esistono se i livelli precedenti sono fissi.
• Inclusione Sobolev ambientale: Pile di profondità limitata risiedono in un RKHS Sobolev fisso, ma i limiti di capacità sono qualitativi e soffrono di una crescita super-esponenziale con la profondità.

Il lavoro posiziona Yat non come sostituto delle MLP standard in tutti i contesti, ma come un'alternativa fondata teoricamente che ripristina la connessione tra unità neurali e teoria RKHS, fornendo norme esplicite e limiti di generalizzazione altrimenti non disponibili per le attivazioni scalari standard.