Sharp Sobolev Sandwich and Approximation Rates of Radon-Domain $L^p$ Ridge Integral Spaces for ReLU$^k$ Networks

Riepilogo Tecnico: Sharp Sobolev Sandwich e tassi di approssimazione per spazi integrali di cresta $L^p$ nel dominio di Radon per reti ReLU$^k$

1. Definizione del Problema

Il documento affronta la teoria dell'approssimazione quantitativa per reti neurali superficiali con attivazioni ReLU$^k$ ($\sigma_k(x) = \max\{0, x\}^k$). Mentre i teoremi di approssimazione universale qualitativa sono ben stabiliti, determinare il numero preciso di neuroni richiesti per approssimare funzioni in classi specifiche (come gli spazi di Sobolev) con una data accuratezza rimane una sfida centrale.

Nello specifico, gli autori mirano a:

1. Caratterizzare lo spazio di funzioni generato da rappresentazioni integrali di cresta con densità di coefficienti $L^p$ nel dominio di Radon.
2. Stabilire la relazione precisa tra questi spazi del dominio di Radon e i classici spazi di Sobolev $W^{s,p}(\Omega)$.
3. Derivare tassi di approssimazione netti (sharp) per la discretizzazione di queste rappresentazioni integrali utilizzando l'interpolazione deterministica e il campionamento casuale, in particolare nel regime $L^p$ ($1 < p < \infty$) e nel caso Hilbert ($p=2$).

2. Metodologia

Gli autori impiegano un framework basato sulla trasformata di Radon e sulla teoria degli operatori integrali di Fourier (FIO).

• Rappresentazione nel dominio di Radon: L'oggetto centrale è lo spazio $RL^p_k(\Omega)$, definito come l'immagine dell'operatore di integrale di cresta $S^k_R$ che agisce su densità $L^p$ $g(w, b)$ su una finestra di bias limitata $M_R = S^{d-1} \times [-R, R]$. L'integrale è dato da:
  $$S^k_R g(x) = \int_{M_R} \sigma_k(w \cdot x - b) g(w, b) \, d\lambda(w, b)$$
• Operatori di Analisi e Sintesi: Il documento definisce un operatore di analisi $A_k$ (che coinvolge la trasformata di Radon, un filtro a rampa e derivate di ordine $(k+1)$) e un operatore di sintesi $S^k_R$. La relazione tra questi operatori e la densità canonica $g_u = A_k u$ è centrale per la teoria.
• Analisi di Fourier ($p=2$): Per il caso Hilbert, gli autori utilizzano l'analisi di Fourier elementare e il teorema di Plancherel per stabilire un'isometria esatta tra lo spazio $L^2$ del dominio di Radon e lo spazio di Sobolev critico $H^{s_k}(\Omega)$.
• Regolarità FIO ($1 < p < \infty$): Per $p$ generale, l'isometria esatta fallisce. Gli autori utilizzano la teoria degli operatori integrali di Fourier, specificamente il teorema di Seeger–Sogge–Stein, per analizzare la regolarità della trasformata di Radon e del suo duale come operatori su spazi $L^p$. Ciò introduce un termine di "perdita" $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$.
• Discretizzazione: La rappresentazione integrale viene discretizzata utilizzando una combinazione di uno scheletro di interpolazione deterministico e un campionamento casuale uniforme dei neuroni per derivare limiti di approssimazione probabilistici.

3. Contributi Chiave e Risultati

A. Lo Spazio $L^p$ del Dominio di Radon e il Sobolev Sandwich
Il documento definisce lo spazio $RL^p_k(\Omega)$ e dimostra un teorema di embedding "Sobolev sandwich". A differenza del caso $p=2$ dove lo spazio coincide esattamente con uno spazio di Sobolev, per $p \neq 2$, lo spazio del dominio di Radon è compreso tra due spazi di Sobolev con un divario netto determinato dalla perdita di Seeger–Sogge–Stein.

• Teorema 3.3 (Sobolev Sandwich):
  $$W^{s_{k,p}, p}(\Omega) \hookrightarrow RL^p_k(\Omega) \hookrightarrow W^{r_{k,p}, p}(\Omega)$$
  dove gli esponenti di regolarità sono:
  $$s_{k,p} = k + \frac{d+1}{2} + \delta_p, \quad r_{k,p} = k + \frac{d+1}{2} - \delta_p$$
  e $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$.
  • Quando $p=2$, $\delta_2 = 0$, e il sandwich collassa nell'identità esatta $RL^2_k(\Omega) = H^{s_k}(\Omega)$.
  • Il divario $s_{k,p} - r_{k,p} = 2\delta_p$ è dimostrato essere ottimale; non esiste un embedding continuo con un divario minore.

B. Isometria Esatta $L^2$
Per $p=2$, il documento fornisce una dimostrazione tramite analisi di Fourier elementare (Teorema 2.2) mostrando che $RL^2_k(\Omega)$ è esattamente lo spazio di Sobolev critico $H^{s_k}(\Omega)$ con norme equivalenti. Questo recupera e chiarisce i risultati precedenti riguardanti lo spazio di Hilbert a nucleo riproducente (RKHS) delle reti ReLU$^k$, separando esplicitamente i parametri di peso e bias su un cilindro anziché su una sfera.

C. Tassi di Approssimazione
Gli autori discretizzano la rappresentazione integrale per ottenere tassi di approssimazione ad alta probabilità per le reti neurali linearizzate.

• Teorema 4.1: Per ogni $u \in RL^p_k(\Omega)$, esistono coefficienti tali che l'errore di approssimazione in $L^p(\Omega)$ decade come:
  $$\|u - f_n\|_{L^p} \leq C (\log(2/\delta))^{\alpha_p} \|u\|_{RL^p_k} n^{-\alpha_p - \gamma_{k,p}}$$
  dove $\gamma_{k,p} = \frac{k+1/p}{d}$ e $\alpha_p = 1 - \frac{1}{\min(p, 2)}$.
• Tasso Ottimale Hilbert: Per $p=2$, il tasso si semplifica in $O(n^{-s_k/d})$, recuperando il tasso informativo-teoretico ottimale per lo spazio di Sobolev critico $H^{s_k}(\Omega)$ senza i fattori logaritmici presenti in alcune analisi precedenti sulle feature casuali.

4. Significato e Rivendicazioni

Il documento sostiene di fornire un quadro teorico unificato e netto per comprendere le capacità di approssimazione delle reti ReLU$^k$ superficiali attraverso la lente della trasformata di Radon.

• Chiarificazione della Regolarità: Il lavoro chiarisce come la regolarità della funzione di attivazione (che contribuisce con $k+1$ derivate) e la retroproiezione della trasformata di Radon (che contribuisce con $\frac{d-1}{2}$ derivate in $L^2$, o $\frac{d-1}{2} - \delta_p$ in $L^p$) determinino congiuntamente la regolarità critica delle funzioni rappresentabili.
• Nitidezza dei Limiti (Sharpness): Identificando la perdita di Seeger–Sogge–Stein come il meccanismo esatto per il divario nel regime $L^p$, il documento stabilisce che il "Sobolev sandwich" derivato è netto (sharp). Ciò risolve la questione di quanta regolarità venga persa passando dall'impostazione Hilbertiana ($p=2$) a quella generale $L^p$.
• Tassi Ottimali: I tassi di approssimazione derivati per $p=2$ corrispondono ai tassi ottimali noti per le reti superficiali, confermando che le reti linearizzate con parametri fissi e ben distribuiti possono raggiungere il limite informativo-teoretico per lo spazio di Sobolev critico $H^{s_k}(\Omega)$.

Gli autori sottolineano che i loro risultati sono derivati utilizzando l'analisi di Fourier elementare per il caso $L^2$ e la teoria stabilita degli FIO per il caso $L^p$, evitando la necessità di macchinari più complessi pur fornendo costanti precise ed esponenti netti. Il lavoro serve a colmare il divario tra la teoria della rappresentazione integrale, l'analisi armonica e la teoria quantitativa dell'approssimazione delle reti neurali.