Wahkon: A Statistically Principled Deep RKHS Superposition Network

Sintesi Tecnica: Wahkon – Una Rete di Superposizione Profonda RKHS Statisticamente Principiata

Enunciato del Problema
L'apprendimento profondo moderno eccelle nella previsione ma spesso manca di garanzie teoriche su campioni finiti e di una quantificazione calibrata dell'incertezza. Al contrario, i metodi non parametrici classici basati sugli Spazi di Hilbert a Nucleo Riproduttivo (RKHS) forniscono un rigoroso controllo della regolarità, tassi di convergenza ottimali e interpretazioni bayesiane (tramite Processi Gaussiani), ma faticano ad adattarsi a dati ad alta dimensionalità ed eterogenei a causa di strutture a nucleo fisse. Sebbene la teoria del Kernel Tangente Neurale (NTK) colleghi le reti profonde ai kernel, essa si basa tipicamente su regimi di "allenamento pigro" in cui le caratteristiche non vengono apprese. La sfida consiste nel unificare il potere di rappresentazione adattivo delle architetture profonde con il rigore statistico e l'interpretabilità della regolarizzazione RKHS.

Metodologia
Gli autori propongono Wahkon, una rete di superposizione profonda RKHS che integra il principio di superposizione di Kolmogorov con il framework degli spline di regolarizzazione di Wahba.

• Architettura: Wahkon adotta una struttura composita profonda in cui la rete approssima una funzione di regressione multivariata $\eta(x)$ attraverso $L$ livelli. A differenza dei classici Perceptron Multistrato (MLP) che utilizzano funzioni di attivazione fisse (ad es. ReLU), Wahkon apprende funzioni di collegamento univariate $\phi^{(l)}_{jk}$ lungo ogni arco della rete.
• Vincolo RKHS: Ogni funzione di collegamento appresa è vincolata a giacere all'interno di un comune RKHS $\mathcal{H}_K$. L'output della rete è una composizione di somme di queste funzioni univariate:
  $$x^{(l)}_j = \sum_{k=1}^{D_{l-1}} \phi^{(l)}_{jk}(x^{(l-1)}_k)$$
• Stima Penalizzata: Il modello viene addestrato minimizzando un obiettivo dei minimi quadrati penalizzato. Il termine di penalità impone norme RKHS sulle funzioni di collegamento, controllate da parametri di regolarizzazione specifici per livello $\lambda_l$:
  $$J(\eta_{\text{Wahkon}}) = \sum_{l=1}^L \lambda_l \sum_{j=1}^{D_l} \sum_{k=1}^{D_{l-1}} \|\phi^{(l)}_{jk}\|^2_{\mathcal{H}_K}$$
• Teorema del Rappresentante Profondo: Nonostante la natura a dimensione infinita dello spazio delle funzioni per ogni collegamento, gli autori dimostrano che il minimizzatore ammette una rappresentazione a dimensione finita. Nello specifico, ogni funzione di collegamento può essere espressa come una combinazione lineare di valutazioni del nucleo centrate sugli input adattati del livello precedente. Ciò riduce l'ottimizzazione a una collezione finita di tensori di coefficienti.
• Obiettivo Profilo: Per migliorare l'efficienza dell'ottimizzazione, gli autori derivano un obiettivo profilo in cui i coefficienti dell'ultimo livello sono risolti analiticamente (come una regressione ridge a nucleo standard) condizionatamente ai coefficienti dei livelli inferiori. Ciò consente agli aggiornamenti basati sul gradiente di concentrarsi sull'apprendimento delle rappresentazioni delle caratteristiche nei livelli inferiori.
• Interpretazione Bayesiana: Si dimostra che lo stimatore penalizzato è esattamente la stima di Massima A Posteriori (MAP) sotto un prior gerarchico di Processo Gaussiano (GP), dove GPs indipendenti a media zero sono assegnati alle funzioni di collegamento a ogni livello.

Contributi Chiave

1. Teorema del Rappresentante Profondo: Il lavoro stabilisce un teorema del rappresentante a dimensione finita per le reti di superposizione profonde RKHS. Ciò estende il paradigma KAN (Kolmogorov–Arnold Network) a un contesto RKHS principiato, sostituendo le basi B-spline fisse e le penalità euristico con una regolarizzazione RKHS rigorosa, abilitando così garanzie di convergenza su campioni finiti.
2. Estensione della Dualità Spline/GP: Gli autori dimostrano che lo stimatore penalizzato Wahkon coincide con la stima MAP sotto un prior GP gerarchico profondo. Ciò estende la dualità classica tra spline di regolarizzazione e GPs alle strutture compositive profonde, fornendo una fondazione bayesiana per il modello.
3. Tassi di Convergenza Minimax-Ottimali: Sotto lievi assunzioni di regolarità, il lavoro deriva tassi di convergenza minimax-ottimali. L'analisi caratterizza esplicitamente il compromesso tra profondità della rete, larghezza e regolarità delle funzioni di collegamento, mostrando come la crescita architetturale debba essere bilanciata con la regolarizzazione RKHS per controllare la complessità statistica.

Risultati Empirici

• Benchmark Sintetici: Wahkon è stato valutato su quattro funzioni benchmark che coprono strutture non lineari, radiali, additive e compositive nidificate. Ha costantemente raggiunto un errore quadratico medio (RMSE) di test inferiore rispetto a MLP, Kernel Tangente Neurale (NTK) e reti Kolmogorov–Arnold (KAN) standard.
  • Gli MLP hanno ottenuto prestazioni inferiori nonostante un numero di parametri simile, suggerendo che l'apprendimento di collegamenti univariati all'interno di un RKHS è più efficiente in termini di campione rispetto ad attivazioni fisse.
  • I KAN hanno mostrato prestazioni migliorate a dimensioni campionarie più elevate, ma sono rimasti indietro nel comportamento su campioni finiti a causa della mancanza di regolarizzazione RKHS esplicita.
  • L'NTK ha performato in modo competitivo su piccoli campioni ma ha raggiunto un plateau in anticipo.
• Applicazione Reale: In uno studio CITE-seq a singola cellula (predizione dell'abbondanza di proteine di superficie dai dati RNA), Wahkon ha superato MLP, KAN e NTK su 25 target proteici. Ha dimostrato un successo particolare nella predizione degli isoformi di CD45, che differenziano le cellule T naive e quelle di memoria, con una variabilità inferiore tra le divisioni casuali dei dati.
• Comportamento del Prior: Le simulazioni del prior GP gerarchico hanno rivelato che i livelli più profondi esibiscono un comportamento non gaussiano con una distribuzione simile a "spike-and-slab", suggerendo una contrazione automatica di molti collegamenti mentre si preserva la capacità di un sottoinsieme di rimanere attivo.

Significato e Affermazioni
Il lavoro afferma che Wahkon unisce con successo il principio di superposizione di Kolmogorov con la regolarizzazione RKHS per creare un modello profondo che è simultaneamente espressivo e statisticamente controllato. Sostituendo le attivazioni fisse con collegamenti univariati appresi e regolarizzati, Wahkon offre un framework che garantisce:

• Accuratezza: Prestazioni predittive superiori sia su benchmark sintetici che biologici.
• Interpretabilità: L'uso di funzioni di collegamento univariate permette l'ispezione delle trasformazioni delle singole caratteristiche.
• Rigore Statistico: Il modello fornisce garanzie su campioni finiti, controllo esplicito della complessità e un'interpretazione bayesiana principiata tramite l'equivalenza MAP.

Gli autori posizionano Wahkon come un modello per costruire modelli profondi che non siano solo accurati, ma anche affidabili e spiegabili, colmando il divario tra l'apprendimento delle rappresentazioni moderno e l'inferenza statistica classica. Riconoscono i costi computazionali come un limite, suggerendo kernel approssimati e strutture a rango basso come direzioni future, e notano che l'inferenza posteriore scalabile rimane un problema aperto.