Neural Network Field Theory at Finite Width

Sintesi Tecnica: Teoria dei Campi a Reti Neurali a Larghezza Finita

Enunciato del Problema
Il saggio investiga i limiti della rappresentazione della Meccanica Quantistica (QM) e delle Teorie di Campo Quantistico (QFT) mediante reti neurali (NN) con un numero finito di parametri ($N < \infty$). Mentre lavori precedenti hanno stabilito che qualsiasi QM o QFT con una misura non negativa ammette una rappresentazione esatta tramite una rete neurale con un numero numericamente infinito di parametri casuali, le proprietà di tali rappresentazioni quando troncate a una larghezza finita rimangono poco chiare. La questione centrale è: quali proprietà fondamentali delle convenzionali QFT euclidee (come la positività per riflessione, la decomposizione del cluster e la natura specifica delle configurazioni di campo) possono essere preservate esattamente a $N$ finito, e quali devono invece essere violate?

Una sottigliezza chiave affrontata è che, tramite il teorema di isomorfismo di Borel, un singolo parametro casuale può formalmente codificare una quantità infinita di informazioni. Pertoco, gli autori distinguono tra "finito" in senso di conteggio dei parametri e "finito" in senso computazionale o architettonico. L'analisi si concentra su architetture naturali a larghezza finita, come reti a strato singolo con feature fisse o pesi di input casuali, che non possono nascondere computazioni infinite all'interno di un insieme finito di parametri.

Metodologia
Gli autori impiegano una combinazione di analisi funzionale, teoria spettrale e tecniche di QFT costruttiva per analizzare gli ensemble di reti neurali a larghezza finita. La metodologia procede in due fasi principali:

1. Meccanica Quantistica (1D): Gli autori analizzano processi stocastici $x(t)$ che rappresentano traiettorie quantistiche. Utilizzano l'espansione Kosambi-Karhunen-Loève (KKL), che fornisce una decomposizione ortogonale ottimale di un processo stocastico basata sugli autovettori del suo operatore di covarianza. Confrontano la natura a rango infinito del kernel di covarianza nella QM standard (derivata dagli assiomi di Osterwalder-Schrader) rispetto alla natura a rango finito di una qualsiasi rete neurale a larghezza finita.
2. Teoria di Campo Quantistico (d $\ge$ 2): L'analisi si sposta su campi casuali generalizzati (distribuzioni di Schwartz). Gli autori esaminano tre ostacoli specifici:
   • Limiti di Punto Coincidente: Analizzano il comportamento delle funzioni a due punti quando i punti coincidono ($x \to y$), il che tipicamente diverge nelle QFT a causa delle singolarità ultraviolette (UV).
   • Analisi nello Spazio dei Momenti: Investigano il supporto della trasformata di Fourier delle configurazioni di campo, utilizzando la proprietà di decomposizione del cluster (mixing) per determinare il contenuto di momento dei tipici campionamenti di campo.
   • Neuroni Distribuzionali: Testano se permettere ai neuroni stessi di essere distribuzioni di Schwartz (invece di funzioni ordinarie) possa risolvere il disallineamento tra le reti a larghezza finita e le configurazioni di campo delle QFT.

Contributi Chiave e Risultati

1. Ostacolo nella Meccanica Quantistica (N Finito)
Il saggio dimostra che una rete neurale a larghezza finita non può riprodurre esattamente le funzioni di correlazione di un sistema di meccanica quantistica convenzionale che soddisfi gli assiomi di Osterwalder-Schrader (OS).

• Argomento del Conteggio delle Dimensioni: Gli integrali di cammino della QM standard sono supportati su percorsi continui e non derivabili (es. moto browniano). Una somma finita di funzioni derivabili a tratti (neuroni standard) genera percorsi che sono derivabili quasi ovunque, fallendo nel catturare la natura non derivabile del vero processo di misura.
• Argomento di Ottimalità KKL: Il kernel di covarianza di un sistema QM non banale ha infiniti autovalori strettamente positivi (rango infinito). Una rete a largzza finita corrisponde a una proiezione su uno spazio vettoriale a dimensione finita. In virtù dell'ottimalità dell'espansione KKL, qualsiasi troncamento finito incurre in un errore quadratico medio non nullo. Nello specifico, gli autori mostrano che per ogni spazio di feature finito, esiste una direzione nello spazio delle funzioni dove la rete ha varianza nulla, mentre il vero processo QM ha una varianza strettamente positiva in ogni direzione non nulla (Lemma 2).

2. Ostacoli nella Teoria di Campo Quantistico (N Finito)
Per $d \ge 2$, gli autori identificano che le reti neurali a larghezza finita violano genericamente almeno un assioma OS.

• Divergenze di Punto Coincidente: Le convenzionali QFT con rappresentazioni Källén-Lehmann non banali presentano funzioni a due punti divergenti nei punti coincidenti (logaritmiche in $d=2$, a legge di potenza in $d>2$).
  • Risultato: Qualsiasi architettura a larghezza finita in cui gli output dei neuroni abbiano varianza puntuale limitata (una condizione soddisfatta da attivazioni standard come ReLU o funzioni limitate con parametri a momento finito) produce una varianza smussata (smeared) finita. Di conseguenza, tali reti non possono riprodurre le divergenze UV richieste da una QFT non banale.
  • Eccezione: Gli autori mostrano che se si rilassa la condizione di varianza finita (es. usando distribuzioni di parametri a coda pesante o ampiezze singolari), una rete a larghezza finita (anche di larghezza 1) può riprodurre la corretta funzione a due punti e la positività per riflessione. Tuttavia, ciò richiede statistiche dei parametri "non fisiche" per il campionamento Monte Carlo pratico.
• Ostacolo nello Spazio dei Momenti (Decomposizione del Cluster):
  • Risultato: Sotto l'assunto della decomposizione del cluster (mixing), un tipico campionamento di campo in una QFT deve avere un supporto di Fourier su tutto lo spazio dei momenti $\mathbb{R}^d$.
  • Ostacolo: Una rete a strato singolo a larghezza finita $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ ha una trasformata di Fourier supportata solo sull'unione di $N$ rette (proporzionali ai pesi di input $a_i$). Poiché un'unione finita di rette è un sottoinsieme di misura zero di $\mathbb{R}^d$ per $d \ge 2$, la rete non può riprodurre il pieno supporto di momento richiesto da una QFT con decomposizione del cluster. Ciò conduce a una violazione della decomposizione del cluster o della positività per riflessione nelle funzioni a punti superiori.
• Neuroni Distribuzionali: Anche se i neuroni vengono generalizzati in distribuzioni di Schwartz (permettendo all'output della rete di essere una distribuzione piuttosto che una funzione), l'ostacolo del rango finito persiste. Una somma finita di distribuzioni lascia comunque un kernel a dimensione infinita dove il campo è deterministico, contraddicendo la non banale covarianza Källén-Lehmann che richiede fluttuazioni in tutte le direzioni.

Significatività e Rivendicazioni
Il saggio conclude che le rappresentazioni di QM e QFT tramite reti neurali a larghezza finita sono fondamentalmente incompatibili con l'insieme completo degli assiomi di Osterwalder-Schrader.

• Realizzazione Esatta: Per realizzare esattamente una QFT convenzionale tramite una rete neurale, è necessario o prendere il limite di larghezza infinita ($N \to \infty$) o impiegare architetture/densità di parametri che violino esplicitamente gli assunti fisici standard (es. usando parametri a varianza infinita o sacrificando la decomposizione del cluster).
• Natura delle Teorie a N Finito: Le teorie definite da reti neurali a $N$ finito non sono semplici "approssimazioni" delle QFT standard; sono teorie "esotiche" distinte che necessariamente mancano di proprietà quali la covarianza euclidea, la positività per riflessione o la decomposizione del cluster.
• Implicazioni Pratiche: Sebbene le reti a larghezza finita non possano riprodurre esattamente le QFT standard, gli autori notano che approssimazioni troncate sono comunque utilizzate in studi numerici (es. teoria di Liouville, teoria di Maxwell). Tuttavia, le proprietà statistiche di queste approssimazioni non sono garantite corrispondere alla teoria target, e gli errori non sono meramente numerici ma strutturali.

Il lavoro non propone nuove applicazioni sperimentali ma serve come rigorosa caratterizzazione teorica dei limiti delle reti neurali a larghezza finita come rappresentazioni di sistemi quantistici continui. Suggerisce che la ricerca futura debba concentrarsi sul quantificare il grado di violazione degli assiomi OS in funzione di $N$ e classificare quali combinazioni di assiomi possono essere preservate a larghezza finita.