Neural Network Field Theory at Finite Width

Technische Samenvatting: Neurale Netwerkveldentheorie bij Eindige Breedte

Probleemstelling
Het artikel onderzoekt de beperkingen van het representeren van Kwantummechanica (QM) en Kwantumveldentheorieën (QFT) met behulp van neurale netwerken (NN) met een eindig aantal parameters ($N < \infty$). Terwijl eerder werk vaststelde dat elke QM of QFT met een niet-negatieve maat exact gerepresenteerd kan worden via een neuraal netwerk met een telbaar oneindig aantal willekeurige parameters, blijven de eigenschappen van dergelijke representaties wanneer ze worden afgekapt naar een eindige breedte onduidelijk. De centrale vraag is: welke fundamentele eigenschappen van conventionele Euclidische QFT's (zoals reflectiepositiviteit, clusterdecompositie en de specifieke aard van veldconfiguraties) kunnen exact behouden worden bij een eindige $N$, en welke moeten worden geschonden?

Een belangrijke nuance die wordt behandeld, is dat één enkele willekeurige parameter via het Borel-isomorfismetheorema formeel een oneindige hoeveelheid informatie kan coderen. Daarom maken de auteurs onderscheid tussen "eindig" in de zin van parameter-telling versus "eindig" in de zin van computationele of architecturale zin. De analyse richt zich op natuurlijke architecturen met een eindige breedte, zoals single-layer netwerken met vaste kenmerken of willekeurige inputgewichten, die geen oneindige berekeningen binnen een eindige set parameters kunnen verbergen.

Methodologie
De auteurs maken gebruik van een combinatie van functionele analyse, spectrale theorie en constructieve QFT-technieken om ensembles van neurale netwerken met een eindige breedte te analyseren. De methodologie verloopt in twee hoofdfasen:

1. Kwantummechanica (1D): De auteurs analyseren stochastische processen $x(t)$ die kwantumtrajecten vertegenwoordigen. Zij maken gebruik van de Kosambi-Karhunen-Loève (KKL) expansie, die een optimale orthogonale decompositie biedt van een stochastisch proces op basis van de eigenfuncties van zijn covariantie-operator. Zij vergelijken de oneindige rang van de covariantie-kernel in standaard QM (afgeleid van de Osterwalder-Schrader axioma's) met de eindige rang van elk neuraal netwerk met een eindige breedte.
2. Kwantumveldentheorie (d $\ge$ 2): De analyse verschuift naar gegeneraliseerde willekeurige velden (Schwartz-distributies). De auteurs onderzoeken drie specifieke obstructies:
   • Coincident-Point Limieten: Zij analyseren het gedrag van twee-puntsfuncties wanneer punten samenvallen ($x \to y$), wat typisch divergeert in QFT vanwege ultraviolette (UV) singulariteiten.
   • Momentum-ruimte Analyse: Zij onderzoeken de ondersteuning (support) van de Fourier-transformatie van veldconfiguraties, waarbij zij de clusterdecompositie eigenschap (mixing) gebruiken om de momentuminhoud van typische veld-trekken te bepalen.
   • Distributionele Neuronen: Zij testen of het toestaan dat de neuronen zelf Schwartz-distributies zijn (in plaats van gewone functies) de discrepantie tussen eindige netwerken en QFT-veldconfiguraties kan oplossen.

Belangrijkste Bijdragen en Resultaten

1. Obstructie in Kwantummechanica (Eindige N)
Het artikel bewijst dat een neuraal netwerk met een eindige breedte niet exact de correlatiefuncties van een conventioneel kwantumsysteem dat voldoet aan de Osterwalder-Schrader (OS) axioma's kan reproduceren.

• Dimensie-telling Argument: Standaard QM padintegralen worden ondersteund door continue, nergens differentieerbare paden (bijv. Brownse beweging). Een eindige som van stuksgewijs differentieerbare functies (standaard neuronen) genereert paden die bijna overal differentieerbaar zijn, waardoor ze niet in staat zijn de nergens differentieerbare aard van de ware maat te vangen.
• KKL Optimaliteitsargument: De covariantie-kernel van een niet-triviaal QM-systeem heeft oneindig veel strikt positieve eigenwaarden (oneindige rang). Een neuraal netwerk met een eindige breedte komt overeen met een projectie op een eindig-dimensionale subruimte. Door de optimaliteit van de KKL-expansie brengt elke eindige afkaping een niet-nul gemiddelde kwadratische fout met zich mee. Specifiek tonen de auteurs aan dat er voor elke eindige feature-ruimte een richting in de functieruimte bestaat waar het netwerk een nul-variantie heeft, terwijl het ware QM-proces een strikt positieve variantie heeft in elke niet-nul richting (Lemma 2).

2. Obstructies in Kwantumveldentheorie (Eindige N)
Voor $d \ge 2$ stellen de auteurs vast dat neurale netwerken met een eindige breedte generiek ten minste één OS-axioma schenden.

• Coincident-Point Divergenties: Conventionele QFT's met niet-triviale Källén-Lehmann representaties vertonen divergerende twee-puntsfuncties bij samenvallende punten ($x \to y$).
  • Resultaat: Elke architectuur met een eindige breedte waarbij de output van de neuronen een begrensde puntwijze variantie heeft (een conditie die wordt vervuld door standaard activaties zoals ReLU of begrensde functies met parameters met een eindig moment), levert een eindige gesmeerde (smeared) variantie op. Bijgevolg kunnen dergelijke netwerken de vereiste UV-divergenties van een niet-triviale QFT niet reproduceren.
  • Uitzondering: De auteurs tonen aan dat als men de conditie van eindige variantie versoepelt (bijv. door zware staart-verdelingen van parameters of singular amplitudes te gebruiken), een neuraal netwerk met een eindige breedte (zelfs breedte-1) de correcte twee-puntsfunctie en reflectiepositiviteit kan reproduceren. Dit vereist echter "onfysische" statistische parameters voor praktische Monte Carlo-sampling.
• Momentum-ruimte Obstructie (Clusterdecompositie):
  • Resultaat: Onder de aanname van clusterdecompositie (mixing), moet een typische veld-trek in een QFT Fourier-ondersteuning hebben over de gehele momentumruimte $\mathbb{R}^d$.
  • Obstructie: Een single-layer neuraal netwerk met een eindige breedte $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ heeft een Fourier-transformatie die slechts ondersteuning heeft op de vereniging van $N$ lijnen (proportioneel aan de inputgewichten $a_i$). Aangezien een eindige vereniging van lijnen een maat-nul deelverzameling is van $\mathbb{R}^d$ voor $d \ge 2$, kan het netwerk de volledige momentum-ondersteuning die vereist is door een geclusterde QFT niet reproduceren. Dit leidt tot een schending van clusterdecompositie of reflectiepositiviteit in hogere-punt functies.
• Distributionele Neuronen: Zelfs als de neuronen worden gegeneraliseerd tot Schwartz-distributies (waardoor de output van het netwerk een distributie is in plaats van een functie), blijft de eindige-rang obstructie bestaan. Een eindige som van distributies laat nog steeds een oneindig-dimensionale kernel achter waar het veld deterministisch is, wat in strijd is met de niet-triviale Källén-Lehmann covariantie die fluctuaties in alle richtingen vereist.

Betekenis en Claims
Het artikel concludeert dat representaties van QM en QFT via neurale netwerken met een eindige breedte fundamenteel incompatibel zijn met de volledige set van Osterwalder-Schrader axioma's.

• Exacte Realisatie: Om een conventionele QFT exact te realiseren via een neuraal netwerk, moet men ofwel de oneindige-breedte limiet nemen ($N \to \infty$), ofwel architecturen/parameterdichtheden gebruiken die expliciet de standaard fysieke aannames schenden (bijv. het gebruik van parameters met oneindige variantie of het opofferen van clusterdecompositie).
• Aard van Eindige-N Theorieën: Theorieën gedefinieerd door eindige-$N$ neurale netwerken zijn niet louter "benaderingen" van standaard QFT's; het zijn afzonderlijke, "exotische" theorieën die noodzakelijkerwijs eigenschappen zoals Euclidische covariantie, reflectiepositiviteit of clusterdecompositie missen.
• Praktische Implicaties: Hoewel neurale netwerken met een eindige breedte niet exact de standaard QFT kunnen reproduceren, merken de auteurs op dat afgekapte benaderingen nog steeds worden gebruikt in numerieke studies (bijv. Liouville-theorie, Maxwell-theorie). Echter, de statistische eigenschappen van deze benaderingen zijn niet gegarandeerd overeen te komen met de doeltheorie, en de fouten zijn niet louter numeriek maar structureel.

Het werk stelt geen nieuwe experimentele toepassingen voor, maar dient als een rigoureuze theoretische karakterisering van de beperkingen van neurale netwerken met een eindige breedte als representaties van continuüm kwantumsystemen. Het suggereert dat toekomstig onderzoek zich moet richten op het kwantificeren van de mate van schending van de OS-axioma's als functie van $N$ en het classificeren van welke combinaties van axioma's behouden kunnen blijven bij een eindige breedte.