Neural Network Field Theory at Finite Width

Technisches Resümee: Neuronale Netzwerkfeldtheorie bei endlicher Breite

Problemstellung
Die vorliegende Arbeit untersucht die Limitationen bei der Darstellung von Quantenmechanik (QM) und Quantenfeldtheorien (QFT) mittels neuronaler Netze (NN) mit einer endlichen Anzahl von Parametern ($N < \infty$). Während frühere Arbeiten etablierten, dass jede QM oder QFT mit einem nicht-negativen Maß mittels eines neuronalen Netzes mit einer zählbar unendlichen Anzahl an Zufallsparametern exakt dargestellt werden kann, bleibt die Eigenschaft solcher Repräsentationen bei einer auf endliche Breite abgeschnittenen Form ungeklärt. Die zentrale Frage lautet: Welche fundamentalen Eigenschaften konventioneller euklidischer QFTs (wie etwa Reflexionspositivität, Cluster-Zerlegung und die spezifische Natur der Feldkonfigurationen) können bei endlichem $N$ exakt bewahrt werden, und welche müssen verletzt werden?

Ein wesentlicher Aspekt, der hierbei adressiert wird, ist, dass ein einzelner Zufallsparameter via des Borelschen Isomorphismus-Theorems formal eine unendliche Menge an Informationen kodieren kann. Daher unterscheiden die Autoren zwischen „endlich“ im Sinne der Parameterzählung versus „endlich“ im Sinne einer computationalen oder architektonischen Struktur. Die Analyse konzentriert sich auf natürliche Architekturen endlicher Breite, wie etwa ein-lagige Netzwerke mit festen Merkmalen oder zufälligen Eingangs-Gewichten, die keine unendlichen Berechnungen innerhalb eines endlichen Satzes von Parametern verbergen können.

Methodik
Die Autoren verwenden eine Kombination aus Funktionalanalysis, Spektraltheorie und konstruktiven QFT-Techniken, um endliche-Breiten-Ensembles neuronaler Netze zu analysieren. Die Methodik gliedert sich in zwei Hauptphasen:

1. Quantenmechanik (1D): Die Autoren analysieren stochastische Prozesse $x(t)$, die Quanten-Trajektorien repräsentieren. Sie nutzen die Kosambi-Karhunen-Loève-Expansion (KKL), welche eine optimale orthogonale Zerlegung eines stochastischen Prozesses basierend auf den Eigenfunktionen seines Kovarianzoperators bereitstellt. Sie vergleichen die unendlich-rangige Natur des Kovarianzkerns in der Standard-QM (abgeleitet aus den Osterwalder-Schrader-Axiomen) mit der endlich-rangigen Natur eines endlichen-breiten neuronalen Netzes.
2. Quantenfeldtheorie (d $\ge$ 2): Die Analyse verschiebt sich zu verallgemeinerten Zufallsfeldern (Schwartz-Distributionen). Die Autoren untersuchen drei spezifische Hindernisse:
   • Zusammenfallende Punktgrenzwerte (Coincident-Point Limits): Sie analysieren das Verhalten von Zwei-Punkt-Funktionen, wenn Punkte zusammenfallen ($x \to y$), was in der QFT typischerweise aufgrund von Ultraviolett (UV)-Singularitäten divergiert.
   • Impulsraum-Analyse: Sie untersuchen die Unterstützung der Fourier-Transformierten von Feldkonfigurationen unter Verwendung der Eigenschaft der Cluster-Zerlegung (Mixing), um den Impulsgehalt typischer Feld-Züge zu bestimmen.
   • Distributionale Neuronen: Sie testen, ob die Zulassung von Distributionen (im Sinne von Schwartz-Distributionen) als Neuronen selbst – anstatt gewöhnlicher Funktionen – die Diskrepanz zwischen endlichen Netzwerken und QFT-Feldkonfigurationen lösen kann.

Zentrale Beiträge und Ergebnisse

1. Hindernis in der Quantenmechanik (Endliches N)
Das Paper beweist, dass ein neuronales Netz endlicher Breite die Korrelationsfunktionen eines konventionellen quantenmechanischen Systems, das die Osterwalder-Schrader (OS)-Axiome erfüllt, nicht exakt reproduzieren kann.

• Dimensionszählung-Argument: Standard-QM-Pfadintegrale sind auf kontinuierlichen, nirgends differenzierbaren Pfaden unterstützt (z. B. Brownsche Bewegung). Eine endliche Summe stückweise differenzierbarer Funktionen (Standard-Neuronen) erzeugt Pfade, die fast überall differenzierbar sind, und versagt somit darin, die nirgends differenzierbare Natur des wahren Maßes zu erfassen.
• KKL-Optimalitätsargument: Der Kovarianzkern eines nicht-trivialen QM-Systems besitzt unendlich viele streng positive Eigenwerte (unendlicher Rang). Ein endliches-breites neuronales Netz entspricht einer Projektion auf einen endlich-dimensionalen Unterraum. Aufgrund der Optimalität der KKL-Expansion führt jede endliche Trunkierung zu einem nicht-verschwindenden mittleren quadratischen Fehler. Speziell zeigen die Autoren, dass für jeden endlichen Merkmalsraum eine Richtung im Funktionsraum existiert, in der das Netzwerk eine Null-Varianz aufweist, während der wahre QM-Prozess in jeder nicht-nullen Richtung eine streng positive Varianz besitzt (Lemma 2).

2. Hindernisse in der Quantenfeldtheorie (Endliches N)
Für $d \ge 2$ identifizieren die Autoren, dass endliche-breite Netzwerke generisch mindestens ein OS-Axiom verletzen.

• Divergenzen an zusammenfallenden Punkten: Konventionelle QFTs mit nicht-trivialen Källén-Lehmann-Darstellungen weisen divergente Zwei-Punkt-Funktionen an zusammenfallenden Punkten auf (logarithmisch in $d=2$, Potenzgesetz in $d>2$).
  • Ergebnis: Jede Architektur endlicher Breite, bei der die Ausgaben der Neuronen eine beschränkte Punktwert-Varianz aufweisen (eine Bedingung, die Standard-Aktivierungsfunktionen wie ReLU oder beschränkte Funktionen mit endlichen Momenten-Parametern erfüllen), liefert eine endliche verschmierte Varianz. Folglich können solche Netzwerke die erforderlichen UV-Divergenzen einer nicht-trivialen QFT nicht reproduzieren.
  • Ausnahme: Die Autoren zeigen, dass durch Lockerung der Bedingung der endlichen Varianz (z. B. durch schwerfällige/heavy-tailed Parameterverteilungen oder singuläre Amplituden) ein endliches-breites (selbst ein Breit-1-) Netzwerk die korrekte Zwei-Punkt-Funktion und Reflexionspositivität reproduzieren kann. Dies erfordert jedoch „unphysikalische“ Parameterstatistiken für das praktische Monte-Carlo-Sampling.
• Impulsraum-Hindernis (Cluster-Zerlegung):
  • Ergebnis: Unter der Annahme der Cluster-Zerlegung muss ein typischer Feld-Zug in einer QFT eine Fourier-Unterstützung über den gesamten Impulsraum $\mathbb{R}^d$ besitzen.
  • Hindernis: Ein typisches ein-lagiges Netzwerk endlicher Breite $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ hat eine Fourier-Transformierte, deren Unterstützung nur auf der Vereinigung von $N$ Geraden liegt (proportional zu den Eingangs-Gewichten $a_i$). Da eine endliche Vereinigung von Geraden eine Null-Maß-Menge in $\mathbb{R}^d$ für $d \ge 2$ darstellt, kann das Netzwerk die volle Impuls-Unterstützung, die für eine geklusterte QFT erforderlich ist, nicht reproduzieren. Dies führt zu einer Verletzung der Cluster-Zerlegung oder der Reflexionspositivität in höheren Punkt-Funktionen.
• Distributionale Neuronen: Selbst wenn die Neuronen zu Schwartz-Distributionen generalisiert werden (was erlaubt, dass der Netzwerkausgang eine Distribution statt einer Funktion ist), bleibt das Hindernis des endlichen Rangs bestehen. Eine endliche Summe von Distributionen lässt dennoch einen unendlich-dimensionalen Kern zurück, in dem das Feld deterministisch ist, was im Widerspruch zur nicht-trivialen Källén-Lehmann-Kovarianz steht, die Fluktuationen in allen Richtungen erfordert.

Bedeutung und Behauptungen
Das Paper kommt zu dem Schluss, dass endliche-breite neuronale Netzwerk-Repräsentationen von QM und QFT fundamental inkompatibel mit dem vollständigen Satz der Osterwalder-Schrader-Axiome sind.

• Exakte Realisierung: Um eine konventionelle QFT exakt mittels eines neuronalen Netzes zu realisieren, muss man entweder den unendlich-breiten Grenzwert ($N \to \infty$) nehmen oder Architekturen/Parameterdichten einsetzen, die explizit Standard-Physik-Annahmen verletzen (z. B. durch Verwendung von unendlich-varianz-reichen Parametern oder das Opfern der Cluster-Zerlegung).
• Natur von Finite-N-Theorien: Durch endliche-$N$ neuronale Netze definierte Theorien sind nicht bloß „Approximationen“ von Standard-QFTs; sie sind distinkte, „exotische“ Theorien, die notwendigerweise Eigenschaften wie euklidische Kovarianz, Reflexionspositivität oder Cluster-Zerlegung vermissen lassen.
• Praktische Implikationen: Obwohl endliche-breite Netzwerke die Standard-QFTs nicht exakt reproduzieren können, merken die Autoren an, dass trunkierte Approximationen dennoch in numerischen Studien (z. B. Liouville-Theorie, Maxwell-Theorie) verwendet werden. Die statistischen Eigenschaften dieser Approximationen sind jedoch nicht garantiert mit der Zieltheorie übereinstimmend, und die Fehler sind nicht rein numerischer, sondern struktureller Natur.

Die Arbeit schlägt keine neuen experimentellen Anwendungen vor, dient aber als rigorose theoretische Charakterisierung der Limitationen endlicher-breiter neuronaler Netze als Repräsentationen von Kontinuums-Quantensystemen. Sie legt nahe, dass sich zukünftige Forschung darauf konzentrieren sollte, den Grad der Verletzung der OS-Axiome als Funktion von $N$ zu quantifizieren und zu klassifizieren, welche Kombinationen von Axiomen bei endlicher Breite bewahrt werden können.