Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing

Diese Arbeit etabliert einen theoretischen Rahmen, der geschlossene neuronale Netzwerkensembles mit Analogien aus der Kernreaktionstheorie offener Systeme vergleicht, und kommt letztlich zu dem Schluss, dass deren charakteristische nicht-hermitesche Dynamik im Mainstream-Lernen aufgrund des Fehlens kontinuierlicher Spektren und wellenartiger Verhaltensweisen strukturell abwesend ist, wodurch die wahre Quelle der operationalen Unsicherheit innerhalb der Korrespondenz des geschlossenen Systems lokalisiert wird.

Das Wesentliche

Die Kernidee: Zwei Wege, Dinge zu ignorieren

Stellen Sie sich vor, Sie versuchen, ein komplexes System zu verstehen, wie etwa einen überfüllten Raum oder ein neuronales Netz (eine Art von KI). Manchmal können Sie nicht jeden einzelnen Menschen oder jede einzelne Zahl verfolgen. Sie müssen entscheiden, einen Teil des Systems zu ignorieren, um sich auf den Teil zu konzentrieren, der Sie interessiert.

In der Physik und Mathematik ist dieser Akt des „Ignorierens“ oder „Herausintegrierens“ eines Teils eines Systems ein Standardvorgehen. Der Autor, Jin Lei, argumentiert, dass es zwei sehr unterschiedliche Wege gibt, dies zu tun, und während die KI-Forschung hauptsächlich einen davon nutzt, haben Kernphysiker den anderen perfektioniert.

1. Der „geschlossene“ Weg (Was die KI macht)

Die Analogie: Stellen Sie sich vor, Sie machen ein Foto von einer Gruppe von Freunden, entscheiden sich aber dazu, den Hintergrund unscharf darzustellen.

• Was passiert: Sie verlieren die Details des Hintergrunds, aber das Foto Ihrer Freunde bleibt perfekt klar und „ganz“. Die Unschärfe stiehlt den Freunden keine Lichtmenge oder Energie; sie entfernt lediglich die Hintergrunddaten.
• In der KI: Wenn KI-Forscher zufällige Zahlen (Parameter) in einem neuronalen Netz mitteln, erhalten sie ein „geschlossenes“ Ergebnis. Die Mathematik bleibt einfach, real und symmetrisch. Es ist eine verlustfreie Zusammenfassung. Nichts „entweicht“.

2. Der „offene“ Weg (Was die Kernphysik macht)

Die Analogie: Stellen Sie sich vor, Sie sind in einem Raum, in dem eine Tür einen Spalt breit offen steht. Sie versuchen, den Luftdruck im Raum zu verfolgen.

• Was passiert: Luft entweicht durch die Tür. Wenn Sie versuchen, die Luft nur innerhalb des Raumes zu beschreiben, muss Ihre Beschreibung berücksichtigen, dass Luft entweicht. Die Mathematik wird „undicht“ und komplex. Sie müssen ein strenges Kassenbuch (einen Beleg) führen, um genau zu erfassen, wie viel Luft entkommen ist und wohin sie ging.
• In der Kernphysik: Dies wird als Optisches Modell bezeichnet. Wenn ein Atomkern mit Teilchen interagiert, entweichen einige Teilchen in das „Kontinuum“ (den Rest des Universums). Die Mathematik, die den Kern beschreibt, wird „nicht-hermitisch“ (ein schicker Begriff dafür, dass sie komplex und undicht ist). Entscheidend ist, dass die Mathematik ein Fluss-Kassenbuch (Flux Ledger) enthält: eine exakte Abrechnung der Wahrscheinlichkeit, die das System verlassen hat.

Die Hauptthese der Arbeit

Der Autor sagt: „Die KI macht nur die ‚geschlossene‘ Version. Sie fehlt die ‚offene‘ Version.“

KI-Forscher verfügen über ein großartiges Wörterbuch, um zwischen ihrer „geschlossenen“ Mathematik und der Kernphysik zu übersetzen. Zum Beispiel:

• Der Neural Tangent Kernel (wie eine KI lernt) ist dasselbe wie der Fisher Sensitivity Kernel (wie empfindlich ein Kernmodell auf Änderungen reagiert).
• Unendlich breite KI ist dasselbe wie ein Gauß-Prozess (ein Standardwerkzeug der Statistik).

Der Autor argumentiert jedoch, dass die KI für die „offene“ Seite blind ist. Die KI behandelt jede Information, die sie verwirft (wie das Ignorieren eines Wortes in einem Satz oder das Abschneiden eines Teils eines Netzwerks), als einfachen Fehler oder Approximationsfehler. Sie behandelt dies nicht als physikalischen Verlust, der verfolgt und erhalten werden muss.

Das „Fluss-Kassenbuch“ (Flux Ledger)

In der Kernphysik sagt die Theorie bei einem Entweichen von Teilchen nicht einfach: „Hoppla, wir haben etwas verloren.“ Sie sagt: „Wir haben genau 0,5 Einheiten Wahrscheinlichkeit zu Kanal A und 0,2 zu Kanal B verloren, und hier ist die Mathematik, die das beweist.“

Der Autor versuchte, dieses „Fluss-Kassenbuch“ für KI-Modelle zu bauen. Er fragte: Wenn wir die „ignorierten“ Teile einer KI wie eine undichte Tür behandeln, können wir die verlorene Wahrscheinlichkeit dann verfolgen?

Das überraschende Ergebnis (Die „negative“ Erkenntnis)

Der Autor führte Tests durch, um zu sehen, ob diese „offene“ Mathematik bei echten KI-Modellen funktioniert (wie etwa Attention-Mechanismen in Large Language Models oder Router, die entscheiden, welche Experten sie nutzen sollen).

Das Ergebnis: Es ist größtenteils fehlgeschlagen.

• Warum? Damit die „offene“ Mathematik funktioniert, muss der Teil, den man ignoriert, wie ein unendlicher Ozean sein, in dem Wellen ewig reisen können (ein kontinuierliches Spektrum).
• Das Problem: KI-Modelle sind meist endlich und „dissipativ“ (sie entspannen sich und pendeln sich ein). Sie besitzen nicht diese Eigenschaft eines „unendlichen Ozeans“.
• Die Konsequenz: Als der Autor versuchte, die „offene“ Mathematik auf die KI anzuwenden, existierte das „Fluss-Kassenbuch“ entweder nicht, oder der „Verlust“ war lediglich ein Artefakt der Art und Weise, wie er die Daten geschnitten hatte, und keine echte physikalische Eigenschaft.

Der „Halluzinations“-Twist

Der Autor untersuchte auch eine populäre Idee: Kann diese „Leckage“-Mathematik erkennen, wenn eine KI halluziniert (Dinge erfindet)?

Die Antwort: Nein.

• Der Grund: Wenn eine KI selbstbewusst halluziniert, ist sie eigentlich sehr „geschlossen“. Sie legt sich stark auf eine falsche Antwort fest. Die „Leckage“ (Unsicherheit) ist gering, weil das Modell sich seiner Sache sicher ist.
• Die wahre Unsicherheit: Die Unsicherheit, die zählt (epistemische Unsicherheit – ob das Modell die Antwort weiß), liegt im „geschlossenen“ Teil der Mathematik (der Varianz des Ensembles), nicht im „offenen“ Teil.

Zusammenfassung

• Die Landkarte: Die Arbeit zeichnet eine Karte, die zeigt, dass KI und Kernphysik dieselbe Algebra für das „Ignorieren“ von Dingen teilen.
• Die Lücke: Die KI nutzt nur die „geschlossene“ (verlustfreie) Version. Die Kernphysik hat eine voll entwickelte Theorie für die „offene“ (undichte) Version, einschließlich einer strengen Abrechnung dessen, was verloren geht.
• Der Test: Der Autor versuchte, die „offene“ Theorie in die KI zu bringen.
• Das Urteil: Es hat nicht gut funktioniert. Reale KI-Modelle sind zu endlich und „relaxational“, um die komplexe, wellenartige „offene“ Mathematik zu unterstützen, die die Kernphysik verwendet. Die „offenen“ Merkmale, die der Autor zu finden hoffte, waren entweder nicht vorhanden oder lediglich mathematische Artefakte.

Kurz gesagt: Die Arbeit ist eine Warnung. Sie besagt, dass wir zwar Teile der Mathematik aus der Kernphysik entlehnen können, die spezifischen „undichten“ Werkzeuge, die sie zur Verfolgung entweichender Teilchen verwenden, jedoch nicht natürlich in die aktuelle Architektur der KI passen. Die „nützliche“ Unsicherheit in der KI findet sich weiterhin auf der „geschlossenen“ statistischen Seite, nicht auf der „offenen“ dynamischen Seite.

Technische Zusammenfassung

Technische Zusammenfassung: Integrieren nach außen, zweimal: Der Open-System-Fall, den die Ensemble-Theorie neuronaler Netze vermissen lässt

Problemstellung
Die Arbeit adressiert eine strukturelle Lücke in der Ensemble-Theorie neuronaler Netze. Während das Mittel über zufällige Parameter (Marginalisierung eines Gaußschen Sektors) mathematisch äquivalent zum Schur-Komplement eines eliminierten Blocks ist, realisiert die aktuelle Ensemble-Theorie nur den „geschlossenen“ Fall. In diesem geschlossenen Szenario ist das induzierte effektive Objekt eine reelle, symmetrische, verlustfreie Präzisionsmatrix (Kovarianzinvers). Die Arbeit argumentiert, dass die Mainstream-Lerntheorie den „offenen“ Fall vermissen lässt: ein Formalismus, in dem die Elimination eines Sektors es ermöglicht, dass ein Wahrscheinlichkeitsfluss irreversibel entweicht, was zu einem nicht-hermiteschen effektiven Generator führt, der den verlorenen Fluss konserviert und aufschlüsselt. Diese Open-System-Struktur ist in der Kernreaktionstheorie (speziell im optischen Modell und der Feshbach-Projektion) voll entwickelt, fehlt jedoch im maschinellen Lernen.

Methodik
Der Autor verwendet einen vereinheitlichten algebraischen Rahmen basierend auf drei elementaren Werkzeugen: den Momenten einer Wahrscheinlichkeitsverteilung, der Algebra von Gauß-Verteilungen und der Blockmatrix-Inversion. Die Arbeit vermeidet feldtheoretische Maschinerie (Partitionsfunktionen, Feynman-Diagramme), um sicherzustellen, dass jeder Schritt für Leser, die mit Standard-Linearer-Algebra und Statistik vertraut sind, verifizierbar bleibt.

Die Methodik verläuft in drei Stufen:

1. Algebraische Vereinheitlichung: Die Arbeit zeigt, dass die Marginalisierung eines neuronalen Netzwerk-Ensembles und die Projektion eines Streuproblems (Feshbach-Projektion) Instanzen derselben Operation sind: der Eliminierung eines Blocks eines gekoppelten linearen Systems.
2. Das „geschlossene“ Wörterbuch: Sie stellt eine präzise Korrespondenz zwischen der geschlossenen Statistik neuronaler Netze und der Kernphysik her. Dies umfasst die Abbildung des Neural Tangent Kernels (NTK) auf den Fisher-Sensitivitätskern, den Unendlichkeits-Grenzfall (infinite-width limit) auf Gauß-Prozess-Emulatoren und Nicht-Gaußförmigkeit auf den Zusammenbruch des Emulators.
3. Der „offene“ Export und Test: Die Arbeit versucht, die Open-System-Maschinerie (nicht-hermitesche effektive Hamilton-Operatoren, Fluss-Ledger, dynamische Polarisationspotentiale) auf das maschinelle Lernen zu übertragen. Sie schlägt drei native Wege vor, um Offenheit in einem Netzwerk-Ensemble zu induzieren:
   • Einführung einer komplexen Quelle in der Momentenerzeugenden Funktion.
   • Deformation des Parametermaßes über eine subnormalisierte Überlebenswahrscheinlichkeit (z. B. Ablehnung von Out-of-Distribution-Tokens).
   • Anwendung der Schur-Komplement-Elimination auf Netzwerk-Freiheitsgrade (retenirte vs. eliminierte Blöcke).
4. Empirische Validierung: Der Autor führt „billige“ numerische Tests an drei spezifischen Lernobjekten durch, um zu sehen, ob diese natürlich eine Open-System-Signatur aufweisen:
   • Truncated Attention Maps (in Transformern).
   • Token-Level Transfer Operatoren (eingeschränkte Alphabete).
   • Sparse Expert Router (Mixture-of-Experts).

Wesentliche Beiträge

• Die Unterscheidung „Offen“ vs. „Geschlossen“: Die Arbeit klärt, dass Nicht-Hermitizität nicht bloß ein Merkmal komplexer Zahlen ist, sondern die spezifische Signatur eines offenen eliminierten Sektors (eines mit einem kontinuierlichen Spektrum, der den Flussabfluss ermöglicht). Geschlossene Eliminationen (endlich oder dissipativ) ergeben reelle, symmetrische Schur-Komplemente.
• Der Flux Ledger (Fluss-Hauptbuch): Sie definiert den „Flux Ledger“ als ein konserviertes, aufgeschlüsseltes Buch der Wahrscheinlichkeit, die an eliminierte Sektoren verloren geht, abgeleitet aus dem verallgemeinerten optischen Theorem. Dies ermöglicht die Zerlegung der Absorption in direkte, Breakup- und Interferenzterme.
• Das Wörterbuch der Korrespondenz: Sie liefert ein vollständiges Wörterbuch, das Konzepte der Kernreaktionstheorie in die Lerntheorie übersetzt und den Neural Tangent Kernel als Fisher-Sensitivitätskern identifiziert sowie die Gültigkeitsgrenze reduzierter Basis-Emulatoren als den Übergang von „lazy“ zu „feature“ definiert.
• Konstruktion nativer Offenheit: Sie zeigt, wie man ein offenes Ensemble nativ innerhalb der Lerntheorie konstruiert, indem man komplexe Quellen oder subnormalisierte Maße verwendet, merkt jedoch an, dass dies die Manifestation von Operator-Verlust durch Nicht-Gaußförmigkeit erfordert.

Ergebnisse
Die Arbeit berichtet von einem überwiegend negativen Ergebnis hinsichtlich der Anwendbarkeit des Open-System-Exports auf aktuelle Mainstream-Lernarchitekturen:

• Truncated Attention: Die Eliminierung von Tokens in einem abgeschnittenen Kontextfenster ist ein geschlossener Prozess. Die induzierte Korrektur ist reell und symmetrisch; ein nicht-hermetischer Generator entsteht nicht natürlich. Offenheit muss von Hand eingefügt werden.
• Token-Level Transfer Operatoren: Obwohl ein konservierter Absorptions-Ledger für ein eingeschränktes Alphabet konstruiert werden kann, ist der „mediierte Term“ (das Analogon zur kanal-gekoppelten Absorption) instabil, variiert mit der Wahl der Partition und erscheint eher als Artefakt der Partition als als robuste Eigenschaft des Modells.
• Sparse Router: In Mixture-of-Experts-Modellen wird die „Offenheit“ (verdrängte Experten) durch das Lernziel (Load Balancing) auf ein hohes, uninformatives Niveau getrieben. Das resultierende Signal ist struktureller Natur (Routing-Schärfe) und kein aussagekräftiges Maß für verlorenen Fluss.
• Epistemische vs. Aleatorische Unsicherheit: Die Arbeit stellt fest, dass die „operational nützliche“ Unsicherheit (Unterscheidung zwischen Halluzination und Fehler) in der geschlossenen Hälfte der Korrespondenz liegt (Ensemble-Varianz/Fisher-Information), nicht in der offenen Hälfte. Das Open-System-Formalismus erfasst die epistemische Unsicherheit in Standardmodellen derzeit nicht.
• Strukturelle Barriere: Die Arbeit kommt zu dem Schluss, dass der offene Fall einen eliminierten Sektor mit einem kontinuierlichen Spektrum und wellenartiger Dynamik erfordert. Mainstream-Lernobjekte sind entweder endlich (diskretes Spektrum) oder relaxationsbasiert (Spektrum auf der negativen reellen Achse), was verhindert, dass der Auswertungspunkt innerhalb des Kontinuums liegt, das zur Erzeugung eines physischen anti-hermiteschen Teils erforderlich wäre.

Bedeutung und Ansprüche
Die Arbeit rahmt sich explizit als eine „Notiz, nicht als ein Resultat“ ein, und ihr primärer Beitrag ist eine Landkarte statt einer neuen Theorie oder einer erfolgreichen Anwendung.

• Negatives Ergebnis als Wert: Das Hauptergebnis ist, dass der Export des Open-Systems für aktuelle Lernobjekte fehlschlägt. Die Arbeit argumentiert, dass dieses negative Ergebnis wertvoll ist, weil es präzise lokalisiert, warum es fehlschlägt: aufgrund des Fehlens eines kontinuierlichen Spektrums und wellenartiger Dynamik in endlichen oder relaxationsbasierten Lernsystemen.
• Ehrlichkeit in der Analogie: Sie warnt vor losen Analogien (z. B. „Energielandschaften“) und besteht auf präzisen algebraischen Identitäten. Sie stellt klar, dass zwar die Algebra der Elimination geteilt wird, aber die Natur der eliminierten Blöcke (geschlossen vs. offen) die physikalischen Eigenschaften des Ergebnisses bestimmt.
• Zukünftige Richtung: Die Arbeit legt nahe, dass die Open-System-Maschinerie für die KI nützlich wäre, wenn man Architekturen finden oder konstruieren könnte, die „wellenartig“ statt relaxationsbasiert sind und in denen eliminierte Sektoren unbeschränkt genug sind, um ein Kontinuum zu tragen. Bis dahin bleibt der „offene Fall“ eine theoretische Möglichkeit statt eines praktischen Werkzeugs für aktuelle neuronale Netze.

Zusammenfassend lässt sich sagen, dass die Arbeit argumentt, dass die Ensemble-Theorie für neuronale Netze zwar die „geschlossene“ Integration von Parametern beherrscht, aber die „offene“ Integrationsmaschinerie der Kernphysik vermissen lässt. Versuche, diese Maschinerie auf aktuelle KI-Modelle zu übertragen, scheitern, weil diese Modelle nicht über die notwendigen spektralen Eigenschaften (kontinuierliches Spektrum) verfügen, um die nicht-hermiteschen, flusserhaltenden Dynamiken des optischen Modells zu unterstützen.