Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing

Dit artikel vestigt een theoretisch kader waarin gesloten systeem neurale netwerkensembles worden vergeleken met open systeem analogen uit de kernreactietheorie, om uiteindelijk te concluderen dat de kenmerkende niet-Hermitische dynamica van laatstgenoemde structureel afwezig zijn in de mainstream leerprocessen vanwege het gebrek aan continue spectra en golfachtig gedrag, waardoor de werkelijke bron van operationele onzekerheid binnen de gesloten-systeem correspondentie wordt gelokaliseerd.

De kern

Het Grote Idee: Twee Manieren om Dingen te Negeren

Stel je voor dat je probeert een complex systeem te begrijpen, zoals een drukke kamer of een neuraal netwerk (een type AI). Soms kun je niet elke persoon of elk getal bijhouden. Je moet besluiten om een deel van het systeem te negeren om je te kunnen concentreren op het deel dat er voor jou toe doet.

In de natuurkunde en wiskunde is deze handeling van het "negeren" of "integreren uit" (integrating out) van een deel van een systeem een standaardmethode. De auteur, Jin Lei, stelt dat er twee zeer verschillende manieren zijn om dit te doen, en hoewel AI-onderzoekers voornamelijk één manier gebruiken, hebben kernfysici de andere onder de knie.

1. De "Gesloten" Manier (Wat AI doet)

De Analogie: Stel je voor dat je een foto maakt van een groep vrienden, maar je besluit de achtergrond te vervagen.

• Wat er gebeurt: Je verliest de details van de achtergrond, maar de foto van je vrienden blijft perfect helder en "heel". De vervaging steelt geen licht of energie van je vrienden; het verwijdert alleen de gegevens van de achtergrond.
• In AI: Wanneer AI-onderzoekers willekeurige getallen (parameters) in een neuraal netwerk middelen, krijgen ze een "gesloten" resultaat. De wiskunde blijft simpel, echt en symmetrisch. Het is een verliesloze samenvatting. Niets "ontsnapt".

2. De "Open" Manier (Wat Kernfysica doet)

De Analogie: Stel je voor dat je in een kamer bent met een deur die op een kier staat. Je probeert de luchtdruk in de kamer bij te houden.

• Wat er gebeurt: Er ontsnapt lucht door de deur. Als je probeert de lucht alleen binnen de kamer te beschrijven, moet je beschrijving rekening houden met het feit dat er lucht naar buiten gaat. De wiskunde wordt "lek" en complex. Je moet een strikte administratie (een bonnetje) bijhouden van precies hoeveel lucht er is ontsnapt en waar het naartoe is gegaan.
• In Kernfysica: Dit wordt het Optisch Model genoemd. Wanneer een atoomkern interageert met deeltjes, ontsnappen sommige deeltjes naar het "continuüm" (de rest van het universum). De wiskunde die de kern beschrijft, wordt "niet-Hermitisch" (een chique manier om te zeggen dat het complex en lek is). Cruciaal is dat de wiskunde een Flux-administratie bevat: een exacte boekhouding van de waarschijnlijkheid die het systeem heeft verlaten.

De Hoofdbestelling van het Artikel

De auteur zegt: "AI doet alleen de 'Gesloten' versie. Het mist de 'Open' versie."

AI-onderzoekers hebben een geweldig woordenboek om te vertalen tussen hun "Gesloten" wiskunde en de kernfysica. Bijvoorbeeld:

• De Neural Tangent Kernel (hoe AI leert) is hetzelfde als de Fisher Sensitivity Kernel (hoe gevoelig een kernmodel is voor veranderingen).
• Oneindig brede AI is hetzelfde als een Gaussiaans Proces (een standaard statistisch hulpmiddel).

De auteur betoogt echter dat AI blind is voor de "Open" kant. AI behandelt elke informatie die het wegwerpt (zoals het negeren van een woord in een zin of het afsnijden van een deel van een netwerk) als een simpele fout of een benaderingsfout. Het behandelt het niet als een fysiek verlies dat bijgehouden en geconserveerd moet worden.

De "Flux-administratie"

In de kernfysica, wanneer deeltjes ontsnappen, zegt de theorie niet alleen: "Oeps, we zijn er wat kwijt." Het zegt: "We zijn precies 0,5 eenheid aan waarschijnlijkheid kwijt aan Kanaal A en 0,2 aan Kanaal B, en hier is de wiskunde die dat bewijst."

De auteur probeerde deze "Flux-administratie" voor AI te bouwen. Hij vroeg zich af: Als we de "genegeerde" delen van een AI behandelen als een lekkende deur, kunnen we dan de verloren waarschijnlijkheid bijhouden?

Het Verrassende Resultaat (De "Negatieve" Bevinding)

De auteur voerde tests uit om te zien of deze "Open" wiskunde werkte voor echte AI-modellen (zoals aandachtsmecanismen in Large Language Models of routers die kiezen welke experts ze gebruiken).

Het Resultaat: Het mislukte grotendeels.

• Waarom? Voor de "Open" wiskunde om te werken, moet het deel dat je negeert lijken op een oneindige oceaan waarin golven eeuwig kunnen reizen (een continu spectrum).
• Het Probleen: AI-modellen zijn meestal eindig en "dissipatief" (ze ontspannen en komen tot rust). Ze hebben niet die "oneindige oceaan"-kwaliteit.
• Het Gevolg: Toen de auteur probeerde de "Open" wiskunde op AI toe te passen, bestond de "Flux-administratie" ofwel niet, of de "verliespost" was slechts een artefact van hoe hij de data had afgesneden, en geen echt fysiek kenmerk.

De "Hallucinatie"-Twist

De auteur keek ook naar een populair idee: Kan deze "lek"-wiskunde detecteren wanneer een AI hallucineert (dingen verzint)?

Het Antwoord: Nee.

• De Reden: Wanneer een AI zelfverzekerd hallucineert, is het eigenlijk heel "gesloten". Het committeert zich sterk aan een foutief antwoord. De "lekkage" (onzekerheid) is laag omdat het model er zeker van is.
• De Echte Onzekerheid: De onzekerheid die er echt toe doet (Epistemische onzekerheid — of het model het antwoord weet) bevindt zich in het "Gesloten" deel van de wiskunde (de variantie van het ensemble), en niet in het "Open" deel.

Samenvatting

• De Kaart: Het artikel tekent een kaart die laat zien dat AI en kernfysica dezelfde algebra delen voor het "negeren" van dingen.
• De Kloof: AI gebruikt alleen de "Gesloten" (verliesloze) versie. Kernfysica heeft een volledig ontwikkelde theorie voor de "Open" (lekkende) versie, inclusionele een strikte boekhouding van wat er verloren gaat.
• De Test: De auteur probeerde deze "Open" theorie naar AI te brengen.
• Het Oordeel: Het werkte niet goed. Echte AI-modellen zijn te eindig en "relaxational" om de complexe, golfachtige "Open" wiskunde te ondersteunen die de kernfysica gebruikt. De "Open" kenmerken die de auteur hoopte te vinden, waren ofwel afwezig, of slechts wiskundige artefacten.

Kortom: Het artikel is een waarschuwing. Het vertelt ons dat hoewel we wiskunde uit de kernfysica kunnen lenen, de specifieke "lekkende" instrumenten die zij gebruiken om ontsnappende deeltjes bij te houden, niet natuurlijk passen in de huidige architectuur van AI. De "nuttige" onzekerheid in AI bevindt zich nog steeds aan de "Gesloten" statistische kant, en niet aan de "Open" dynamische kant.

Technische samenvatting

Technische Samenvatting: Integreren door te Elimineren, Twee Keer: De Open-Systeem Casus die de Ensembletheorie van Neurale Netwerken Mist

Probleemstelling
Het artikel adresseert een structurele lacune in de ensembletheorie van neurale netwerken. Hoewel het middelen van een netwerk over willekeurige parameters (het marginaliseren van een Gaussisch segment) wiskundig equivalent is aan de Schur-complement van een geëlimineerd blok, realiseert de huidige ensembletheorie alleen het "gesloten" geval. In dit gesloten scenario is het geïnduceerde effectieve object een reële, symmetrische, verliesloze precisie-matrix (covariantie-inverse). Het artikel betoogt dat de mainstream leertheorie de "open" casus mist: een formalisme waarbij het elimineren van een segment toestaat dat de waarschijnlijkheidsflux irreversibel ontsnapt, wat resulteert in een niet-Hermitische effectieve generator die de verloren flux conserveert en itemiseert. Deze open-systeemstructuur is volledig ontwikkeld in de kernreactietheorie (specifiek het optische model en de Feshbach-projectie), maar ontbreeft in machine learning.

Methodologie
De auteur hanteert een verenigd algebraïsch kader gebaseerd op drie elementaire instrumenten: de momenten van een waarschijnlijkheidsverdeling, de algebra van Gaussische verdelingen en blokmatrix-inversie. Het artikel vermijdt veldentheoretische machinerie (partitiefuncties, Feynman-diagrammen) om te waarborgen dat elke stap verifieerbaar is voor lezers die bekend zijn met standaard lineaire algebra en statistiek.

De methodologie verloopt in drie stadia:

1. Algebraïsche Unificatie: Het artikel demonstreert dat het marginaliseren van een neuraal netwerkensemble en het projecteren van een verstrooiingsprobleem (Feshbach-projectie) instanties zijn van dezelfde operatie: het elimineren van een blok in een gekoppeld lineair systeem.
2. Het "Gesloten" Woordenboek: Het stelt een precieze correspondentie vast tussen de gesloten-geval statistiek van neurale netwerken en kernfysica. Dit omvat het mappen van de Neural Tangent Kernel (NTK) naar de Fisher-sensitiviteitskernel, de oneindige breedte-limiet naar Gaussische proces-emulatoren, en niet-Gaussianiteit naar de breakdown van emulatoren.
3. De "Open" Export en Testen: Het artikel probeert de open-systeem machinerie (niet-Hermitische effectieve Hamiltonia, flux-ledgers, dynamische polarisatiepotentialen) naar machine learning te porteren. Het stelt drie natuurlijke manieren voor om openness in een netwerkensemble te induceren:
   • Het introduceren van een complexe bron in de momentgenererende functie.
   • Het de formeren van de parametermeting via een gesubnormaliseerde overlevingskans (bijv. de afwijzing van out-of-distribution tokens).
   • Het toepassen van Schur-complement eliminatie op netwerkvrijheidsgraden (gehouden versus geëlimineerde blokken).
4. Empirische Validatie: De auteur voert "goedkope" numerieke tests uit op drie specifieke leerobjecten om te zien of zij van nature de open-systeem signatuur vertonen:
   • Afgekappte attention-maps (in transformers).
   • Token-niveau transfer-operatoren (beperkte alfabetten).
   • Sparse expert routers (mixture-of-experts).

Kernbijdragen

• Het onderscheid tussen "Gesloten" en "Open": Het artikel verduidelijkt dat niet-Hermiticiteit niet louter een kenmerk is van complexe getallen, maar de specifieke signatuur van een open geëlimineerd segment (één met een continu spectrum dat flux-ontsnapping toestaat). Gesloten eliminaties (eindig of dissipatief) leveren reële, symmetrische Schur-complementen op.
• De Flux Ledger: Het definieert de "flux ledger" als een geconserveerde, geïtemiseerde boekhouding van de waarschijnlijkheid die verloren gaat aan geëlimineerde segmenten, afgeleid van het gegeneraliseerde optische theorema. Dit maakt een decompositie van absorptie in directe, breakup en interferentie termen mogelijk.
• Het Woordenboek van Correspondentie: Het biedt een volledig woordenboek dat concepten uit de kernreactietheorie vertaalt naar leertheorie, waarbij de Neural Tangent Kernel identificeert als de Fisher-sensitiviteitskernel en de validiteitsgrens van gereduceerde-basis emulatoren als de transitie van lazy-naar-feature.
• Natuurlijke Constructie van Openness: Het demonstreert hoe men een open ensemble natuurlijk binnen de leertheorie kan construeren met behulp van complexe bronnen of gesubnormaliseerde maten, hoewel het opmerkt dat hiervoor niet-Gaussianiteit vereist is om operator-niveau verlies te manifesteren.

Resultaten
Het artikel rapporteert een grotendeels negatief resultaat met betrekking tot de toepasbaarheid van de open-systeem export op huidige mainstream leerarchitecturen:

• Afgekappte Attention: Het elimineren van tokens in een afgekappte context-window is een gesloten proces. De geïnduceerde correctie is reëel en symmetrisch; er ontstaat geen natuurlijke niet-Hermitische generator. Openness moet met de hand worden ingevoegd.
• Token-Level Transfer Operatoren: Hoewel een geconserveerde absorptie-ledger kan worden geconstrueerd voor een beperkt alfabet, is de "gemedieerde term" (de analogon van kanaal-gekoppelde absorptie) instabiel, varieert deze met de partitie-keuze en lijkt het een artefact van de partitie te zijn in plaats van een robuuste eigenschap van het model.
• Sparse Routers: In mixture-of-experts modellen wordt de "openness" (verworpen experts) gedreven door het trainingsdoel (load balancing) naar een hoog, oninformatief niveau. Het resulterende signaal is structureel (routing scherpte) in plaats van een betekenisvol meetinstrument voor verloren flux.
• Epistemische versus Aleatorische Onzekerheid: Het artikel stelt vast dat de "operationeel nuttige" onzekerheid (het onderscheiden van hallucinatie van fout) zich bevindt in de gesloten helft van de correspondentie (ensemble variantie/Fisher informatie), en niet in de open helft. De open-systeem formalisme legt de epistemische onzekerheid in standaardmodellen momenteel niet vast.
• Structurele Barrière: Het artikel concludeert dat de open casus een geëlimineerd segment vereist met een continu spectrum en golfachtige dynamica. Mainstream leerobjecten zijn ofwel eindig (discreet spectrum) of relaxatie-gebaseerd (spectrum op de negatieve reële as), wat voorkomt dat het evaluatiepunt zich binnen het continuüm kan bevinden dat nodig is om een fysiek anti-Hermitisch deel te genereren.

Betekenis en Claims
Het artikel frameert zichzelf expliciet als een "notitie, geen resultaat", en de primaire bijdrage is een kaart in plaats van een nieuwe theorie of een succesvolle toepassing.

• Negatief Resultaat als Waarde: De belangrijkste bevinding is dat de open-systeem export faalt voor standaard leerobjecten. Het artikel betoogt dat dit negatieve resultaat waardevol is omdat het precies lokaliseert waarom het faalt: het gebrek aan een continu spectrum en golfachtige dynamica in eindige of relaxatie-gebaseerde leersystemen.
• Eerlijkheid in Analogie: Het waarschuwt tegen losse analogieën (bijv. "energetische landschappen") en houdt vast aan precieze algebraïsche identiteiten. Het verduidelijkt dat hoewel de algebra van eliminatie gedeeld wordt, de aard van de geëlimineerde blokken (gesloten versus open) de fysieke eigenschappen van het resultaat dicteert.
• Toekomstige Richting: Het artikel suggereert dat om de open-systeem machinerie bruikbaar te maken voor AI, men architecturen zou moeten vinden of construeren die "golfachtig" zijn in plaats van relaxatie-gebaseerd, waarbij de geëlimineerde segmenten onbegrensd genoeg zijn om een continuüm te dragen. Tot die tijd blijft de "open casus" een theoretische mogelijkheid eerder dan een praktisch instrument voor huidige neurale netwerken.

Samenvattend stelt het artikel dat hoewel de ensembletheorie van neurale netwerken de "gesloten" integratie van parameters heeft beheerst, zij de "open" integratiemachinerie mist die aanwezig is in de kernfysica. Pogingen om deze machinerie naar huidige AI-modellen te porteren falen omdat deze modellen niet beschikken over de noodzakelijke spectrale eigenschappen (continuüm) om de niet-Hermitische, flux-conserverende dynamica van het optische model te ondersteunen.