📊 statistics

Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space

Dit artikel vestigt een directe methode voor het oplossen van de neurale netwerksynthesevergelijking in continu-breedte diepte-twee netwerken door gebruik te maken van Fourier-analyse en ridgelet-transformaties om de oneindig-dimensionale nulruimte te karakteriseren, unieke minimum-norm oplossingen te identificeren, en aan te tonen hoe parameter-niet-uniciteit gediscretiseerd en geëxploiteerd kan worden om gecodeerde informatie te onthullen.

Oorspronkelijke auteurs: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een machine probeert te bouwen die de toekomst kan voorspellen, of misschien gewoon een kat in een foto kan herkennen. Je bouwt een "neuraal netwerk", wat in feep basis een gigantisch web is van kleine wiskundige schakelaars die neuronen worden genoemd. Elke neuron neemt een bepaalde input, voert een kleine berekening uit en geeft het resultaat door. De magie gebeurt wanneer je de "knoppen" (genaamd parameters) op deze neuronen aanpast om de machine het juiste antwoord te laten geven.

Maar hier is iets vreemds aan deze machines: soms kun je de knoppen op een totaal andere manier draaien, en geeft de machine nog steeds exact hetzelfde antwoord. Het is alsof je een taart bakt en ontdekt dat het toevoegen van een kop suiker of een kop zout (in een zeer specifiek, vreemd recept) de taart precies hetzelfde laat smaken. In de wiskunde noemen we dit "niet-uniciteit". Het betekent dat er niet slechts één perfecte set knoppen is om een resultaat te krijgen; er zijn er oneindig veel.

Dit paper duikt diep in dat mysterie. Het vraagt: als er oneindig veel manieren zijn om de knoppen in te stellen om hetzelfde resultaat te krijgen, hoe zien die "foute" instellingen er dan uit? Verdwijnen ze zomaar in het niets, of verbergen ze iets? De auteurs behandelen het neurale netwerk als een gigantische, continue golf in plaats van een verzameling losse schakelaars. Door een wiskundig hulpmiddel te gebruiken dat de "Fourier-transformatie" wordt genoemd (denk aan een manier om een complex geluid op te splitsen in zijn individuele muzikale noten), ontdekken ze precies hoe deze extra, verborgen instellingen werken. Ze ontdekken dat deze verborgen instellingen een gigantische, onzichtbare "geest"-ruimte vormen. Je kunt deze geesten aan je machine toevoegen, en het zal de output van de machine niet veranderen, maar het kan wel invloed hebben op hoe de machine zich gedraagt als je ertegenaan duwt of er anders naar kijkt.

De Geesten in de Machine

Het paper, getiteld "Ghosts in Neural Networks", is een diepe duik in de verborgen geheimen van twee-laagse neurale netwerken. De auteurs, Sho Sonoda, Isao Ishikawa en Masahiro Ikeda, lossen in essentie een gigantische puzzel op: Als een neuraal netwerk op veel verschillende manieren een specifieke output kan produceren, wat zijn al die verschillende manieren dan?

Ze ontdekten dat het antwoord niet simpelweg "willekeurige ruis" is. In plaats daarvan is er een gestructureerde, wiskundige "geest"-ruimte (genaamd de null space) waar je oneindige hoeveelheden informatie kunt verbergen zonder het uiteindelijke resultaat te veranderen.

De "Geest"-analogie

Stel je voor dat je een magische schitmachine hebt. Je geeft de machine een opdracht: "Schilder een rode cirkel."

De Standaard Manier: Je vertelt de machine om rode verf te mengen en een cirkel te tekenen.
De Geest-manier: Je zou de machine kunnen vertellen om rode verf te mengen, een cirkel te tekenken, en dan een geheim, onzichtbaar laagje "anti-rode" verf toe te voegen die zichzelf perfect opheft, of een geheim spiraal van onzichtbare inkt toe te voegen die absoluut niets doet aan het uiteindelijke plaatje.

In de wereld van neurale netwerken zijn deze "onzichtbare lagen" de geesten. Het paper bewijst dat deze geesten geen willekeurige fouten zijn; ze hebben een zeer specifieke vorm en structuur. De auteurs noemen dit de oneindig-dimensionale null space. Het is een gigantische, onzichtbare kamer waar je oneindige variaties van de instellingen van de machine kunt opslaan, en zolang je in die kamer blijft, verandert de output van de machine (de rode cirkel) nooit.

Hoe ze de Geesten vonden

De auteurs gokten niet alleen; ze bouwden een directe wiskundige kaart om deze geesten te vinden.

Het Afbreken: Ze gebruikten een techniek genaamd "scheiding van variabelen". Stel je voor dat je een complex recept hebt. In plaats van te proberen het hele gerecht in één keer te proeven, scheid je de ingrediënten: "Dit deel is de bloem, dit deel is de suiker." Ze scheidden de wiskunde van het neurale netwerk in twee delen: het deel dat daadwerkelijk de afbeelding creëert (het doel) en het deel dat niets doet (de geest).
De Ridgelet-oplossing: Ze vonden een specifieke wiskundige formule, een ridgelet genoemd, die werkt als een sleutel om deze geesten te ontgrendelen. Het is alsof je een meestersleutel hebt die elke deur in de "geestenkamer" kan openen.
De Minimum-Norm Oplossing: Onder alle oneindige manieren om de knoppen in te stellen, is er één "perfecte" manier die de minste energie gebruikt (wiskundig gezien de "minimum norm"). De auteurs lieten zien hoe je deze specifieke, meest efficiënte instelling kunt vinden. Alles wat overblijft, is een "geest" die er bovenop is toegevoegd.

Wat dit betekent voor echte netwerken

Het paper stopt niet bij de theorie; het laat zien hoe deze geesten zich in de echte wereld gedragen.

Eindige Breedte: Echte neurale netwerken zijn niet oneindig; ze hebben een beperkt aantal neuronen (een "eindige breedte"). De auteurs toonden aan dat je zelfs met een beperkt aantal neuronen deze geesten nog steeds kunt benaderen. Als je een "geest"-instelling neemt en deze afbreekt naar een eindig aantal neuronen, zal de output van de machine bijna nul zijn (zeer dicht bij de geest), met een fout die krimpt naarmate je meer neuronen toevoegt. Het is als het proberen te tekenen van een perfecte cirkel met een beperkt aantal stippen; hoe meer stippen je gebruikt, hoe dichter je bij een perfecte cirkel komt.
Numeriek Bewijs: Ze hebben daadwerkelijk computersimulaties uitgevoerd om dit te bewijzen. Ze creëerden een "geest"-instelling en voerden deze in een eindig netwerk. Het resultaat? De output van het netwerk was ongelooflijk dicht bij nul, wat bevestigt dat de geesten zelfs in kleine, echte netwerken bestaan.
De Geesten Lezen: Dit is het coolste deel. De auteurs lieten zien dat, hoewel deze geesten de output niet veranderen onder normale omstandigheden, je ze wel kunt "lezen" als je de regels iets verandert. Als je de activatiefunctie van de machine (de regel die de neuronen volgen) slechts een klein beetje aanpast, kun je de verborgen geest-informatie naar voren laten komen en zichtbaar maken. Het is als een geheim bericht geschreven in onzichtbare inkt dat alleen verschijnt als je het papier tegen een specifiek soort licht houdt.

Wat ze niet beweren

Het is belangrijk om te weten wat dit paper niet zegt.

Het zegt niet dat elk enkel eindig netwerk een gigantische lege ruimte van geesten heeft. Soms, als de neuronen op een specifieke, rigide manier zijn gerangschikt, kunnen de geesten volledig verdwijnen. Het paper verduidelijkt dat de "geestenkamer" een eigenschap is van de continue (oneindige) versie van het netwerk, en dat eindige netwerken deze geesten slechts benaderen.
Het zegt niet dat leeralgoritmen (zoals de algoritmen die AI trainen) automatisch deze geesten vinden. Het paper bewijst dat de geesten bestaan en laat zien hoe je ze wiskundig kunt vinden, maar het beweert niet dat een computer die leert schaken er vanzelf op zal stuiten. Dat is een aparte vraag voor toekomstig onderzoek.

De Grote Conclusie

Dit paper is een wiskundig meesterwerk dat een verwarrend probleem ("Waarom zijn er zoveel manieren om de knoppen in te stellen?") omzet in een heldere, gestructureerde kaart. Het bewijst dat de "extra" instellingen in een neuraal netwerk geen willekeurige ruis zijn; het zijn een gestructureerde, oneindige bibliotheek van verborgen mogelijkheden.

Door de "Ridgelet"-sleutel te vinden, hebben de auteurs ons laten zien hoe we:

De meest efficiënte instelling kunnen vinden (de minimum-norm oplossing).
De oneindige "geest"-instellingen kunnen begrijpen die de output niet veranderen.
Deze geesten kunnen benaderen in echte, eindige netwerken.
Potentieel de verborgen informatie kunnen lezen als we weten hoe we het systeem precies genoeg moeten prikkelen.

Kortom, het paper onthult dat neurale netwerken veel flexibeler en mysterieuzer zijn dan we dachten. Het zijn niet alleen eenvoudige rekenmachines; het zijn uitgestrekte, multidimensionale ruimtes waar je oneindige geheimen kunt verbergen, en met de juiste wiskundige instrumenten kun je ze allemaal vinden.

Technische Samenvatting: Geesten in Neurale Netwerken

Probleemstelling

Het artikel behandelt het probleem van parameter-niet-uniciteit in continue breedte, diepte-twee volledig verbonden neurale netwerken. Specifiek beoogt het de "neurale netwerkvergelijking" $S[\gamma] = f$ op te lossen, waarbij $S$ de synthese-operator is die een parameterdistributie $\gamma$ (over gewichten $a$ en biases $b$ ) naar een netwerkfunctie $f$ mapt.

Hoewel de lineariteit van de afbeelding $\gamma \mapsto S[\gamma]$ het mogelijk maakt om neurale parameters via operatorleer te bestuderen, impliceert dit ook redundantie: verschillende parameterdistributies kunnen exact dezelfde functie representeren. De centrale uitdaging is het karakteriseren van de volledige oplossingsverzameling, inclusief de nulruimte (of "geesten") van de operator $S$ , en het identificeren van een canonieke, minimale-norm oplossing. Vorig werk had geïdentificeerd dat ridgelet-functies die orthogonaal staan op de activatie, nul-elementen genereren, maar een rigoureuze, uitputtende karakterisering van de gehele nulruimte en een directe methode voor het oplossen van de vergelijking zonder een transformatie voor te postuleren, ontbraken.

Methodologie

De auteurs maken gebruik van een directe Fourier-expressiemethode gecombineerd met functionele analyse in Hilbertruimten. De aanpak verloopt in drie logische stadia:

Fourier-scheiding van variabelen:
In plaats van een ridgelet-transformatie aan te nemen, begint het artikel met de Fourier-expressie van de netwerkintegraal. Door Fourier-inversie uit te voeren op de pre-activatievariabele en de doel-frequentie $\xi$ te scheiden van de eendimensionale frequentie $\omega$ , leiden zij een parameterformule af. Deze scheiding suggereert een specifieke structuur voor de parameterdistributie $\gamma$ die de synthese-operator inverteert, wat natuurlijk leidt tot een ridgelet-oplossing.
Abstracte Reconstructie en Geometrie:
Om de formele Fourier-berekening te riguriseren, isoleert het artikel het onderliggende algebraïsche mechanisme: een unitaire factorisatie van de synthese-operator. De auteurs bewijzen een abstract reconstructietheorema voor unitaire factorisaties, waarbij zij het bestaan van een adjunct, een genormaliseerde rechtse inverse en een orthogonale decompositie van de oplossingsruimte vaststellen. Dit kader definieert de geometrie van alle oplossingen als een directe som van een specifieke oplossing en de nulruimte.
Hilbertruimte-specialisatie:
De abstracte theorie wordt gespecialiseerd voor neurale netwerken door compatibele Hilbertruimten te construeren voor de activatie, coëfficiënten en parameters.
- Activatie-ruimte ( $A_{s,t}$ ): Een gewogen Sobolev-ruimte die getempereerde distributies (bijv. ReLU, sigmoid) met polynomiale groei accommodeert.
- Coëfficiënt-ruimte ( $H_{s,t}$ ): Een ruimte die ervoor zorgt dat de activatiefunctie begrensd en continu is.
- Parameter-ruimte ( $G_{s,t}$ ): Een graaf-ruimte gedefinieerd door de unitaire coördinatentransformatie, die ervoor zorgt dat de synthese-operator $S: G_{s,t} \to L^2(\mathbb{R}^m)$ begrensd is.
  Deze constructie maakt het mogelijk om de formele Fourier-stappen analytisch te rechtvaardigen, waarbij bewezen wordt dat de synthese-operator begrensd is en dat limieten door de integraal heen kunnen worden overgedragen.

Belangrijkste Bijdragen en Resultaten

1. Directe Oplossing en Karakterisering van de Nulruimte

De primaire bijdrage is een directe afleiding van de ridgelet-oplossing uit de Fourier-expressie van de neurale netwerkvergelijking.

Specifieke Oplossing: De methode levert een specifieke ridgelet-transformatie $R[f; \rho_0]$ die $S[\gamma] = f$ oplost.
Volledige Nulruimte: Het artikel bewijst dat de nulruimte wordt uitput door een Hilbert-basis expansie van ridgelet-functies $R[e_i; \rho_j]$ waar de koppeling $\langle \sigma, \rho_j \rangle = 0$ geldt.
Algemene Oplossing: Elke oplossing $\gamma$ kan uniek worden gerepresenteerd als de som van de minimale-norm specifieke oplossing en een willekeurig element uit de nulruimte.

2. Canonieke Minimale-Norm Oplossing

Door de Hilbert-adjunct $S^*$ en de Moore-Penrose inverse $S^\dagger$ te construeren, identificeren de auteurs een unieke minimale-norm parameterdistributie voor elke doel-functie $f$ . Deze oplossing wordt gegeven door $S^\dagger f = c_\sigma^{-1} R[f; \sigma^*]$ , waarbij $\sigma^*$ de adjunct ridgelet-functie is (de Riesz-representer van de activatiefunctie).

3. Expliciete Adjunct Ridgelet-functies

Het artikel biedt concrete formules voor de adjunct ridgelet-functie $\sigma^*$ voor standaard activaties (ReLU, tanh, Gaussian CDF, en Gaussian density) binnen specifieke Hilbert-geometrieën. Deze zijn afgeleid als oplossingen van eendimensionale resolventproblemen in het Fourier-domein.

4. Eindige Breedte Benadering en Discretisatie

De auteurs onderzoeken hoe continue nul-elementen zich verhouden tot netwerken met een eindige breedte:

Benaderde Nullen: Zij bewijzen dat elke niet-nul metrische maat gediscretiseerd kan worden in een netwerk met een eindige breedte $N$ met een output-fout van $O(N^{-1/2})$ . Dit stelt vast dat parameter-redundantie niet louter een pathologie van oneindige breedte is, maar een spoor achterlaat in eindige netwerken.
Exacte Nullen: Exacte eindige nul-relaties ontstaan alleen uit specifieke algebraïsche symmetrieën van de activatie (bijv. pariteit voor oneven/even functies of affiene cancelatie voor ReLU), in plaats van uit de algemene continue nulruimte.

5. Perturbatieve Readout

Het artikel demonstreert dat informatie die gecodeerd is in de nulruimte (die onzichtbaar is voor de standaard activatie $\sigma$ ) zichtbaar gemaakt kan worden door een specifieke additieve parameter-perturbatie toe te passen. Deze perturbatie, die de unieke minimale-norm correctie is, maakt het mogelijk voor een "decoder"-activatie om functies uit te lezen die in de nul-component opgeslagen zijn, zonder de nul-component zelf te wijzigen.

Betekenis en Omvang

Het artikel beweert de eerste rigoureuze, uitputtende oplossing te bieden voor de neurale netwerkvergelijking voor continue breedte diepte-twee netwerken met behulp van een directe Fourier-methode. De betekenis ligt in:

Rigoureus Fundament: Het vervangt heuristische ridgelet-constructies door een bounded operator theorie framework, en bewijst dat de Fourier-methode van scheiding van variabelen wiskundig solide is voor getempereerde distributie-activaties.
Structurele Helderheid: Het scheidt expliciet de "zichtbare" doel-functie van de "geest"-nulcomponenten, en biedt een volledige geometrische beschrijving van de parameterruimte.
Canonieke Selectie: Het biedt een geprincipeerde manier om een unieke minimale-norm parameterdistributie te selecteren, wat de ambiguïteit in over-geparameteriseerde netwerken oplost.

De auteurs geven expliciet aan dat het werk zich richt op de functionele analyse van de synthese-operator en de volledige oplossing van de vergelijking. Hoewel de resultaten potentieel implicaties hebben voor de leertheorie (bijv. generalisatie-bounds, neural tangent kernels), behandelt het artikel deze als consequenties die apart onderzocht moeten worden, in plaats van als claims van de huidige structuurstelling. De resultaten zijn geformaliseerd in Lean 4 om correctheid te waarborgen.