🤖 machine learning

A Complete Symmetry Classification of Shallow ReLU Networks

Dit artikel biedt een complete classificatie van de symmetrieën in ondiepe ReLU-netwerken door de niet-differentieerbaarheid van de ReLU-activatiefunctie te benutten, waarmee een langdurige beperking tot analytische activatiefuncties wordt doorbroken.

Oorspronkelijke auteurs: Pranavkrishnan Ramakrishnan

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pranavkrishnan Ramakrishnan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧱 De Grote Puzzel: Waarom zien verschillende neural networks er hetzelfde uit?

Stel je voor dat je een enorme LEGO-pakket hebt. Je kunt er een kasteel van bouwen, een ruimteschip, of een auto. Maar wat als je ontdekt dat je met precies dezelfde stukjes (de parameters) twee totaal verschillende bouwsels kunt maken die er exact hetzelfde uitzien en zich exact hetzelfde gedragen?

In de wereld van kunstmatige intelligentie (AI) gebeurt dit vaak. Een "neuraal netwerk" is een wiskundig model dat leert van data. Het bestaat uit duizenden knoppen en schuifbalkjes (parameters). Als je deze knoppen een beetje verschuift, zou je denken dat het resultaat verandert. Maar soms niet.

Dit paper van Pranavkrishnan Ramakrishnan gaat over het vinden van alle mogelijke manieren waarop je die knoppen kunt verschuiven zonder dat het eindresultaat verandert. Dit noemen ze "symmetrieën".

🍕 De Pizza en de Snijder (De ReLU-functie)

Om dit te begrijpen, moeten we kijken naar de "pizza" die het netwerk snijdt.
In veel AI-modellen wordt een speciale knop gebruikt die ReLU heet.

Hoe werkt het? Stel je voor dat je een pizza hebt. Als je erop drukt (een positief getal), krijg je een stukje pizza. Als je erop drukt met een negatief getal (alsof je de pizza wegduwt), krijg je niets.
Het probleem: De ReLU-functie is niet glad; hij heeft een scherpe hoek (waar hij van "niets" naar "pizza" gaat). De meeste wiskundige regels uit het verleden werkten alleen voor gladde, ronde functies (zoals een soepel gebogen deeg). De scherpe hoek van ReLU maakte het voor wiskundigen tot nu toe onmogelijk om de volledige lijst van symmetrieën te maken.

🔍 Wat heeft deze auteur ontdekt?

De auteur zegt: "Laten we die scherpe hoek juist gebruiken!" In plaats van hem als een probleem te zien, gebruikt hij de scherpe hoek om een perfecte lijst te maken van alle mogelijke trucs die je kunt uithalen met de parameters.

Hij heeft twee grote dingen bewezen:

1. De "Gewone" Trucs (De Hn-groep)

Er zijn al bekende manieren om het netwerk te veranderen zonder dat het resultaat verandert.

Vergelijking: Stel je een groep vrienden voor die een liedje zingen.
- Je kunt de volgorde van de zangers verwisselen (permutatie).
- Je kunt de zangers harder of zachter laten zingen, zolang ze maar in verhouding blijven (diagonale matrices).
- Dit is de "standaard" symmetrie. Het is als het verplaatsen van stoelen in een klaslokaal; de klas is nog steeds dezelfde klas.

2. De "Verborgen" Trucs (De echte verrassing)

De auteur ontdekt dat er meer is dan alleen die standaardtrucs. Er zijn "verborgen symmetrieën".

De Magische Formule: Er is een specifieke relatie in de ReLU-wereld: $\sigma(x) - \sigma(-x) = x$ $σ (x) - σ (- x) = x$ .
- Vertaald: Als je een stukje pizza hebt en je trekt de "niet-pizza" (het negatieve deel) eraf, houd je de oorspronkelijke lijn over.
Vergelijking: Stel je voor dat je een muur bouwt met bakstenen. Je kunt een baksteen naar links schuiven en een andere naar rechts, zolang ze elkaar maar opheffen.
- De auteur laat zien dat er een specifieke combinatie van parameters is waarbij je een "positieve" neuron en een "negatieve" neuron tegen elkaar kunt laten werken. Ze heffen elkaar op tot een rechte lijn.
- Dit betekent dat je twee totaal verschillende sets van parameters kunt hebben die er heel anders uitzien, maar die precies dezelfde "muur" (functie) bouwen.

🗺️ De Kaart van de "Neuromanifold"

De auteurs noemen de verzameling van alle mogelijke netwerken die hetzelfde doen een neuromanifold.

Vergelijking: Stel je voor dat alle mogelijke instellingen van je radio een enorme berg zijn. De "zender" (het geluid) is het eindresultaat.
- Vaak denk je dat elke zender op een unieke plek op de berg staat.
- Maar dit paper laat zien dat er "tunnels" zijn. Je kunt door een tunnel lopen (de parameters veranderen) en je komt uit bij een andere plek op de berg, maar je hoort nog steeds hetzelfde liedje.
- De auteur heeft nu een complete kaart getekend van al die tunnels voor de eenvoudigste vorm van netwerken (shallow networks).

🏆 Waarom is dit belangrijk?

Geen meer giswerk: Voorheen wisten wetenschappers niet zeker of ze alle mogelijke trucs hadden gevonden. Nu weten ze het zeker (voor dit type netwerk).
Beter trainen: Als je weet dat er tunnels zijn, kun je slimme algoritmes bouwen die sneller door de "berg" navigeren om de beste instelling te vinden. Je hoeft niet elke weg te lopen als je weet dat twee wegen naar dezelfde bestemming leiden.
De ReLU-kracht: Het bewijst dat de "harde" hoek van ReLU (die vaak als een probleem werd gezien) juist de sleutel is om deze complexe structuur te doorgronden.

🎓 Samenvattend in één zin

Dit paper is als het vinden van de complete handleiding voor het verstellen van de knoppen op een simpele AI, zodat je precies weet welke knoppen je kunt draaien zonder dat het resultaat verandert, en het laat zien dat er meer "magische" combinaties zijn dan men ooit had gedacht, allemaal dankzij de scherpe hoek van de ReLU-functie.

Het is een fundamentele stap om te begrijpen hoe AI-modellen echt werken, in plaats van ze als een zwarte doos te behandelen.

1. Probleemstelling en Context

Het artikel adresseert een fundamenteel probleem in de theorie van neurale netwerken: het onderscheid tussen de parameterruimte en de functieruimte. In een shallow feedforward ReLU-neuraal netwerk (met één verborgen laag) kunnen verschillende sets parameters ( $\theta$ ) exact dezelfde functie $\rho(\theta)$ realiseren. Dit fenomeen staat bekend als symmetrie of niet-identificeerbaarheid.

Bestaande kennis: Eerdere studies (vaak uit de jaren '90 of recentelijk) hebben symmetrieën onderzocht voor activeringsfuncties die analytisch of polynomiaal zijn. Voor deze functies zijn de symmetrieën grotendeels begrepen als de werking van de groep $H_n$ (bestaande uit permutaties en diagonale matrices met positieve coëfficiënten) op de parameterruimte.
Het gat in de kennis: De ReLU-activatiefunctie ( $\sigma(x) = \max(0, x)$ ) is niet-differentieerbaar in 0. Bestaande methoden die afhankelijk zijn van analytische eigenschappen of probabilistische technieken voor diepe netwerken, falen of zijn niet toepasbaar voor een volledige classificatie van symmetrieën in het specifieke geval van shallow ReLU-netwerken.
Doel: Het doel is een complete algebraïsche classificatie te geven van alle parameters die dezelfde functie realiseren, specifiek voor het geval van ReLU, en te bepalen wanneer de vezel (de set van alle parameters die een functie realiseren) diffeomorf is aan de bekende symmetriegroep $H_n$ .

2. Methodologie

De auteur kiest voor een algebraïsche benadering in plaats van de gebruikelijke probabilistische of meetkundige methoden die vaak worden gebruikt voor diepe netwerken. De kern van de methode bestaat uit de volgende stappen:

Definitie van de Realisatiemap:
Voor een architectuur $(m, n, k)$ (input dimensie $m$ , verborgen laag $n$ , output $k$ ) wordt de realisatiemap $\rho$ gedefinieerd als:
$\rho(M, A, b, c) = M\sigma(Ax + b) + c$
waarbij $H_n$ inwerkt op de parameters via $h \cdot (M, A, b, c) = (Mh^{-1}, hA, hb, c)$ .
Minimal Form (Minimale Vorm):
De auteur introduceert een canonieke vorm voor parameters, genaamd de "minimal form". Dit wordt gedaan door een equivalentierelatie $\sim$ te definiëren die voortkomt uit triviale symmetrieën (zoals het verwijderen van verborgen neuronen met gewicht 0 of het samenvoegen van neuronen met evenwijdige activeringsvlakken).
- Een parameter is "minimal" als deze geen 0-factoren heeft (geen neuronen met nul gewicht of bias die de functie niet beïnvloeden) en voldoet aan een specifieke lexicografische ordening.
0-Factor Reductie:
Voor parameters met "0-factoren" (neuronalen die geen bijdrage leveren) wordt een reductieprocedure toegepast om een equivalente parameter zonder 0-factoren te vinden. Dit stelt de auteur in staat om het probleem te reduceren tot het geval waar alle verborgen neuronen actief zijn.
Analyse van Differentieerbaarheid:
Het cruciale inzicht is het gebruik van de niet-differentieerbaarheid van ReLU in 0. De auteur bewijst dat als een som van ReLU-functies een gladde (affine lineaire) functie oplevert, dit alleen mogelijk is onder zeer specifieke voorwaarden. Dit leidt tot een analyse van wanneer een combinatie van ReLU-termen elkaar opheft om een lineaire term te vormen.
Zariski Open Sets:
Om te bewijzen dat de "goede" gevallen (waar de symmetrie precies $H_n$ is) generiek zijn, construeert de auteur een Zariski open set in de parameterruimte. Buiten deze set (op een algebraïsche variëteit van lagere dimensie) treden extra symmetrieën op.

3. Belangrijkste Resultaten en Bijdragen

Hoofdstelling 1 (Theorema 1 & 5)

De set van parameters $\theta$ waarbij de vezel $\rho^{-1}(\theta)$ diffeomorf is aan de Lie-groep $H_n$ (d.w.z. de enige symmetrieën zijn de standaard permutaties en schalingen) vormt een dichte verzameling (specifiek een Zariski open set) in de parameterruimte.

Dit betekent dat voor "willekeurige" (generieke) ReLU-netwerken, er geen verborgen symmetrieën zijn die niet door $H_n$ worden verklaard.

Volledige Symmetrie Classificatie (Theorema 3 & 4)

De auteur geeft een complete beschrijving van de equivalentierelatie $\equiv$ die twee parameters $\theta_1$ en $\theta_2$ aan elkaar koppelt als ze dezelfde functie realiseren:

$\theta_1 \equiv \theta_2$ als en slechts als $\theta_1 \sim \theta_2$ (via de standaard $H_n$ -actie en de triviale equivalenties) OF als het verschil $\theta_1 \ominus \theta_2$ (een gedefinieerde operatie) na reductie een specifieke vorm aanneemt.
Deze specifieke vorm komt voort uit de identiteit:
$\sigma(x) - \sigma(-x) = x$
Dit betekent dat de enige "nieuwe" symmetrie die specifiek is voor ReLU (en niet voor andere activeringsfuncties) het vermogen is om een lineaire term te construeren door twee ReLU-neuronalen met tegengestelde gewichten en biases te combineren.

Stabilisator Classificatie (Theorema 2)

Het artikel classificeert de stabilisator van een parameter onder de $H_n$ -actie ( $Stab_{H_n}\theta$ ).

De stabilisator is isomorf met $S \times H_{n'}$ , waarbij $n'$ het aantal "dode" neuronen is en $S$ een eindige groep is gegenereerd door permutaties en schalingen van paren neuronen die lineair afhankelijk zijn.
Dit resulteert in een hiërarchie: als de stabilisator niet triviaal is, is de vezel niet noodzakelijk diffeomorf aan $H_n$ , maar de omgekeerde implicatie geldt niet altijd.

Voorbeeld van "Verborgen Symmetrie"

Het artikel illustreert met een concreet voorbeeld ( $\theta_1$ en $\theta_2$ in $\Omega(2,3,1)$ ) dat zelfs als een parameter voldoet aan de voorwaarden voor "genericiteit" uit eerdere literatuur (zoals in [8]), de vezel toch groter kan zijn dan $H_n$ . Dit komt door de specifieke algebraïsche relatie $\sigma(x) - \sigma(-x) = x$ , die een extra symmetrie creëert die niet door permutaties of schalingen alleen wordt gedekt.

4. Betekenis en Impact

Volledigheid voor ReLU: Dit is de eerste werk dat een complete classificatie biedt voor shallow ReLU-netwerken, zonder de beperking tot lokale omgevingen of specifieke subklassen. Het vult een gat in de literatuur dat bestaat sinds de jaren '90.
Algebraïsche Methode: De paper toont aan dat algebraïsche methoden (gebaseerd op de structuur van de ReLU-functie en differentieerbaarheid) krachtiger kunnen zijn dan probabilistische benaderingen voor het begrijpen van de fundamentele geometrie van het parameteroppervlak.
Optimalisatie en Generalisatie: Het inzicht dat de vezel voor generieke parameters precies $H_n$ is, bevestigt dat de "ruis" in het trainingsproces voor ReLU-netwerken voorspelbaar is. De "verborgen symmetrieën" (zoals de $\sigma(x) - \sigma(-x) = x$ relatie) treden alleen op op specifieke, niet-generieke manifolds. Dit heeft implicaties voor het begrijpen van het trainingsdynamiek en de convergentie van optimalisatie-algoritmen.
Geometrische Interpretatie: Hoewel de resultaten algebraïsch zijn, suggereert de auteur dat deze klassificaties diepe meetkundige structuren (zoals "bent hyperplane arrangements") beschrijven, hoewel een volledige meetkundige interpretatie buiten het bestek van dit werk valt.

Samenvattend biedt dit artikel een rigoureuze, algebraïsche raamwerk om te begrijpen wanneer en waarom verschillende ReLU-neurale netwerken identieke functies produceren, en bevestigt dat voor het overgrote deel van het parameterbereik de symmetrieën volledig worden beheerst door de bekende groep $H_n$ , met uitzondering van een specifieke, goed begrepen algebraïsche relatie.