🤖 machine learning

The Symmetries of Three-Layer ReLU Networks

Dit artikel vestigt een compleet raamwerk voor het karakteriseren van parametersymmetrieën in drie-laagse ReLU-netwerken, waarbij expliciete semi-algebraïsche beschrijvingen van functionele equivalentievezels en een polynomiale tijd-algoritme voor hun beslissing worden geboden, terwijl ook wordt geanalyseerd hoe deze symmetrieën lokale behoudswetten langs gradiëntstroom induceren.

Oorspronkelijke auteurs: Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Gepubliceerd 2026-05-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een neurale netwerk voor als een complexe machine opgebouwd uit lagen schakelaars en hendels. In een ReLU-netwerk (een zeer veelvoorkomend type AI) gaan deze schakelaars "aan" als een signaal positief is, en blijven ze "uit" (nul) als het negatief is.

Het artikel dat je hebt aangeleverd stelt een fundamentele vraag: Als twee verschillende machines voor elke mogelijke invoer exact dezelfde uitvoer produceren, zijn ze dan eigenlijk dezelfde machine?

Het antwoord is nee. Net zoals twee verschillende recepten exact dezelfde taart kunnen maken, kunnen twee verschillende sets getallen (parameters) binnen een neurale netwerk exact dezelfde functie produceren. De verzameling van al deze "verschillende maar identieke" instellingen wordt een vezel genoemd.

Hieronder volgt een uiteenzetting van wat de auteurs hebben ontdekt, met behulp van eenvoudige analogieën:

1. De "Verborgen" Symmetrieën

In eenvoudige, ondiepe netwerken waren we al bekend met twee manieren om de getallen te veranderen zonder het resultaat te wijzigen:

Neuronen verwisselen: Stel je een rij gloeilampen voor. Als je lamp A en lamp B verwisselt, ziet de kamer er hetzelfde uit.
Opnieuw schalen: Als je lamp A met 2x harder zet en de draad die hem verbindt met de volgende laag ook met 2x, blijft de uiteindelijke helderheid ongewijzigd.

De auteurs ontdekten dat in drielags-netwerken nieuwe, vreemdere symmetrieën bestaan die niet voorkomen in eenvoudigere netwerken. Deze ontstaan door de manier waarop lagen met elkaar interageren.

2. Het "Verbergings"-Mechanisme

De meest opwindende ontdekking gaat over verbergen.

Stel je voor dat de eerste laag van het netwerk een kaart van de wereld tekent met meerdere lijnen (hypervlakken). De tweede laag moet deze kaart bekijken en beslissingen nemen.

Het Normale Geval: De tweede laag ziet alle lijnen duidelijk. Als je een lijn verplaatst, merkt de tweede laag dit op en verandert de uiteindelijke uitvoer.
Het Verbergings-Geval: Soms is de tweede laag op een specifieke manier ingericht (zoals een specifiek patroon van gewichten) dat fungeert als een blinddoek. Het negeert volledig een specifieke lijn die door de eerste laag is getekend.

De Analogie: Stel je voor dat je op een stuk papier tekent (Laag 1). Een tweede persoon (Laag 2) kijkt naar je tekening door een specifiek zonnebril.

Als de zonnebril helder is, zien ze elke lijn die je tekent.
Als de zonnebril een specifieke lijn "verbergt", kunnen ze die niet zien.
De Symmetrie: Omdat ze die specifieke lijn niet kunnen zien, kun je die lijn naar links, rechts, omhoog of omlaag schuiven, en de tweede persoon zal het niet merken. Je kunt ook de richting van de lijn omdraaien, en ze zullen het nog steeds niet merken. Het eindresultaat (de "taart") smaakt exact hetzelfde, zelfs al is het "recept" (de parameters) veranderd.

3. De "Bottleneck"-Ontdekking

De auteurs richtten zich op een specifiek type netwerk dat een bottleneck-architectuur wordt genoemd.

De Analogie: Stel je een trechter voor. De invoer is breed, de middenlaag is smal (de hals van de trechter) en de uitvoer is weer breed.
In deze specifieke "trechter"-vorm bewezen de auteurs dat ze elke mogelijke manier hebben gevonden om de getallen te veranderen zonder de functie te wijzigen. Ze hebben een complete "kaart" gemaakt van alle verborgen symmetrieën.

4. Wat Dit Betekent voor "Identificeerbaarheid"

In de wetenschap betekent "identificeerbaarheid": "Als ik de uitvoer zie, kan ik dan de exacte instellingen achterhalen die gebruikt zijn om het te creëren?"

Het artikel toont aan dat voor deze drie-laags bottleneck-netwerken het antwoord meestal nee is, tenzij de instellingen zeer specifiek zijn.
Ze vonden een eenvoudige regel gebaseerd op tekens (positieve of negatieve getallen) in de tweede laag. Als de tekens een bepaald patroon volgen, "verbergt" het netwerk informatie, en kun je geen onderscheid maken tussen de oorspronkelijke instellingen en de "verbergende" instellingen.
Goed Nieuws: Omdat ze deze patronen zo goed begrijpen, hebben ze een snel computeralgoritme (polynomiale tijd) gebouwd dat twee sets getallen kan bekijken en direct kan zeggen: "Ja, deze produceren dezelfde functie" of "Nee, dat doen ze niet."

5. De "Globale" versus "Lokale" Verrassing

Een van de meest tegen-intuïtieve bevindingen gaat over localiseerbaarheid.

De Verwachting: Je zou denken: "Als Laag 1 uniek is, en Laag 2 uniek is, dan moet de hele machine uniek zijn."
De Realiteit: De auteurs bewezen dat dit onwaar is. Je kunt een netwerk hebben waarbij Laag 1 uniek is en Laag 2 uniek is, maar wanneer je ze combineert, creëren ze een nieuwe, verborgen symmetrie die het geheel niet-uniek maakt.
De Metafoor: Het is alsof twee mensen die allebei uitstekende, unieke dansers zijn. Maar wanneer ze samen dansen, creëren ze per ongeluk een beweging die er exact hetzelfde uitziet als een beweging die door twee andere mensen is gemaakt. De combinatie creëert een nieuw soort redundantie die er eerder niet was.

6. Training en "Behouden Grootheden"

Tot slot raakt het artikel aan hoe deze netwerken leren (met behulp van gradiëntstroom).

In sommige gevallen werken deze symmetrieën als behoudswetten in de fysica (zoals energie of impuls). Naarmate het netwerk traint, blijven bepaalde wiskundige grootheden exact hetzelfde, ongeacht hoe de getallen veranderen.
Echter, de auteurs ontdekten dat de nieuwe "verbergende" symmetrieën die ze ontdekten geen van deze behoudswetten creëren. Dit betekent dat het trainingspad van het netwerk anders gedraagt, afhankelijk van welk type symmetrie actief is.

Samenvatting

Het artikel biedt een complete "gebruikershandleiding" voor de verborgen symmetrieën in drie-laags ReLU-netwerken. Het onthult dat:

Lagen elkaar kunnen verbergen: Een laag kan de geometrische kenmerken van een vorige laag onzichtbaar maken voor de rest van het netwerk.
Dit creëert oneindige variaties: Je kunt deze "verborgen" kenmerken verschuiven of omdraaien zonder de uitvoer van het netwerk te veranderen.
We kunnen het detecteren: Er is een snelle manier om te zeggen of twee netwerken functioneel identiek zijn.
Het is een globale eigenschap: Je kunt niet laag voor laag controleren; je moet kijken hoe de hele machine in elkaar zit om deze verborgen redundanties te zien.

De auteurs concluderen dat hoewel ze dit hebben opgelost voor "bottleneck"-netwerken, het breder of dieper maken van het netwerk het probleem exponentieel moeilijker maakt, waarschijnlijk tegen een muur van computationele complexiteit aanlopend.

Technische Samenvatting: De Symmetrieën van Drie-Laags ReLU-netwerken

Probleemstelling
Een fundamentele eigenschap van neurale netwerkparametrisaties is redundantie: verschillende parameterconfiguraties kunnen exact dezelfde functie realiseren. Deze redundanties worden geformaliseerd als vezels, gedefinieerd als de verzameling van alle parameters die een gegeven functie realiseren. Hoewel parametersymmetrieën (transformaties die de functie onveranderd laten) goed begrepen zijn voor netwerken met één verborgen laag en ReLU-activaties – waarbij generieke vezels triviaal zijn tot permutatie en schaling – blijft de structuur van vezels in diepe architecturen grotendeels ongekarakteriseerd. In diepe netwerken kunnen extra lokale symmetrieën ontstaan uit specifieke niet-degeneratieve configuraties, en is identificeerbaarheid vaak niet-uniform over de parameterruimte. Het centrale probleem dat wordt aangepakt, is de systematische beschrijving van alle parameters die een gegeven functie realiseren in diepe ReLU-netwerken, met name het onderzoeken hoe laagcompositie redundanties introduceert die niet kunnen worden gereduceerd tot symmetrieën die binnen individuele lagen werken.

Methodologie
De auteurs ontwikkelen een raamwerk gebaseerd op polyedrische meetkunde en tropische meetkunde om parametervezels te analyseren. Belangrijke methodologische componenten zijn:

Hypervlakrepresentatie: Voor netwerken met één verborgen laag op het niet-negatieve orthant wordt de gerealiseerde functie gekarakteriseerd door een gewogen hypervlakarrangement. De functie wordt bepaald, tot een globale affiene transformatie, door de rangschikking van "gebochte hypervlakken" (waar neuronen overschakelen van inactief naar actief) en hun bijbehorende gewichtsvector (gradiëntsprongen).
Aannames over Generaliteit: De analyse richt zich op generieke parameters, gedefinieerd door twee voorwaarden: (1) Supertransversaliteit, die ervoor zorgt dat gebochte hypervlakken snijden in verwachte codimensies, en (2) Maximaal rang van gemaskeerde producten, wat algebraïsche degeneraties in composities van gewichtsmatrices voorkomt. Dit zorgt ervoor dat de combinatorische structuur van het canonieke polyedrische complex stabiel is.
Laagsgewijze versus Compositie-analyse: Het artikel karakteriseert eerst vezels voor enkele lagen (laagsgewijze symmetrieën) en analyseert vervolgens hoe deze interageren wanneer lagen worden gecomposeerd. Een kritiek mechanisme dat wordt geïdentificeerd, is het "verbergen" van meetkundige kenmerken: een hypervlak uit een eerdere laag kan functioneel onzichtbaar zijn in de uiteindelijke output als het "verankerd" is of wordt bedekt door de actieve regio's van latere lagen.
Semi-algebraïsche Beschrijvingen: De vezels worden expliciet beschreven als verenigingen van semi-algebraïsche verzamelingen gedefinieerd door polynoomvergelijkingen en -ongelijkheden, wat berekeningen van dimensies en algoritmische beslissingsprocedures mogelijk maakt.

Belangrijkste Bijdragen en Resultaten

Laagsgewijze Vezels (Één Verborgen Laag):
Het artikel biedt een volledige beschrijving van vezels voor netwerken met één verborgen laag op het niet-negatieve orthant. De vezel blijkt een disjuncte vereniging te zijn van semi-algebraïsche verzamelingen die overeenkomen met verschillende oriëntatiekeuzes van de niet-lineaire neuronen. Zodra de oriëntaties zijn vastgesteld, komen de resterende vrijheidsgraden overeen met de factorisatie van een affiene afbeelding door lineaire neuronen. De dimensie van deze componenten wordt berekend op basis van de niet-negatieve kolomrang van het vereiste lineaire deel.
Symmetrieën uit Laagcompositie (Drie-Laags Netwerken):
De auteurs identificeren nieuwe symmetrieën die specifiek voortvloeien uit de compositie van ReLU-lagen, die niet aanwezig zijn in de analyse van enkele lagen.
- Continue Symmetrie: Als een neuron in de tweede laag een hypervlak uit de eerste laag "verbergt" (door alleen actief te zijn wanneer het neuron in de eerste laag lineair is en elders inactief), kan de bias van de eerste laag continu worden vertaald. Deze vertaling wordt exact gecompenseerd door een overeenkomstige verschuiving in de biases van de tweede laag, waardoor de gerealiseerde functie invariant blijft.
- Discrete Symmetrie: In het specifieke geval waarin de tweede verborgen laag uit één neuron bestaat ( $n_2=1$ ), ontstaat een discrete "tekenomkerende" symmetrie. Dit maakt een eindige groep transformaties op de gewichten van de eerste laag mogelijk die de functie behouden, en die verschillen van standaard permutatie en schaling.
Volledige Karakterisering voor Drie-Laags Bottlenecks:
Voor drie-laags bottleneck-architecturen ( $n_1 \leq d$ ) bewijst het artikel dat de hierboven beschreven symmetrieën (permutatie, schaling, laagsgewijze factorisatie, verbergings-gedreven vertaling en discrete tekenomkering) volledig zijn voor generieke parameters.
- Voorwaarden voor Identificeerbaarheid: Een generieke parameter is identificeerbaar dan en slechts dan als er geen hypervlak uit de eerste laag wordt verborgen. Deze voorwaarde wordt volledig bepaald door de tekenpatronen van de gewichten en biases van de tweede laag. Specifiek treedt niet-identificeerbaarheid op als een rij van de gewicht-biasmatrix van de tweede laag volledig negatief is (dood neuron), volledig positief (lineair neuron), of een specifiek "verbergend" patroon heeft (positief in één kolom, negatief elders).
- Polynomiale Tijden Algoritme: Gebaseerd op deze karakterisering bieden de auteurs een algoritme in polynomiale tijd om te beslissen of twee generieke parameters in een bottleneck-architectuur dezelfde functie realiseren.
Niet-Lokalisatie van Vezels:
Het artikel demonstreert dat identificeerbaarheid in diepe ReLU-netwerken niet lokaal is. Er wordt een netwerk geconstrueerd waarbij paarsgewijze composities van lagen ( $f_2 \circ f_1$ en $f_3 \circ f_2$ ) identificeerbaar zijn, terwijl de volledige compositie ( $f_3 \circ f_2 \circ f_1$ ) dat niet is. Dit toont aan dat parameterredundantie kan ontstaan als een globale eigenschap van netwerkcompositie, afhankelijk van de interactie tussen het bereik van eerdere lagen en de niet-lineariteiten van latere lagen.
Behoudswetten in Gradiëntstroom:
De auteurs onderscheiden tussen symmetrieën die geconserveerde grootheden langs gradiëntstroom induceren en die welke dat niet doen.
- Symmetrieën die voortvloeien uit lineaire neuronen (laagsgewijze schaling) induceren lokaal geconserveerde grootheden (gerelateerd aan matrixproduct-symmetrieën).
- Omgekeerd induceren de continue "verbergende" symmetrieën die in Sectie 5 worden geïdentificeerd geen geconserveerde grootheden, aangezien de symmetriecurve niet orthogonaal is op de gradiëntstroom op een manier die een potentiaalfunctie genereert.

Betekenis en Beweringen
Het artikel claimt de eerste systematische en volledige beschrijving te bieden van parametervezels voor diepe ReLU-netwerken buiten het geval van één verborgen laag, specifiek voor het bottleneck-regime. Door vast te stellen dat vezelstructuren afhankelijk zijn van of diepere lagen de meetkundige structuur van voorgaande lagen verbergen of behouden, verduidelijkt dit werk de aard van parameterredundantie in deep learning.

De auteurs positioneren hun resultaten nabij een grens van hanteerbaarheid. Zij betogen dat expliciete, efficiënt controleerbare beschrijvingen van vezels mogelijk zijn specifiek vanwege de generaliteits- en bottleneck-aannames. Zij merken op dat het verwijderen van deze aannames (bijvoorbeeld in bredere of diepere netwerken) leidt tot combinatorische explosies en consistent is met bekende complexiteitstheoretische barrières (coNP-hardheid) voor het beslissen van functionele equivalentie in algemene ReLU-netwerken. Aldus isoleert het artikel een regime waarin echt diepe compositie-symmetrieën ontstaan maar analytisch hanteerbaar blijven.