Technische Samenvatting: Topologie en Geometrie van de Leerrumte van ReLU-netwerken

Probleemstelling

Het artikel behandelt twee fundamentele pathologieën in de trainingsdynamiek van feed-forward ReLU-netwerken gedefinieerd op algemene Directed Acyclic Graph (DAG) architecturen: de (on)verbondenheid van de parameterruimte en het bestaan van singulariteiten daarin. Terwijl klassieke resultaten zich vaak richten op gelaagde architecturen, maken moderne netwerken frequent gebruik van flexibele DAG-structuren (voortkomend uit ontwerp, pruning of compressie). De auteurs stellen dat training met gradiëntflow op netwerken met homogene activaties (zoals ReLU) leertrajecten beperkt tot een specifieke algebraïsche variëteit, de zogenaamde invariante verzameling. Het begrijpen van de geometrische en topologische eigenschappen van deze verzameling is cruciaal voor het analyseren van de trainingsdynamiek, aangezien het bepaalt welke parameterconfiguraties bereikbaar zijn en hoe de expressiviteit van het netwerk wordt beperkt door de initialisatie.

Methodologie

De auteurs maken gebruik van een combinatie van algebraïsche meetkunde, grafentheorie en dynamische systemen analyse:

1. Wiskundige Formulering:

   • Het netwerk wordt gemodelleerd als een DAG $G=(V, E)$. De parameterruimte $\Theta$ wordt geïdentificeerd met $\mathbb{R}^{|E|}$.
   • Door gebruik te maken van de rescaling symmetrie van homogene activaties (waarbij de inputgewichten van een neuron geschaald kunnen worden met $\alpha$ en de outputgewichten met $\alpha^{-1}$ zonder de functie te veranderen), leiden de auteurs behoudswetten af onder gradiëntflow.
   • Deze wetten worden geformuleerd met behulp van de incidentiematrix $\tilde{B}$ van de graaf (waarbij rijen voor input/output knopen zijn verwijderd). De behowswet wordt uitgedrukt als $\tilde{B}(\theta \odot \dot{\theta}) = 0$, wat integreert naar $\tilde{B}\theta^2 = c$, waarbij $c$ een vector is die bepaald wordt door de initialisatie.

2. Analyse van de Invariante Verzameling:

   • De invariante verzameling $H_G(c)$ wordt gedefinieerd als de oplossingsverzameling van het stelsel kwadratische vergelijkingen $\tilde{B}\theta^2 = c$. Deze verzameling vertegenwoordigt het manifold waarop gradiëntflow-trajecten worden beperkt.
   • De auteurs analyseren de verbondenheid van $H_G(c)$ met behulp van resultaten uit de topologie van intersecties van quadrics (specifiek aangepast van de Medrano, 2023).
   • Ze analyseren singulariteiten door de rang van de Jacobiaan-matrix $J_G(\theta) = 2\tilde{B}\text{diag}(\theta)$ te onderzoeken. Een singulariteit treedt op wanneer de rang daalt, wat overeenkomt met specifieke randen die nul gewichten hebben.

3. Regularisatiestrategie:

   • Om het netwerk actief naar singulariteitsconfiguraties te drijven (die overeenkomen met gedisconnecteerde sub-netwerken), stellen de auteurs een nuclear norm regularisator voor op de Jacobiaan $J_G(\theta)$. Dit dient als een glad surrogaat voor het minimaliseren van de rang, waardoor "zelf-pruning" wordt bevorderd.

Belangrijkste Bijdragen

1. Karakterisering van Verbondenheid

Het artikel biedt noodzakelijke en voldoende voorwaarden voor de verbondenheid van de invariante verzameling $H_G(c)$ in algemene DAG-architecturen.

• Bottleneck Neuronen: Disconnectedheid wordt aangetoond voort te komen uit specifieke bottleneck neuronen (knopen met slechts één input- of één output-rand).
• Balansvoorwaarden: Stelling 1 stelt vast dat $H_G(c)$ verbonden is dan en slechts dan als specifieke "balans"-voorwaarden worden voldaan voor deelverzamelingen van pure voorouders (voor out-bottlenecks) en pure nakomelingen (voor in-bottlenecks). Specifiek moet de som van de balanswaarden $c_v$ in bepaalde stabiele verzamelingen niet-negatief of niet-positief zijn.
• Implicatie: Als deze voorwaarden bij de initialisatie worden geschonden, splitst de optimalisatieruimte zich in gedisconnecteerde componenten. Een netwerk dat in één component is geïnitialiseerd, kan een andere component niet bereiken, wat bepaalde functies (bijv. die een tekenverandering vereisen in een bottleneck gewicht) onbereikbaar maakt, ongeacht het verlieslandschap.

2. Analyse van Singulariteiten

De auteurs identificeren singulariteiten in de invariante verzameling als configuraties waarin een subset van neuronen effectief gedisconnecteerd raakt van zowel de input- als de output-knopen.

• Topologische Correspondentie: Een singulariteit komt overeen met een daling in de rang van de Jacobiaan, wat gebeurt als en slechts als een verzameling randen met nul gewichten een subgraaf van verborgen neuronen loskoppelt van de rest van het netwerk.
• Onbereikbaarheid: Het artikel bewijst dat onder standaard gradiëntflow vanuit generieke initialisaties, singulariteiten niet in eindige tijd bereikbaar zijn.
  • Reden 1: De voorwaarde voor een singulariteit vereist een exacte gelijkheid $\sum_{v \in W} c_v = 0$ voor een bepaalde subset van knopen $W$. Voor willekeurige initialisaties is de kans op deze exacte gelijkheid nul.
  • Reden 2: Zelfs als een dergelijke configuratie bestaat, toont Propositie 7 aan dat de rang van de Jacobiaan invariant is onder gradiëntflow; een traject kan dus niet van een regulier punt naar een singulier punt overgaan.

3. Differentieerbare Pruning via Regularisatie

Omdat singulariteiten niet bereikbaar zijn via standaard gradiëntflow, stellen de auteurs voor om regularisatie te gebruiken om ze te induceren.

• Nuclear Norm Regularisator: Door de nuclear norm van de Jacobiaan te bestraffen, wordt de trainingsdynamiek gestimuleerd om naar singulariteitsconfiguraties te convergeren, wat effectief werkt als differentieerbare, structuur-agnostische pruning.
• Empirische Observatie: Numerieke experimenten op MLP's laten zien dat deze regularisator er succesvol in slaagt om een aanzienlijk deel van de verborgen neuronen te deconnecteren (bijv. 18 van de 20). Verrassend genoeg induceert standaard L1-regularisatie (doorgaans geassocieerd met gewichtssparsity) empirisch vergelijkbaar singular gedrag en effectieve verliesloze pruning, wat suggereert dat er een diepere, onverklaarde connectie bestaat tussen L1-sparsity en singulariteitsinductie.

Resultaten

• Theoretisch: Het artikel stelt vast dat de topologie van de invariante verzameling wordt bepaald door de graafstructuur van het netwerk (specifiek bottlenecks) en de initialisatie-afhankelijke balansvector $c$. Het bewijst dat disconnectedheid de globale optimalisatie-bereikbaarheid in bepaalde topologieën verhindert.
• Singulariteiten: Er wordt bewezen dat singulariteiten overeenkomen met "gedode" sub-netwerken. Hoewel ze theoretisch deel uitmaken van de variëteit, zijn ze dynamisch ontoegankelijk onder standaard training, tenzij de initialisatie pathologisch is of specifieke regularisatie wordt toegepast.
• Experimenten:
  • In een eenvoudige DAG met een out-bottleneck demonstreren de auteurs dat als de initialisatie de balansvoorwaarde schendt, het netwerk faalt om een doelfunctie te leren die een tekenverandering in het bottleneck gewicht vereist.
  • Op de Breast Cancer dataset slaagt de nuclear norm regularisatie er succesvol in om de rang van de Jacobiaan te verlagen, waardoor neuronen worden gedisconnecteerd. L1-regularisatie levert vergelijkbare resultaten op, terwijl L2- en onregulariseerde training de volledige verbondenheid behouden.
  • Pruning-experimenten bevestigen dat netwerken die naar singulariteiten worden gedreven, verliesloze pruning mogelijk maken (het verwijderen van gedisconnecteerde neuronen zonder prestatieverlies), terwijl L2-regulariseerde netwerken prestatieverlies lijden wanneer neuronen worden verwijderd.

Betekenis en Claims

Het artikel claimt licht te werpen op de interactie tussen netwerktopologie en optimalisatiegeometrie. Door de invariante verzameling te karakteriseren als een algebraïsche variëteit die beperkt wordt door kwadratische balansvoorwaarden, bieden de auteurs een principieel kader om te begrijpen waarom bepaalde trainingspaden geblokkeerd zijn (disconnectedheid) en hoe singulariteiten gerelateerd zijn aan sub-netwerken.

De primaire betekenis ligt in het bieden van een geprincieerd pad voor het ontwerpen van pruning-mechanismen. In plaats van uitsluitend te vertrouwen op heuristische sparsity-constraints, suggereren de auteurs de structuur van de optimalisatieruimte te exploiteren (specifiek: het systeem naar singulariteiten drijven) om effectieve, verliesloze modelcompressie te bereiken. De observatie dat L1-regularisatie impliciet deze singuliere configuraties bevordert, suggereert dat standaard sparsity-inducerende methoden deze geometrische eigenschappen wellicht al benutten, zelfs als het mechanisme voorheen alleen begrepen werd in termen van gewichtssparsity.

De auteurs blijven bescheiden over beperkingen en merken op dat hun theoretische garanties steunen op gradiëntflow en onregulariseerde losses met homogene activaties. Ze erkennen dat discrete-time optimizers (zoals Adam) en expliciete regularisatietermen de afgeleide behowswetten kunnen schenden, en dat de praktische toepassing van de nuclear norm regularisator momenteel wordt beperkt door computationele restricties.