Technische Samenvatting: Algebraïsche Netwerken en Architecturale Degeneraties

Probleemstelling

Het artikel onderzoekt de geometrie van polynomiale neurale netwerken (PNN's) met monomiale activatiefuncties en zonder bias. Hoewel neurale netwerken doorgaans worden geanalyseerd via hun parameterruimtes, is het fundamentele geometrische object de neurovariëteit: de Zariski-sluiting van het beeld van de realisatiemap van de parameterruimte naar de ruimte van polynomiale functies.

Het centrale probleem dat wordt behandeld, is de relatie tussen de singulariteiten van deze neurovariëteiten en de degeneraties van de onderliggende netwerkarchitectuur. Recente literatuur suggereert een leidend principe: singulariteiten in de functieruimte zouden moeten voortkomen uit structurele degeneraties in het netwerk (bijv. rang-arme lagen of inactieve neuronen). Dit artikel beoogt dit principe te formaliseren binnen een rigoureus algebraïsch kader, specifiek voor volledig verbonden netwerken, door algebraïsche netwerken, subnetwerken en architecturale degeneratieloci te definiëren.

Methodologie

De auteurs maken gebruik van instrumenten uit de algebraïsche meetkunde, specifginger de studie van affiene variëteiten, groepsacties en lokale ringtheorie. De methodologie verloopt via de volgende structurele stappen:

1. Algebraïsch Netwerk Kader:

   • Een algebraïsch netwerk wordt gedefinieerd als een tripel $X = (N, W, r)$, waarbij $N$ een sequentie van vectorruimten (lagen) is, $W$ een irreducibele algebraïsche parameterruimte (deelverzamelingen van lineaire afbeeldingen) en $r$ een vector van activatiegraden.
   • De realisatiemap $\Phi_X$ brengt parameters naar polynomiale functies. De affiene neurovariëteit $F(X)$ is de Zariski-sluiting van het beeld van $\Phi_X$.
   • Morfismen tussen netwerken worden rigide gedefinieerd om compatibiliteit met lineaire lagen en activatiemappen te waarborgen, wat gesloten inbeddingen tussen neurovariëteiten induceert.

2. Subnetwerken en Degeneratie:

   • Subnetwerken worden categorisch gedefinieerd als morfismen waarbij de verborgen laag-afbeeldingen inclusies zijn van door deelverzamelingen van neuronen gespannen deelruimten.
   • De Architecturale Degeneratielocus $D_{arch}(X)$ wordt gedefinieerd als het beeld van parameters die niet "volledig" zijn. Een parameter is "volledig" (in $W^\circ$) als alle gewichtsmatrices een maximale rang hebben en geen verborgen neuron een nul-uitgaande kolom heeft.
   • $D_{arch}(X)$ representeert functies die ten minste één degenereerde representatie toestaan (rang-arme of inactieve neuronen).

3. Symmetrieën en Identificeerbaarheid:

   • Het artikel analyseert de symmetriegroep $G(X)$ gegenereerd door permutaties van verborgen neuronen en rescalings die compatibel zijn met de activatiegraden.
   • Het construeert de affiene quotient $W(X) = \text{Spec}(\mathbb{C}[W]^{G(X)})$.
   • Identificeerbaarheid wordt geometrisch geformuleerd: een netwerk is generiek eindig identificeerbaar als de geïnduceerde afbeelding van de quotient-parameterruimte naar de neurovariëteit nul-dimensionale algemene vezels heeft.

4. Regulariteitsanalyse via Laaggewijze Reconstructie:

   • Het kerntechnische argument betreft een laaggewijze formele reconstructie. De auteurs introduceren hulp-parameterruimten $Q_{a,B,r}(E)$ die decomposities van sommen van machten met vectorcoëfficiënten parametriseren.
   • Ze definiëren reguliere tripels $(a, b, r)$ waar de secant-parametrisering een isomorfisme induceert op de voltooide lokale ringen (een lokale versie van identificeerbaarheid).
   • Door dit lokale isomorfisme-argument iteratief over de lagen toe te passen, vestigen zij een isomorfisme tussen de voltooide lokale ring van de neurovariëteit in een punt $\Phi_X(w)$ en de voltooide lokale ring van de quotient-parameterruimte in $[w]$.

Belangrijkste Bijdragen

1. Formalisering van het Singulariteit-Degeneratie Principe

Het artikel biedt een precies geometrisch kader dat de singulariteiten van neurovariëteiten koppelt aan architecturale degeneraties. Het bewijst dat voor volledig verbonden netwerken met niet-toenemende breedtes, de singulariteitslocus van de neurovariëteit gecontineerd is binnen de architecturale degeneratielocus.

2. Definitie van de Architecturale Degeneratielocus

De auteurs definiëren $D_{arch}(X)$ als de sluiting van de vereniging van neurovariëteiten van de eigengelijke rang-beperkte subnetwerken. Ze bewijzen dat voor volledig verbonden netwerken die aan milde breedtecondities voldoen, deze locus exact samenvalt met de verzameling functies die een degenereerde representatie toestaan.

3. Regulariteitstheorema voor Volledige Parameters

Een primair resultaat is dat voor volledig verbonden netwerken met niet-toenemende breedtes en scalaire output, volledige parameters (die maximale rang-matrices en geen nul-kolommen hebben) naar gladde punten van de neurovariëteit mappen, mits expliciete laaggewijze regulariteitscondities worden voldaan. Bij consequentie kunnen singulariteiten alleen voorkomen bij degenereerde parameters.

4. Classificatie van Reguliere Tripels

Het artikel classificeert wanneer het lokale reconstructie-argument standhoudt (d.w.z. wanneer tripels "regulier" zijn):

• Voor activatiegraad $r \ge 3$ is het tripel regulier als $a \ge b \ge 1$.
• Voor activatiegraad $r = 2$ is het tripel regulier als $a = b$.

5. Verbinding met Identificeerbaarheid en Reducedness

De auteurs demonstreren dat het bestaan van "goede parameters" (waar de kern van de differentiaal van de realisatiemap gelijk is aan de Lie-algebra actie) equivalent is aan generieke eindige identificeerbaarheid. Verder bewijzen ze dat volledig verbonden generiek eindig identificeerbare netwerken reduced zijn (hun neurovariëteit kan niet gerealiseerd worden door een proper rang-beperkt subnetwerk).

Belangrijkste Resultaten

Stelling 35 (Hoofdstelling):
Laat $X$ een volledig verbonden netwerk zijn met niet-toenemende breedtes en scalaire output. Stel dat voor elke laag $t$, ofwel de activatiegraad $r_t \ge 3$ geldt, of ($r_t = 2$ en $\dim N_t = \dim N_{t+1}$).
Indien $\Phi_X(w)$ een singular punt van de neurovariëteit is, dan moet de parameter $w$ het volgende bevatten:

1. Een matrix met een niet-maximale rang, OF
2. Een matrix met een verdwijnende kolom.

Bovendien, onder deze condities, is het netwerk $X$ reduced en generiek eindig identificeerbaar.

Corollary:
Voor dergelijke architecturen is de singulariteitslocus van de neurovariëteit strikt gecontineerd binnen de architecturale degeneratielocus $D_{arch}(X)$. De "goede" parameters (die in $W^\circ$ liggen) corresponderen met gladde punten van de variëteit.

Betekenis en Claims

Het artikel claimt de eerste formele instantie te bieden van het principe dat singulariteiten van neurovariëteiten voortkomen uit architecturale degeneraties.

• Theoretische Bijdrage: Het gaat verder dan enkelvoudige laag-analyse naar diepe architecturen, en vestigt een woordenboek tussen geometrische eigenschappen (singulariteiten, gladheid) en leer-theoretische concepten (identificeerbaarheid, reducedness, subnetwerken).
• Scope: Het kader is intentioneel algemeen, waarbij het formele mechanisme gescheiden wordt van het specifieke geval van volledig verbonden netwerken dat wordt behandeld. De auteurs uiten de hoop dat de taal van algebraïsche netwerken, subnetwerken en quotient-parameterruimten kan worden aangepast aan andere architecturen, zoals convolutionele, equivariante of tensor-netwerkmodellen.
• Bescheidenheid: Het artikel stelt geen nieuwe trainingsalgoritmen of experimentele validaties voor. In plaats daarvan biedt het een rigoureuze geometrische karakterisering van wanneer en waarom singulariteiten optreden in polynomiale neurale netwerken, waarbij statistische en optimalisatie eigenschappen worden gegrond in algebraïsche meetkundige invarianten.