On the Stable Euclidean Distance Degree of Algebraic Layers

Technische Samenvatting: Over de stabiele Euclidische Afstandgraad van Algebraïsche Lagen

Probleemstelling
Dit artikel onderzoekt de projectieve geometrie van algebraïsche neurale lagen, specifiek families van afbeeldingen geïnduceerd door polynomiale activatiefuncties. Het centrale object van studie is de generieke Euclidische Afstandgraad (gED) van de geassocieerde "neurovariëteiten". De gED is een projectieve invariant die het aantal optimale benaderingen meet van een algemeen punt in de omringende ruimte met betrekking tot een algemene metriek. Hoewel de Euclidische Afstandgraad (ED-graad) een metriek-afhankelijke invariant is, stabiliseert de waarde voor een voldoende algemeen scalair product en wordt deze een projectieve invariant die gelijk is aan de som van de polaire klassen van de variëteit.

Het specifieke probleem dat wordt aangepakt, is het gedrag van de gED voor ondiepe neurale netwerken (enkele verborgen lagen) terwijl de dimensies van de input- en outputruimten variëren, terwijl de architecturale breedte en de graad van de activatie-polynoom vast blijven. Vorig werk [9] leverde gesloten formules voor de gED wanneer de outputdimensie varieert, maar de stabiele functionele eigenschappen met betrekking tot zowel input- als outputdimensies voor algemene polynomiale activaties bleven openstaan.

Methodologie
De auteurs hanteren een uniforme intersectietheoretische benadering die geworteld is in de algebraïsche geometrie. De methodologie verloopt via de volgende stappen:

1. Geometrische Realisatie: De verzameling functies in een algebraïsche neurale laag wordt gerealiseerd als een projectieve variëteit (de $k$-de secant-variëteit van een specifieke Segre-achtige product). Het artikel stelt vast dat voor een vaste ondersteuning (support) van de activatie-polynoom de geassocieerde variëteit projectief equivalent is, ongeacht de specifieke coëfficiënten, mits de ondersteuning identiek is.
2. Nash-blow-up en Resolutie: Om de singulariteiten van deze variëteiten te behandelen, maken de auteurs gebruik van de Nash-blow-up. Ze construeren een resolutie van singulariteiten $Z_S$ voor de neurovariëteit $X_S$ als een projectieve bundel over een product van Grassmannianen, $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$. Deze ruimte parametriseert de rang-$k$ lineaire afbeeldingen die de laag definiëren, samen met hun kernen en afbeeldingen.
3. Chern-Mather Klassen en Polaire Degrees: De gED wordt uitgedrukt in termen van de Chern-Mather klassen van de variëteit (Stelling 2.18). Met behulp van de Nash-blow-up relateren de auteurs deze klassen aan de tautologische bundels over het Grassmannian-product $B_S$. Dit reduceert de berekening van de gED tot een intersectienummer (een integraal) over $B_S$.
4. Equivariante Lokalisatie: Om deze integralen te evalueren en polynomialiteit te bewijzen, passen de auteurs technieken van equivariante lokalisatie toe. Ze beschouwen de actie van een algebraïsche torus op de Grassmannianen. De integraal wordt uitgedrukt als een eindige som over de vaste punten van deze actie.
5. Schubert-calculus en Stabilisatie: Het artikel analyseert de structuur van de integrand met behulp van Schubert-calculus. Door uniforme grenzen vast te stellen aan de graden van de Schubert-klassen die bijdragen aan de intersectienummers, tonen de auteurs aan dat voor voldoende grote dimensies de specifieke ondersteuning van de activatie-polynoom irrelevant wordt en alleen de graad ertoe doet.

Belangrijkste Bijdragen en Resultaten

• Stabiele Polynomialiteit (Stelling 4.5): Het primaire resultaat stelt vast dat voor een vaste laagbreedte $k$ en een vaste activatiegraad $r$, de generieke Euclidische Afstandgraad $gED(m, n, S, k)$ uiteindelijk gegeven wordt door een polynomiale functie in de inputdimensie $n$ en de outputdimensie $m$. Dit geldt voor elke eindige ondersteuning $S$ van de activatie-polynoom met $\max(S) = r$. Het bewijs rust op het feit dat de lokalisatieformule symmetrische sommen van gewichten oplevert, die bekend staan als polynomiaal in het aantal variabelen voor grote $N$ (Propositie A.1).
• Reductie naar het Monomiale Geval (Stelling 5.4): Het tweede belangrijke resultaat bewijst dat de gED alleen afhangt van de graad van de activatie-polynoom, en niet van de specifieke monomiale ondersteuning. Specifiek, voor voldoende grote dimensies, is de gED van een laag met een algemene polynomiale activatie $P$ identiek aan de gED van een laag met een monomiale activatie $z^{\deg(P)}$.
  • Dit wordt bereikt door aan te tonen dat het verschil tussen de intersectie-integralen voor verschillende ondersteuningen betrokken is bij Schubert-klassen van hoge codimensie die verdwijnen in het stabiele bereik (Lemma's 5.1 en 5.2).
  • Dit impliceert een drastische vereenvoudiging voor computationele doeleinden: men kan complexe polynomiale activaties vervangen door eenvoudige monomialen zonder de asymptotische algebraïsche complexiteit (de gED) te veranderen.
• Expliciete Intersectieformules: Het artikel biedt een kader om de gED uit te drukken als een integraal over producten van Grassmannianen met betrekking tot de Chern-klassen van tautologische bundels (Opmerking 4.2). Deze formulering is onafhankelijk van de specifieke coëfficiënten van de activatiefunctie en hangt enkel af van de dimensie van de ruimte van de symmetrische machten die betrokken zijn.

Betekenis en Claims
Het artikel claimt de kennis van de projectieve geometrie van neurovariëteiten uit te breiden voorbij specifieke gevallen naar een algemeen stabiel regime. Door stabiele polynomialiteit te bewijzen, plaatst het werk de algebraïsche complexiteit van neurale lagen binnen een breder paradigma waar structurele parameters vaststaan terwijl de omringende dimensies groeien, wat een parallel trekt met resultaten uit Gaussische modellen en semidefiniete programmering via Schubert-calculus op variëteiten van volledige kwadraten [11].

De reductie naar het monomiale geval wordt benadrukt als een belangrijke theoretische vereenvoudiging. Het suggereert dat voor het doel van het berekenen van de generieke ED-graad — een maat voor het aantal kritieke punten van de afstandfunctie — de specifieke algebraïsche structuur van de activatiefunctie (buiten haar graad) de telling in het stabiele limiet niet beïnvloedt. Dit stelt onderzoekers in staat zich te concentreren op monomiale modellen bij het bestuderen van de asymptotische algebraïsche complexiteit van ondiepe neurale netwerken.

Het werk steunt op standaardinstrumenten uit de intersectietheorie, waaronder de Nash-blow-up, Chern-Mather klassen en equivariante lokalisatie, die systematisch zijn toegepast op de specifieke geometrie van algebraïsche neurale lagen. Het stelt geen nieuwe experimentele toepassingen of toekomstige algoritmische implementaties voor, maar verstevigt de theoretische basis voor het analyseren van de expressieve kracht en de geometrische complexiteit van deze modellen.