On the Stable Euclidean Distance Degree of Algebraic Layers

Sintesi Tecnica: Sulla stabilità del grado di distanza euclidea dei layer algebrici

Enunciato del Problema
Questo articolo investiga la geometria proiettiva dei layer neurali algebrici, specificamente le famiglie di mappe indotte da funzioni di attivazione polinomiali. L'oggetto centrale di studio è il grado di distanza euclidea generico (gED) delle associate "neurovarietà". Il gED è un invariante proiettivo che misura il numero di approssimazioni ottimali di un punto generale nello spazio ambiente rispetto a un metrica generale. Mentre il grado di distanza euclidea (ED) è un invariante dipendente dalla metrica, il suo valore si stabilizza per un prodotto scalare sufficientemente generale, diventando un invariante proiettivo uguale alla somma delle classi polari della varietà.

Il problema specifico affrontato riguarda il comportamento del gED per reti neurali superficiali (single hidden layer) al variare delle dimensioni degli spazi di input e di output, mantenendo fissa la larghezza architettonica e il grado del polinomio di attivazione. Lavori precedenti [9] hanno fornito formule chiuse per il gED quando la dimensione dell'output varia, ma le proprietà funzionali stabili riguardanti sia le dimensioni di input che di output per attivazioni polinomiali generali rimanevano aperte.

Metodologia
Gli autori impiegano un approccio uniforme di teoria dell'intersezione basato sulla geometria algebrica. La metodologia procede attraverso i seguenti passaggi:

1. Realizzazione Geometrica: L'insieme delle funzioni in un layer neurale algebrico è realizzato come una varietà proiettiva (la $k$-esima varietà secante di un prodotto simile a un Segre). L'articolo stabilisce che, per un supporto fissato della funzione di attivazione polinomiale, la varietà associata è proiettivamente equivalente indipendentemente dai coefficienti specifici, purché il supporto sia identico.
2. Blow-up di Nash e Risoluzione: Per gestire le singolarità di queste varietà, gli autori utilizzano il blow-up di Nash. Costruiscono una risoluzione delle singolarità $Z_S$ per la neurovarietà $X_S$ come un bundle proiettivo su un prodotto di Grassmanniani, $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$. Questo spazio parametrizza le mappe lineari di rango $k$ che definiscono il layer insieme ai loro nuclei e immagini.
3. Classi di Chern-Mather e Gradi Polari: Il gED è espresso in termini delle classi di Chern-Mather della varietà (Teorema 2.18). Utilizzando il blow-up di Nash, gli autori relazionano queste classi ai bundle tautologici sul prodotto di Grassmanniani $B_S$. Ciò riduce il calcolo del gED a un numero di intersezione (un integrale) su $B_S$.
4. Localizzazione Equivariante: Per valutare questi integrali e dimostrare la polinomialità, gli autori applicano tecniche di localizzazione equivariante. Considerano l'azione di un toro algebrico sui Grassmanniani. L'integrale è espresso come una somma finita sui punti fissi di questa azione.
5. Calcolo di Schubert e Stabilizzazione: L'articolo analizza la struttura dell'integrando utilizzando il calcolo di Schubert. Stabilendo limiti uniformi sui gradi delle classi di Schubert che contribuiscono ai numeri di intersezione, gli autori dimostrano che, per dimensioni sufficientemente grandi, il supporto specifico della funzione di attivazione polinomiale diventa irrilevante e conta solo il suo grado.

Contributi Chiave e Risultati

• Polinomialità Stabile (Teorema 4.5): Il risultato primario stabilisce che, per una larghezza del layer $k$ fissata e un grado di attivazione $r$ fissato, il grado di distanza euclidea generico $gED(m, n, S, k)$ è eventualmente dato da una funzione polinomiale nelle dimensioni di input $n$ e di output $m$. Ciò è valido per qualsiasi supporto finito $S$ della funzione di attivazione polinomiale con $\max(S) = r$. La prova si basa sul fatto che la formula di localizzazione produce somme simmetriche di pesi, che sono note essere polinomiali nel numero di variabili per $N$ grande (Proposizione A.1).
• Riduzione al Caso Monomiale (Teorema 5.4): Il secondo risultato principale dimostra che il gED dipende solo dal grado della funzione di attivazione polinomiale, non dal suo specifico supporto monomiale. Nello specifico, per dimensioni sufficientemente grandi, il gED di un layer con una attivazione polinomiale generale $P$ è identico al gED di un layer con un'attivazione monomiale $z^{\deg(P)}$.
  • Ciò viene ottenuto dimostrando che la differenza tra gli integrali di intersezione per diversi supporti coinvolge classi di Schubert di codimensione elevata che scompaiono nel range stabile (Lemmi 5.1 e 5.2).
  • Questo implica una drastica semplificazione per scopi computazionali: è possibile sostituire attivazioni polinomiali complesse con semplici monomi senza alterare la complessità algebrica asintotica (il gED).
• Formule di Intersezione Esplicite: L'articolo fornisce un framework per esprimere il gED come un integrale su prodotti di Grassmanniani coinvolgendo le classi di Chern dei bundle tautologici (Nota 4.2). Questa formulazione è indipendente dai coefficienti specifici della funzione di attivazione, dipendendo solo dalla dimensione dello spazio delle potenze simmetriche coinvolte.

Significatività e Rivendicazioni
L'articolo sostiene di estendere la comprensione della geometria proiettiva delle neurovarietà oltre i casi specifici verso un regime stabile generale. Dimostrando la polinomialità stabile, il lavoro inserisce la complessità algebrica dei layer neurali in un paradigma più ampio dove i parametri strutturali sono fissi mentre le dimensioni ambientali crescono, tracciando un parallelo con i risultati nei modelli gaussiani e nella programmazione semidefinita tramite il calcolo di Schubert su varietà di quadriche complete [11].

La riduzione al caso monomiale è evidenziata come una significativa semplificazione teorica. Suggerisce che, ai fini del calcolo del grado di distanza euclidea generico — una misura del numero di punti critici della funzione di distanza — la specifica struttura algebrica della funzione di attivazione (oltre al suo grado) non influenza il conteggio nel limite stabile. Ciò consente ai ricercatori di concentrarsi sui modelli monomiali quando studiano la complessità algebrica asintotica delle reti neurali superficiali.

Il lavoro si basa su strumenti standard della teoria dell'intersezione, tra cui il blow-up di Nash, le classi di Chern-Mather e la localizzazione equivariante, applicati sistematicamente alla specifica geometria dei layer neurali algebrici. Non propone nuove applicazioni sperimentali o implementazioni algoritmiche future, ma consolida le fondamenta teoriche per l'analisi del potere espressivo e della complessità geometrica di questi modelli.