On the Stable Euclidean Distance Degree of Algebraic Layers

Resumo Técnico: Sobre o Grau de Distância Euclidiana Estável de Camadas Algébricas

Enunciado do Problema
Este artigo investiga a geometria projetiva de camadas neurais algébricas, especificamente famílias de aplicações induzidas por funções de ativação polinomiais. O objeto central de estudo é o grau de distância euclidiana genérico (gED) das "neurovariedades" associadas. O gED é um invariante projetivo que mede o número de aproximações ótimas de um ponto geral no espaço ambiente em relação a uma métrica geral. Embora o grau de Distância Euclidiana (ED) seja um invariante dependente da métrica, seu valor estabiliza para um produto escalar suficientemente geral, tornando-se um invariante projetivo igual à soma das classes polares da variedade.

O problema específico abordado é o comportamento do gED para redes neurais rasas (camada oculta única) conforme as dimensões dos espaços de entrada e saída variam, enquanto a largura arquitetural e o grau do polinômio de ativação permanecem fixos. Trabalhos anteriores [9] forneceram fórmulas fechadas para o gED quando a dimensão de saída varia, mas as propriedades funcionais estáveis em relação às dimensões de entrada e saída para ativações polinomiais gerais permaneceram em aberto.

Metodologia
Os autores empregam uma abordagem uniforme de teoria de interseção fundamentada na geometria algébrica. A metodologia procede através dos seguintes passos:

1. Realização Geométrica: O conjunto de funções em uma camada neural algébrica é realizado como uma variedade projetiva (a variedade secante $k$-ésima de um produto do tipo Segre específico). O artigo estabelece que, para um suporte fixo da função de ativação polinomial, a variedade associada é projetivamente equivalente independentemente dos coeficientes específicos, desde que o suporte seja idêntico.
2. Explosão de Nash (Nash Blow-up) e Resolução: Para lidar com as singularidades dessas variedades, os autores utilizam a explosão de Nash. Eles constroem uma resolução de singularidades $Z_S$ para a neurovariedade $X_S$ como um fibrado projetivo sobre um produto de Grassmannianos, $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$. Este espaço parametriza as aplicações lineares de posto $k$ que definem a camada junto com seus núcleos e imagens.
3. Classes de Chern-Mather e Graus Polares: O gED é expresso em termos das classes de Chern-Mather da variedade (Teorema 2.18). Usando a explosão de Nash, os autores relacionam essas classes às classes de bundles tautológicos sobre o produto de Grassmannianos $B_S$. Isso reduz o cálculo do gED a um número de interseção (um integral) sobre $B_S$.
4. Localização Equivariante: Para avaliar esses integrais e provar a polinomialidade, os autores aplicam técnicas de localização equivariante. Eles consideram a ação de um toro algébrico sobre os Grassmannianos. O integral é expresso como uma soma finita sobre os pontos fixos desta ação.
5. Cálculo de Schubert e Estabilização: O artigo analisa a estrutura do integrando usando o cálculo de Schubert. Ao estabelecer limites uniformes sobre os graus das classes de Schubert que contribuem para os números de interseção, os autores demonstram que, para dimensões suficientemente grandes, o suporte específico da função de ativação polinomial torna-se irrelevante, e apenas seu grau importa.

Contribuições Principais e Resultados

• Polinomialidade Estável (Teorema 4.5): O principal resultado estabelece que, para uma largura de camada $k$ fixa e um grau de ativação $r$ fixo, o grau de distância euclidiana genérico $gED(m, n, S, k)$ é eventualmente dado por uma função polinomial nas dimensões de entrada $n$ e de saída $m$. Isso ocorre para qualquer suporte finito $S$ da função de ativação polinomial com $\max(S) = r$. A prova baseia-se no fato de que a fórmula de localização produz somas simétricas de pesos, que são conhecidas por serem polinomiais no número de variáveis para $N$ grande (Proposição A.1).
• Redução ao Caso Monomial (Teorema 5.4): O segundo grande resultado prova que o gED depende apenas do grau da função de ativação polinomial, não de seu suporte monomial específico. Especificamente, para dimensões suficientemente grandes, o gED de uma camada com uma ativação polinomial geral $P$ é idêntico ao gED de uma camada com uma ativação monomial $z^{\deg(P)}$.
  • Isso é alcançado mostrando que a diferença entre os integrais de interseção para diferentes suportes envolve classes de Schubert de alta codimensão que desaparecem no intervalo estável (Lemmas 5.1 e 5.2).
  • Isso implica uma simplificação drástica para fins computacionais: pode-se substituir ativações polinomiais complexas por monômios simples sem alterar a complexidade algébrica assintótica (o gED).
• Fórmulas de Interseção Explícitas: O artigo fornece um arcabouço para expressar o gED como um integral sobre produtos de Grassmannianos envolvendo as classes de Chern de bundles tautológicos (Observação 4.2). Esta formulação é independente dos coeficientes específicos da função de ativação, dependendo apenas da dimensão do espaço de potências simétricas envolvido.

Significância e Alegações
O artigo afirma estender a compreensão da geometria projetiva de neurovariedades além de casos específicos para um regime estável geral. Ao provar a polinomialidade estável, o trabalho coloca a complexidade algébrica de camadas neurais dentro de um paradigma mais amplo onde parâmetros estruturais são fixos enquanto as dimensões ambientes crescem, traçando um paralelo com resultados em modelos Gaussianos e programação semidefinida via cálculo de Schubert em variedades de quadricas completas [11].

A redução ao caso monomial é destacada como uma simplificação teórica significativa. Ela sugere que, para o propósito de calcular o grau de distância euclidiana genérico — uma medida do número de pontos críticos da função de distância — a estrutura algébrica específica da função de ativação (além de seu grau) não influencia a contagem no limite estável. Isso permite que pesquisadores foquem em modelos monomiais ao estudar a complexidade algébrica assintótica de redes neurais rasas.

O trabalho baseia-se em ferramentas padrão de teoria de interseção, incluindo a explosão de Nash, classes de Chern-Mather e localização equivariante, aplicadas sistematicamente à geometria específica das camadas neurais algébricas. Não propõe novas aplicações experimentais ou implementações algorítmicas futuras, mas sim solidifica a base teórica para analisar o poder expressivo e a complexidade geométrica desses modelos.