On the Geometry and Optimization of Polynomial Convolutional Networks

Resumo Técnico: Sobre a Geometria e Otimização de Redes Neurais Convolucionais Polinomiais

Problema
Redes neurais profundas definem um espaço de funções, conhecido como um "neuromanifold" (neurovariedade), à medida que seus parâmetros variam. Compreender a geometria desses manifolds é fundamental para analisar a dinâmica de aprendizado, uma vez que o treinamento corresponde à minimização de uma distância funcional sobre este manifold. Embora a geometria algébrica tenha sido aplicada a redes polinomiais totalmente conectadas e CNNs lineares, as propriedades geométricas das Redes Neurais Convolucionais (CNNs) com funções de ativação monomiais (polinomiais) permanecem amplamente inexploradas. Especificamente, há uma falta de compreensão abrangente em relação à regularidade da parametrização, à dimensão e ao grau da neurovariedade resultante, à natureza de suas singularidades e à contagem de pontos críticos decorrentes da otimização.

Metodologia
Os autores empregam ferramentas da geometria algébrica, focando especificamente em geometria projetiva e geometria biracional, para analisar as neurovariedades de CNNs polinomiais.

• Análise de Parametrização: O estudo trata os parâmetros da CNN (filtros) até o escalonamento, trabalhando dentro de espaços projetivos para remover simetrias de escala.
• Fatoração: O mapa de parametrização da CNN polinomial é fatorado em uma projeção linear e um incorporamento de Segre–Veronese. Isso aproveita o fato de que convoluções podem ser reexpressas como multiplicações polinomiais, e a composição de camadas com ativações monomiais corresponde a produtos tensoriais de potências simétricas.
• Invariantes: Os autores computam a dimensão e o grau da neurovariedade para medir a expressividade. Eles utilizam o Grau de Distância Euclidiana (EDD), um invariante algébrico que conta o número de pontos críticos da função de distância de um ponto externo para a variedade, para limitar o número de pontos críticos no cenário de otimização.
• Complexificação: Embora os resultados sejam derivados primariamente sobre coeficientes complexos ($\mathbb{C}$) para utilizar todo o poder da geometria algébrica, os autores demonstram que a maioria dos resultados se estende ao caso real ($\mathbb{R}$).

Principais Contribuições e Resultados

1. Regularidade e Isomorfismo da Parametrização:
   O artigo prova que, até o escalonamento dos filtros, o mapa de parametrização de uma CNN polinomial é regular (seu diferencial tem posto máximo) e é um isomorfismo quase em toda parte (biracional).

   • Significância: Isso contrasta com redes totalmente conectadas, que frequentemente exibem fibras grandes e pontos críticos em sua parametrização, levando à redundância. Para CNNs polinomiais, os parâmetros estão em uma correspondência regular um-para-um com as funções associadas quase em toda parte.
   • Singularidades: As únicas fibras não-unitárias (singularidades) surgem de "subredes" onde pesos específicos se anulam. Essas singularidades são do tipo nodal (autointerseções), que são geometricamente simples.

2. Dimensão e Grau da Neurovariedade:
   Os autores derivam fórmulas explícitas para a dimensão e o grau da neurovariedade:

   • Dimensão: Cresce linearmente com o número de camadas ($L$). Especificamente, $\dim = |k| - L + 1$, onde $|k|$ é a soma dos tamanhos dos filtros.
   • Grau: Cresce (super-)exponencialmente com a profundidade.
   • Implicação: Isso fornece uma explicação geométrica para a importância da profundidade: redes mais profundas permanecem de baixa dimensão (implicando baixa complexidade de amostra para aprendizado) enquanto preenchem eficientemente seu espaço de função ambiente (implicando alta expressividade).

3. Fechamento na Topologia de Zariski:
   Prova-se que a neurovariedade de uma CNN polinomial é uma variedade algébrica fechada na topologia de Zariski (e, portanto, na topologia euclidiana). Isso garante que o manifold contém seus limites assintóticos, uma propriedade que não se aplica necessariamente às CNNs lineares.

4. Otimização e Pontos Críticos:
   Para um conjunto de dados genericamente grande, a perda de regressão de erro quadrático é reexpressa como um problema de minimização de distância sobre a neurovariedade.

   • Utilizando a teoria do Grau de Distância Euclidiana para variedades de Segre–Veronese, os autores derivam uma fórmula explícita que limita superiormente o número de pontos críticos (complexos) da função de perda.
   • Como a parametrização é regular, esse limite aplica-se aos pontos críticos no espaço de parâmetros (até o escalonamento) também.
   • A análise mostra que pontos singulares da neurovariedade (excluindo a função zero) não são críticos para a função de distância em cenários genéricos, sugerindo que eles não atuam como equilíbrios estáveis para o gradiente descendente em cenários típicos.

Significância e Alegações
O artigo afirma ser o primeiro a fornecer uma descrição abrangente tanto da parametrização quanto da neurovariedade de um modelo de CNN polinomial. Ao estabelecer que a parametrização é regular e biracional, o trabalho sugere que as CNNs polinomiais são "parametrizadas de uma forma ótima", evitando a redundância encontrada em outras arquiteturas.

As fórmulas derivadas para dimensão e grau oferecem uma interpretação geométrica de por que redes profundas são eficazes: elas equilibram baixa complexidade de amostra (via baixa dimensão) com alta expressividade (via alto grau). Além disso, o limite explícito sobre os pontos críticos via Grau de Distância Euclidiana fornece uma ferramenta teórica para quantificar a complexidade do cenário de otimização para essas arquiteturas específicas.

Os autores observam que, embora seus resultados sejam específicos para ativações polinomiais, a metodologia utilizando geometria algébrica poderia potencialmente ser estendida para redes não-polinomiais (ex: ReLU) via aproximação polinomial, embora isso permaneça como uma direção para trabalhos futuros e não um resultado atual.