The Geometry of Polynomial Group Convolutional Neural Networks

Título: A Geometria de Redes Neurais Convolucionais de Grupos Polinomiais (PGCNNs)

Autores: Yacoub Hendi, Daniel Persson, Magdalena Larfors
Data: 1 de abril de 2026 (Nota: Data futura no manuscrito, indicando um trabalho teórico prospectivo ou erro de datação no preprint)

1. Problema e Contexto

O artigo situa-se no campo do Deep Learning Geométrico, que estuda arquiteturas neurais equivariantes em relação a um grupo de simetria $G$. Enquanto redes convolucionais clássicas (CNNs) são equivariantes a translações discretas ($G = \mathbb{Z}$), generalizações para grupos finitos arbitrários (GCNNs) são essenciais para dados com simetrias mais complexas.

O foco deste trabalho é a geometria algébrica dessas arquiteturas, especificamente a análise das variedades neurais (neuromanifolds). Uma variedade neural é o espaço de todas as funções realizáveis por uma arquitetura fixa, parametrizada pelos pesos da rede.

• Desafio: A análise direta dessas variedades é frequentemente intratável devido à complexidade composicional e ao uso de funções de ativação não analíticas (como ReLU).
• Abordagem: O artigo restringe o estudo a funções de ativação polinomiais. Isso transforma a variedade neural em um conjunto semi-algébrico (definido por equações polinomiais), permitindo o uso de ferramentas robustas da geometria algébrica. O objetivo é generalizar resultados conhecidos para CNNs polinomiais para o caso de Redes Neurais Convolucionais de Grupos Polinomiais (PGCNNs) para qualquer grupo finito $G$.

2. Metodologia

Os autores desenvolvem um novo quadro matemático baseado em álgebras de grupos graduadas ($S[G]$).

• Estrutura Algébrica:

  • Utilizam o conceito de filtros como elementos da álgebra de grupo $S[G]$.
  • A convolução é tratada como o produto na álgebra de grupo.
  • Introduzem duas parametrizações para a ativação polinomial de grau $r$:
    1. Produto de Hadamard ($\Phi$): Ativação componente a componente.
    2. Produto de Kronecker ($\varphi$): Ativação via produto tensorial no grupo produto direto $G^r$.
  • Estabelecem que essas duas parametrizações estão relacionadas por um mapa linear $\Lambda$, tal que $\Phi = \Lambda \circ \varphi$.

• Análise de Dimensão e Fibra:

  • Para determinar a dimensão da variedade neural, analisam o posto da matriz Jacobiana dos mapas de parametrização em pontos gerais (usando matrizes simbólicas).
  • Investigam a fibra geral (o conjunto de parâmetros que produzem a mesma função) para entender a identificabilidade do modelo (se os pesos podem ser recuperados a partir da função).
  • Utilizam indução sobre o número de camadas ($L$) e propriedades de representações regulares de grupos.

3. Principais Contribuições e Resultados

A. Dimensão da Variedade Neural

O resultado central é o cálculo exato da dimensão da variedade neural associada a uma PGCNN de profundidade $L$ e ativação de grau $r \ge 2$ sobre um grupo finito $G$ de ordem $n = |G|$.

• Teorema: Tanto a dimensão da imagem do mapa de Hadamard ($M_\Phi$) quanto a do mapa de Kronecker ($M_\varphi$) é dada por:
  $$\dim(M) = L(|G| - 1) + 1$$
• Implicação Crucial: A dimensão não depende do grau do polinômio de ativação ($r$) nem da estrutura específica do grupo (apenas do seu tamanho). Isso contrasta com a intuição de que ativações mais complexas aumentariam a capacidade expressiva da variedade; aqui, a restrição de compartilhamento de pesos (equivariância) limita a dimensão de forma fixa.

B. Identificabilidade e Fibras Gerais

Os autores caracterizam a fibra geral dos mapas de parametrização (isto é, quando dois conjuntos de pesos diferentes geram a mesma função).

• Resultado para $\varphi$ (Kronecker): A fibra geral é finita, módulo escalonamento e ação do grupo. Especificamente, dois conjuntos de filtros $\theta$ e $\psi$ geram a mesma função se e somente se $\psi$ for obtido de $\theta$ através de uma sequência de convoluções com elementos do grupo $g_i \in G$ e reescalamento.
  $$\psi_l = g_{l-1}^{-1} * \theta_l * g_l$$
• Conjectura para $\Phi$ (Hadamard): Os autores conjecturam que a mesma descrição estrutural se aplica à parametrização de Hadamard. Esta conjectura é suportada por verificações computacionais explícitas para grupos pequenos (como $Z_2, Z_3, S_3$) e redes rasas.

C. Ferramentas Computacionais

Desenvolveram um pacote de software chamado PGCNNGeometry (em SageMath e Macaulay2) para calcular automaticamente dimensões e tamanhos de fibras para grupos e profundidades arbitrários, validando os resultados teóricos em casos pequenos.

4. Significado e Impacto

1. Generalização Teórica: O trabalho estende a teoria de variedades neurais de CNNs clássicas (baseadas em $\mathbb{Z}$) para grupos finitos arbitrários, unificando a compreensão geométrica de arquiteturas equivariantes.
2. Complexidade de Amostra: A dimensão calculada ($L(|G|-1)+1$) fornece um limite superior teórico para a complexidade de amostra necessária para aprender tais modelos. Como a dimensão depende apenas do tamanho do grupo e não do grau de ativação, sugere que aumentar a não-linearidade (grau $r$) não aumenta a complexidade intrínseca da variedade em termos de dimensão, embora possa afetar a curvatura e a dinâmica de treinamento.
3. Identificabilidade: A descrição das fibras gerais é fundamental para a teoria de aprendizado, indicando que, salvo simetrias triviais (ação do grupo e escalas), os parâmetros da rede são identificáveis. Isso é crucial para garantir que o treinamento não fique preso em soluções degeneradas ou ambíguas.
4. Conexão com Geometria Algébrica: O artigo demonstra como conceitos avançados (variedades de Segre-Veronese, variedades de potências, decomposição de tensores) podem ser aplicados diretamente para resolver problemas práticos de deep learning, como a análise de singularidades e a capacidade expressiva.

5. Conclusão e Trabalhos Futuros

Os autores concluem que a estrutura geométrica das PGCNNs é bem compreendida em termos de dimensão e fibra geral (sob a conjectura). Trabalhos futuros visam:

• Provar a Conjectura 4.8 sobre a fibra de Hadamard.
• Calcular o grau e o grau Euclidiano genérico da variedade neural.
• Estender a análise para grupos compactos (infinitos) e funções de ativação que são somas de produtos de Hadamard, aproximando assim funções não polinomiais.

Em resumo, o artigo fornece uma fundação matemática rigorosa para a análise geométrica de redes neurais equivariantes polinomiais, revelando que a complexidade intrínseca dessas arquiteturas é governada principalmente pela cardinalidade do grupo de simetria e pela profundidade da rede.