A Complete Symmetry Classification of Shallow ReLU Networks

Resumo Técnico: Classificação Completa de Simetrias em Redes ReLU Rasas

1. O Problema

O artigo aborda a questão fundamental da identificabilidade de parâmetros em redes neurais. Em arquiteturas de redes neurais, o espaço de parâmetros ($\Omega$) não é isomorfo ao espaço de funções realizáveis. Múltiplos conjuntos de parâmetros distintos podem gerar a mesma função de saída (o mesmo mapeamento de entrada para saída).

O objetivo central é caracterizar a simetria funcional: identificar todos os parâmetros $\theta'$ que realizam a mesma função que um parâmetro dado $\theta$. Formalmente, busca-se descrever a fibra do mapa de realização $\rho^{-1}(\rho(\theta))$.

• Contexto Histórico: Trabalhos anteriores (desde os anos 90) trataram de simetrias para funções de ativação analíticas (como sigmoides) ou polinomiais.
• O Desafio do ReLU: A função de ativação ReLU ($\sigma(x) = \max(0, x)$) não é diferenciável em zero e não é analítica, o que impede a aplicação direta de técnicas geométricas ou analíticas tradicionais usadas em outros casos. Até este trabalho, não existia uma classificação completa das simetrias para redes ReLU rasas (uma única camada oculta).

2. Metodologia

O autor adota uma abordagem algebraica e combinatória, explorando a não diferenciabilidade do ReLU como uma ferramenta, em vez de um obstáculo.

• Definição do Espaço de Parâmetros: Considera-se uma rede rasa com arquitetura $(m, n, k)$, onde $m$ é a dimensão de entrada, $n$ o número de neurônios na camada oculta e $k$ a dimensão de saída. O espaço de parâmetros é $\Omega(m,n,k) = M_{k \times n} \times M_{n \times m} \times \mathbb{R}^{n+k}$.
• Simetrias Conhecidas ($H_n$): Identifica-se o subgrupo $H_n \leq GL_n(\mathbb{R})$, gerado por permutações e matrizes diagonais com coeficientes positivos. Este grupo age naturalmente nos parâmetros preservando a função (simetrias de permutação e escala positiva).
• Abordagem por Casos ($k=1$): O problema é primeiro resolvido para o caso de saída escalar ($k=1$) e depois generalizado para $k > 1$ usando projeções.
• Forma Mínima (Minimal Form): Introduz-se um conceito crucial de "forma mínima" para classes de equivalência de parâmetros. Isso envolve definir uma relação de equivalência ($\sim$) que captura simetrias triviais (como neurônios com peso zero ou neurônios redundantes) e selecionar um representante canônico.
• Análise de Diferenciabilidade: O núcleo da prova utiliza o fato de que a soma de funções ReLU só pode resultar em uma função suave (linear afim) sob condições muito específicas. A não diferenciabilidade em zero é usada para provar que certas combinações de parâmetros não podem gerar a mesma função a menos que sejam simétricas ou satisfaçam uma relação específica de cancelamento.

3. Contribuições Principais e Resultados

A. Classificação Completa das Simetrias (Teorema 1)
O resultado principal estabelece que, para um conjunto denso de parâmetros no espaço $\Omega(m,n,k)$, a fibra do mapa de realização (o conjunto de todos os parâmetros que geram a mesma função) é difeomorfa ao grupo de Lie $H_n$.

• Isso significa que, para a maioria dos parâmetros "genéricos", as únicas simetrias são as permutações e escalas positivas.
• O conjunto de parâmetros onde isso falha (onde existem simetrias "ocultas" além de $H_n$) é de medida zero (um conjunto fechado de Zariski).

B. Simetrias Ocultas e a Identidade $\sigma(x) - \sigma(-x) = x$
O artigo identifica a única classe de simetria "não trivial" que existe além das simetrias imediatas de $H_n$. Esta simetria deriva da identidade:
$$\sigma(x) - \sigma(-x) = x$$
Isso permite que dois parâmetros diferentes gerem a mesma função se um deles puder ser transformado no outro através de um cancelamento de termos ReLU que resulta em uma função linear. O Teorema 3 e o Teorema 4 fornecem condições algébricas precisas para quando dois parâmetros são equivalentes, incluindo este caso especial.

C. Estabilizadores do Grupo de Ação (Teorema 2)
O trabalho classifica os estabilizadores do grupo $H_n$ agindo sobre um parâmetro $\theta$.

• O estabilizador é isomorfo a $S \times H_{n'}$, onde $n'$ é o número de neurônios "inativos" (com pesos e viés zero) e $S$ é um subgrupo gerado por ciclos de permutação e escalas que relacionam neurônios linearmente dependentes.
• Isso ajuda a entender quando a fibra é estritamente maior que a órbita de $H_n$.

D. Estrutura do Espaço Quociente
O artigo descreve o espaço de imagens (o conjunto de funções realizáveis) como um espaço quociente:
$$\text{im } \rho \cong H_n \backslash \Omega / \equiv$$
Onde a relação de equivalência $\equiv$ engloba tanto as simetrias de $H_n$ quanto a relação especial derivada da identidade linear do ReLU.

4. Significado e Impacto

1. Superação de Limitações Analíticas: O trabalho demonstra que a não diferenciabilidade do ReLU, longe de ser um obstáculo, permite uma classificação algébrica rigorosa que não seria possível com funções analíticas, onde simetrias infinitas ou contínuas poderiam complicar a estrutura.
2. Fundamentação Teórica para Otimização: Compreender a geometria do "neuromanifold" (o espaço quociente de parâmetros) é crucial para entender a dinâmica de otimização (como o gradiente descendente navega pelo espaço de parâmetros). Saber que, genericamente, a fibra é apenas $H_n$ simplifica a análise de convergência e generalização.
3. Generalidade: Embora focado em redes rasas, a metodologia de "forma mínima" e a exploração de identidades funcionais específicas oferecem um roteiro para analisar simetrias em redes mais profundas ou com outras ativações não-suaves.
4. Contraponto a Resultados Anteriores: O paper refuta a ideia de que condições de "genericidade" (como arranjos de hiperplanos transversais) são suficientes para garantir a identificabilidade local em redes ReLU, mostrando explicitamente um contraexemplo onde parâmetros genericamente posicionados ainda possuem simetrias ocultas devido à identidade $\sigma(x) - \sigma(-x) = x$.

Em suma, o artigo fornece a primeira classificação completa e rigorosa das simetrias em redes neurais ReLU rasas, estabelecendo que, exceto por um conjunto de medida zero e uma classe específica de simetrias lineares, a estrutura de simetria é dominada inteiramente pelas permutações e escalas positivas.