Identifiable Equivariant Networks are Layerwise Equivariant

Resumo Técnico: Redes Equivariantes Identificáveis são Camada a Camada Equivariantes

Problema
Na aprendizagem profunda geométrica, um paradigma dominante envolve o projeto de redes neurais com equivariância explícita camada a camada para garantir que a rede inteira respeite as simetrias dos dados. No entanto, uma questão teórica fundamental permanece: a equivariância camada a camada é uma condição necessária para que uma rede seja equivariante de ponta a ponta? Empiricamente, redes treinadas em dados simétricos tendem a desenvolver estruturas aproximadamente equivariantes em suas camadas intermediárias, mas a justificativa teórica de por que a equivariância de ponta a ponta implica a equivariância camada a camada permanecia obscura. Este trabalho aborda a lacuna entre a simetria global (ponta a ponta) e a simetria local (camada a camada), investigando especificamente se uma função equivariante de ponta a ponta deve ser construída a partir de camadas equivariantes.

Metodologia e Formalismo
Os autores desenvolvem um formalismo altamente abstrato e agnóstico à arquitetura, fundamentado na teoria das categorias e na geometria algébrica, para analisar redes neurais profundas.

1. Definição de Modelo Abstrato: Um modelo profundo é definido como uma composição sequencial de mapas paramétricos $f_i: V_{i-1} \times \Theta_i \to V_i$, representando camadas atuando sobre espaços latentes $V_i$.
2. Simetrias e Ações de Grupo: As simetrias são formalizadas via ações de grupo. Os espaços de entrada e saída são atuados por um grupo $G$. Crucialmente, os espaços latentes $V_i$ são equipados com seus próprios grupos de simetria $K_i$.
3. Suposição de Identificabilidade: A suposição teórica central é a identificabilidade de parâmetros. Os autores definem um parâmetro $\theta$ como "fracamente identificável" se ele for a imagem de um parâmetro identificável dentro de um "submodelo". Um submodelo representa um caso degenerado onde neurônios estão inativos ou redundantes (clonados).
   • Identificabilidade implica que, se dois conjuntos de parâmetros produzem a mesma função, eles devem estar relacionados por simetrias dos espaços latentes (especificamente, transformações entre camadas que se cancelam).
   • Esta propriedade é conhecida por ocorrer em várias arquiteturas (ex: MLPs com ativações Sigmoid, Tanh ou polinômios de alto grau), mas permanece uma conjectura para outras (ex: redes ReLU, embora existam resultados parciais).
4. Submodelos e Degenerescência: O framework lida explicitamente com "neurônios inativos" (aqueles que não participam do passo de propagação direta/forward pass) ao tratá-los como submodelos. A teoria postula que qualquer parâmetro não identificável surge de tais estruturas degeneradas.

Principal Resultado Teórico
O teorema central (Teorema 4.1) estabelece uma ligação direta entre a equivariância global e a local:

• Premissa: Considere uma rede profunda que é equivariante de ponta a ponta em relação a um grupo $G$ que atua na entrada e na saída. Assuma que os parâmetros da rede são fracamente identificáveis.
• Conclusão: Existem ações de grupo de $G$ sobre os espaços latentes intermediários $V_1, \dots, V_{L-1}$ tais que cada camada $f_i$ é equivariante em relação a essas ações.
• Implicação: Projetar camadas equivariantes não é apenas um heurístico; é a única maneira de construir uma rede equivariante de ponta a ponta (descartando-se os neurônios inativos). Se uma rede converge para uma solução equivariante durante o treinamento, a equivariância deve emergir automaticamente nas partes ativas de suas camadas.

Principais Contribuições

1. Formalização Abstrata: O artigo formula a identificabilidade, a equivariância e os submodelos em uma linguagem abstrata unificada que se aplica a diferentes arquiteturas de rede e grupos de simetria.
2. Prova de Necessidade: Prova que, sob a suposição de fraca identificabilidade, a equivariância de ponta a ponta exige a equivariância camada a camada. Isso resolve a questão aberta de se redes não equivariantes camada a camada podem alcançar a equivariância global.
3. Aplicação a Arquiteturas Específicas:
   • MLPs: A teoria é aplicada a Perceptrons Multicamadas, mostrando como as simetrias latentes correspondem a permutações de neurônios e escalonamentos. Discute o status da identificabilidade para várias funções de ativação (Sigmoid, Tanh, Polinômios, ReLU).
   • Redes de Atenção: O framework é estendido para redes de Atenção de Múltiplas Cabeças (Multi-Head Attention), onde as simetrias latentes incluem permutações de cabeças e transformações lineares de espaços de tokens.
4. Ilustração Empírica: Os autores realizam experimentos no CIFAR10 usando MLPs pequenas (autoencoders e classificadores) treinadas com uma perda de equivariância. Embora a teoria assuma a equivariância exata, os experimentos demonstram que as estruturas de camada previstas (ex: filtros simétricos ou antissimétricos) emergem em cenários práticos de equivariância aproximada.

Significância e Alegações
O artigo afirma fornecer uma explicação matemática para o fenômeno consistentemente observado na prática: que redes neurais treinadas em dados simétricos codificam essas simetrias linearmente em seus espaços latentes.

• O trabalho esclarece a relação entre aumento de dados baseado em simetria e o projeto de camadas equivariantes, sugerindo que, se uma rede aprende uma função equivariante, ela efetivamente "descobre" a estrutura equivariante de camada necessária para suportá-la.
• Os resultados são fundamentados na suposição de identificabilidade. Os autores reconhecem que, embora isso esteja estabelecido para muitas arquiteturas, permanece uma conjectura para outras (notadamente redes ReLU), e seus resultados aplicam-se imediatamente às primeiras e condicionalmente às segundas.
• A teoria é apresentada como agnóstica à arquitetura, baseando-se nas propriedades estruturais de mapas paramétricos em vez de configurações específicas de pesos, oferecendo assim um princípio geral para a aprendizagem profunda geométrica.

Limitações e Escopo
Os autores observam que sua prova depende de propriedades de adjunção específicas entre a ação de grupo e os parâmetros da camada. Embora discutam generalizações para redes de atenção e convolucionais, certas arquiteturas como Deep Sets ou redes neurais de grafos (GNNs) equivariantes específicas, onde camadas lineares absorvem ações de grupo específicas mas não transformações arbitrárias, ficam fora do escopo direto de sua prova atual. Além disso, a dependência da fraca identificabilidade significa que os resultados dependem de o modelo não estar preso em configurações de parâmetros degeneradas que não derivem de submodelos.