The Symmetries of Three-Layer ReLU Networks

Resumo Técnico: As Simetrias de Redes ReLU de Três Camadas

Declaração do Problema
Uma propriedade fundamental das parametrizações de redes neurais é a redundância: configurações distintas de parâmetros podem realizar exatamente a mesma função. Essas redundâncias são formalizadas como fibras, definidas como o conjunto de todos os parâmetros que realizam uma função dada. Enquanto as simetrias de parâmetros (transformações que deixam a função inalterada) são bem compreendidas para redes ReLU de uma única camada oculta — onde as fibras genéricas são triviais a menos de permutação e escala —, a estrutura das fibras em arquiteturas profundas permanece em grande parte não caracterizada. Em redes profundas, simetrias locais adicionais podem surgir de configurações específicas não degeneradas, e a identificabilidade é frequentemente não uniforme no espaço de parâmetros. O problema central abordado é a descrição sistemática de todos os parâmetros que realizam uma função dada em redes ReLU profundas, investigando especificamente como a composição de camadas introduz redundâncias que não podem ser reduzidas a simetrias atuando dentro de camadas individuais.

Metodologia
Os autores desenvolvem um framework baseado em geometria poliédrica e geometria tropical para analisar fibras de parâmetros. Os componentes metodológicos chave incluem:

1. Representação por Hipersuperfícies: Para redes de uma camada oculta no ortante não negativo, a função realizada é caracterizada por um arranjo de hipersuperfícies ponderado. A função é determinada, a menos de uma transformação afim global, pelo arranjo de "hipersuperfícies curvadas" (onde os neurônios alternam de inativos para ativos) e seus vetores de peso associados (saltos de gradiente).
2. Pressupostos de Generalidade: A análise foca em parâmetros genéricos, definidos por duas condições: (1) Supertransversalidade, garantindo que as hipersuperfícies curvadas se intersectem nas codimensões esperadas, e (2) Ranque máximo de produtos mascarados, prevenindo degenerescências algébricas nas composições de matrizes de peso. Isso garante que a estrutura combinatória do complexo poliédrico canônico seja estável.
3. Análise Camada a Camada vs. Composicional: O artigo caracteriza primeiro as fibras para camadas individuais (simetrias camada a camada) e depois analisa como essas interagem quando as camadas são compostas. Um mecanismo crítico identificado é o "escondimento" de características geométricas: uma hipersuperfície de uma camada anterior pode ser funcionalmente invisível na saída final se estiver "ancorada" ou coberta pelas regiões ativas das camadas subsequentes.
4. Descrições Semi-Algebráicas: As fibras são descritas explicitamente como uniões de conjuntos semi-algebráicos definidos por equações e desigualdades polinomiais, permitindo cálculos de dimensão e procedimentos de decisão algorítmica.

Principais Contribuições e Resultados

1. Fibras Camada a Camada (Uma Camada Oculta):
   O artigo fornece uma descrição completa das fibras para redes de uma camada oculta no ortante não negativo. A fibra é mostrada como uma união disjunta de conjuntos semi-algebráicos correspondentes a diferentes escolhas de orientação dos neurônios não lineares. Uma vez fixadas as orientações, os graus de liberdade restantes correspondem à fatoração de um mapa afim por neurônios lineares. A dimensão desses componentes é calculada com base no ranque de coluna não negativo da parte linear requerida.

2. Simetrias da Composição de Camadas (Redes de Três Camadas):
   Os autores identificam novas simetrias que surgem especificamente da composição de camadas ReLU, as quais não estão presentes na análise de camada única.

   • Simetria Contínua: Se um neurônio da segunda camada "esconde" uma hipersuperfície da primeira camada (sendo ativo apenas quando o neurônio da primeira camada é linear e inativo em outros lugares), o viés da primeira camada pode ser transladado continuamente. Essa translação é exatamente compensada por um deslocamento correspondente nos vieses da segunda camada, deixando a função realizada invariante.
   • Simetria Discreta: No caso específico onde a segunda camada oculta consiste em um único neurônio ($n_2=1$), emerge uma simetria discreta de "inversão de sinal". Isso permite um grupo finito de transformações nos pesos da primeira camada que preservam a função, distinto da permutação e escala padrão.

3. Caracterização Completa para Gargalos de Três Camadas:
   Para arquiteturas de gargalo de três camadas ($n_1 \leq d$), o artigo prova que as simetrias descritas acima (permutação, escala, fatoração camada a camada, translação induzida por escondimento e inversão de sinal discreta) são completas para parâmetros genéricos.

   • Condições de Identificabilidade: Um parâmetro genérico é identificável se e somente se nenhuma hipersuperfície da primeira camada estiver escondida. Essa condição é determinada inteiramente pelos padrões de sinal dos pesos e vieses da segunda camada. Especificamente, a não identificabilidade ocorre se uma linha da matriz de peso-viés da segunda camada for toda negativa (neurônio morto), toda positiva (neurônio linear) ou tiver um padrão específico de "escondimento" (positivo em uma coluna, negativo em outras).
   • Algoritmo de Tempo Polinomial: Com base nessa caracterização, os autores fornecem um algoritmo de tempo polinomial para decidir se dois parâmetros genéricos em uma arquitetura de gargalo realizam a mesma função.

4. Não Localizabilidade das Fibras:
   O artigo demonstra que a identificabilidade em redes ReLU profundas não é localizável. Ele constrói uma rede onde composições pares de camadas ($f_2 \circ f_1$ e $f_3 \circ f_2$) são identificáveis, mas a composição completa ($f_3 \circ f_2 \circ f_1$) não o é. Isso mostra que a redundância de parâmetros pode surgir como uma propriedade global da composição da rede, dependendo da interação entre o alcance das camadas anteriores e as não linearidades das posteriores.

5. Leis de Conservação no Fluxo de Gradiente:
   Os autores distinguem entre simetrias que induzem quantidades conservadas ao longo do fluxo de gradiente e aquelas que não o fazem.

   • Simetrias que surgem de neurônios lineares (escala camada a camada) induzem quantidades localmente conservadas (relacionadas a simetrias de produto de matriz).
   • Por outro lado, as simetrias contínuas de "escondimento" identificadas na Seção 5 não induzem quantidades conservadas, pois a curva de simetria não é ortogonal ao fluxo de gradiente de uma maneira que gere uma função potencial.

Significado e Alegações
O artigo alega fornecer a primeira descrição sistemática e completa das fibras de parâmetros para redes ReLU profundas além do caso de uma única camada oculta, especificamente para o regime de gargalo. Ao estabelecer que as estruturas das fibras dependem de se camadas mais profundas escondem ou preservam a estrutura geométrica das camadas precedentes, o trabalho esclarece a natureza da redundância de parâmetros no aprendizado profundo.

Os autores posicionam seus resultados próximos a um limite de tratabilidade. Eles argumentam que as descrições explícitas e eficientemente verificáveis das fibras são possíveis especificamente devido aos pressupostos de generalidade e de gargalo. Eles observam que remover esses pressupostos (por exemplo, em redes mais largas ou mais profundas) leva a explosões combinatórias e é consistente com barreiras conhecidas da teoria da complexidade (dureza coNP) para decidir a equivalência funcional em redes ReLU gerais. Assim, o artigo isola um regime onde simetrias composicionais genuinamente profundas surgem, mas permanecem analiticamente tratáveis.