The Role of Symmetry in Optimizing Overparameterized Networks

1. Formulação do Problema

A superparametrização (uso de redes neurais com significativamente mais parâmetros do que o necessário para representar a função-alvo) é um pilar do aprendizado profundo moderno, melhorando consistentemente a velocidade de otimização e o desempenho final. No entanto, os mecanismos precisos que impulsionam essas melhorias permanecem incompletamente compreendidos.

As teorias existentes frequentemente dependem de:

• Limites de grande largura: Visualizando redes como kernels linearizados (NTK).
• Análise de curvatura: Observando espectros de Hessianas estruturados com grandes subespaços próximos de zero.
• Simetria: Reconhecendo que as redes possuem simetrias no espaço de pesos (permutações, redimensionamentos) que criam variedades de soluções funcionalmente idênticas.

A Lacuna: Embora se saiba que a simetria cria direções planas na paisagem de perda, seu papel específico em melhorar o condicionamento da paisagem de otimização (tornando os mínimos mais fáceis de alcançar e convergir) via superparametrização não foi caracterizado de forma abrangente. Este artigo visa preencher a lacuna entre superparametrização, simetrias no espaço de pesos e as propriedades geométricas da paisagem de perda.

2. Metodologia

Os autores propõem um quadro unificado que analisa simetrias no espaço de pesos induzidas pelo aumento da largura da rede. Eles utilizam um formalismo de Grupoide de Matrizes para descrever como as simetrias operam através de diferentes larguras de rede, indo além das simetrias de largura fixa.

Ferramentas Teóricas Principais:

• Órbitas de Simetria: Definição de classes de equivalência de parâmetros $[\theta]_T$ que produzem a mesma função.
• Operações de Divisão: Caracterização de como adicionar neurônios (superparametrização) corresponde a "dividir" neurônios existentes através de matrizes de duplicação ($M$) e pseudoinversas ($M^+$).
  • Divisão pós-ativação: Duplicação de neurônios e redistribuição dos pesos de saída.
  • Divisão pré-ativação (específica para ReLU): Divisão dos pesos de entrada enquanto preserva a linearidade do ReLU.
• Análise da Hessiana: Análise de como a matriz Hessiana ($H$) se transforma sob essas operações de divisão para entender mudanças na curvatura, números de condição e volume local.
• Configuração Professor-Aluno: Uso de uma configuração onde uma rede "aluno" (largura $n$) é treinada para corresponder a uma rede "professora" (largura mínima $n_f$) para garantir a existência de mínimos globais e isolar a dinâmica de otimização de questões de representação.

3. Contribuições Principais

O artigo identifica dois mecanismos distintos pelos quais a superparametrização auxilia a otimização:

Mecanismo 1: Pré-condicionamento Diagonal da Hessiana

Os autores provam que as transformações de simetria atuam como pré-condicionadores diagonais na Hessiana.

• Teorema: Se uma rede é expandida via simetria, a nova Hessiana $H'$ possui os mesmos autovalores não nulos que $K^{1/2} H K^{1/2}$, onde $K$ é uma matriz diagonal determinada pela estrutura de divisão.
• Implicação: Esta transformação efetivamente reescala os eixos da paisagem de perda. Se os autovetores da Hessiana original estiverem aproximadamente alinhados aos eixos (o que evidências empíricas sugerem que frequentemente são), esse reescalonamento melhora significativamente o número de condição ($\kappa$), levando a uma convergência mais rápida para métodos de primeira ordem.
• Redução do Traço: Eles derivam uma fórmula mostrando que, embora o produto dos autovalores não nulos (pseudo-determinante/volume) seja preservado sob divisões pares, o traço (soma dos autovalores/curvatura média) pode ser reduzido. Isso leva a um melhor condicionamento de caso médio.

Mecanismo 2: Crescimento de Volume e Acessibilidade

A superparametrização aumenta a massa de probabilidade de mínimos globais próximos a inicializações aleatórias típicas.

• Teorema: À medida que a largura aumenta, o volume total de mínimos globais próximos à inicialização cresce. Especificamente, a probabilidade de inicializar dentro de uma vizinhança $\epsilon$ de um mínimo global aumenta com a largura uma vez que a rede é suficientemente larga.
• Efeito Combinatório: Adicionar parâmetros introduz novas simetrias que expandem a classe de equivalência de soluções. Mesmo que mínimos individuais encolham ligeiramente em volume devido à divisão, a explosão combinatória de possíveis configurações de divisão (cópias de permutação) resulta em um aumento líquido na probabilidade de aterrissar em uma bacia "boa".

4. Resultados Experimentais

Os autores validam suas previsões teóricas através de experimentos extensivos:

• Validação da Teoria:

  • Interlacing de Hessiana: Confirmado que os autovalores da Hessiana do aluno intercalam com os do professor, com autovalores adicionais próximos de zero correspondendo às novas direções planas de simetria.
  • Pseudo-determinante e Traço: Medições empíricas do traço e do pseudo-determinante da Hessiana corresponderam às previsões teóricas com erro inferior a 0,03%.
  • Agrupamento de Neurônios: Visualizado que, na convergência, os neurônios do aluno agrupam-se em torno dos pesos dos neurônios do professor, com os pesos de saída somando aos valores do professor, confirmando a estrutura de "divisão".

• Métricas de Otimização:

  • Condicionamento: Através de MLPs, CNNs e Transformers, o número de condição, o maior autovalor e a razão AM/GM (uma medida de condicionamento de caso médio) melhoraram monotonicamente à medida que a largura aumentava.
  • Velocidade de Convergência: O número de passos necessários para convergir diminuiu à medida que a largura aumentava.
  • Generalização: Essas tendências mantiveram-se verdadeiras não apenas em configurações professor-aluno, mas também em cenários de ajuste direto de dados (por exemplo, regressão de California Housing, classificação CIFAR-10), mesmo em regimes levemente subparametrizados.

5. Significado e Implicações

• Quadro Unificado: O artigo fornece uma explicação geométrica para a superparametrização que unifica simetria, curvatura e probabilidade de inicialização. Ele vai além do regime de "treinamento preguiçoso" (NTK) para explicar a dinâmica de largura finita.
• Por que a Superparametrização Funciona: Sugere que a superparametrização não apenas fornece mais capacidade; ela remodela fundamentalmente a paisagem de perda para conter mínimos melhor condicionados que são mais abundantes e mais fáceis de alcançar a partir de uma inicialização aleatória.
• Generalização: Os autores propõem um "argumento de contagem" para generalização: funções mais simples (representadas pelo professor) possuem órbitas de simetria maiores e, portanto, volumes maiores de mínimos em comparação com soluções complexas de sobreajuste. A otimização favorece naturalmente essas bacias maiores e melhor condicionadas.
• Insight Prático: As descobertas apoiam o uso de redes mais largas e explicam por que otimizadores adaptativos (como Adam) funcionam bem — eles realizam implicitamente pré-condicionamento diagonal, o que sinergiza com o pré-condicionamento induzido por simetria de redes superparametrizadas.
• Perda de Plasticidade: O quadro oferece uma explicação potencial para a "perda de plasticidade" no aprendizado contínuo: a otimização pode ficar presa em uma órbita de simetria específica (uma diagonal de baixa largura no grupoide), impedindo que a rede utilize a largura adormecida para novas tarefas.

Em resumo, o artigo demonstra que a superparametrização é uma transformação geométrica que melhora a otimização criando uma paisagem com mínimos mais acessíveis e melhor condicionados através da expansão das simetrias no espaço de pesos.