Resumo Técnico: Topologia e Geometria do Espaço de Aprendizado de Redes ReLU

Declaração do Problema

O artigo aborda duas patologias fundamentais na dinâmica de treinamento de redes ReLU feed-forward definidas em arquiteturas de Grafo Acíclico Dirigido (DAG) gerais: a (des)conectividade do espaço de parâmetros e a existência de singularidades dentro dele. Enquanto resultados clássicos frequentemente focam em arquiteturas em camadas, redes modernas empregam frequentemente estruturas DAG flexíveis (decorrentes de design, poda ou compressão). Os autores argumentam que o treinamento com fluxo de gradiente em redes com ativações homogêneas (como ReLU) restringe as trajetórias de aprendizado a uma variedade algébrica específica, denominada conjunto invariante. Compreender as propriedades geométricas e topológicas deste conjunto é crítico para analisar a dinâmica de treinamento, pois dita quais configurações de parâmetros são alcançáveis e como a expressividade da rede é limitada por sua inicialização.

Metodologia

Os autores empregam uma combinação de geometria algébrica, teoria dos grafos e análise de sistemas dinâmicos:

1. Formulação Matemática:

   • A rede é modelada como um DAG $G=(V, E)$. O espaço de parâmetros $\Theta$ é identificado com $\mathbb{R}^{|E|}$.
   • Aproveitando a simetria de reescalonamento das ativações homogêneas (onde os pesos de entrada de um neurônio podem ser escalonados por $\alpha$ e os pesos de saída por $\alpha^{-1}$ sem alterar a função), os autores derivam leis de conservação sob o fluxo de gradiente.
   • Estas leis são formuladas usando a matriz de incidência $\tilde{B}$ do grafo (com as linhas para nós de entrada/saída removidas). A lei de conservação é expressa como $\tilde{B}(\theta \odot \dot{\theta}) = 0$, que integra para $\tilde{B}\theta^2 = c$, onde $c$ é um vetor determinado pela inicialização.

2. Análise do Conjunto Invariante:

   • O conjunto invariante $H_G(c)$ é definido como o conjunto de soluções para o sistema de equações quadráticas $\tilde{B}\theta^2 = c$. Este conjunto representa a variedade sobre a qual as trajetórias do fluxo de gradiente estão confinadas.
   • Os autores analisam a conectividade de $H_G(c)$ usando resultados da topologia de interseções de quadráticas (especificamente adaptando de Medrano, 2023).
   • Eles analisam singularidades examinando o posto da matriz Jacobiana $J_G(\theta) = 2\tilde{B}\text{diag}(\theta)$. Uma singularidade ocorre quando o posto cai, o que corresponde a arestas específicas possuindo pesos zero.

3. Estratégia de Regularização:

   • Para conduzir ativamente a rede em direção a configurações singulares (que correspondem a sub-redes desconectadas), os autores propõem um regularizador de norma nuclear sobre a Jacobiana $J_G(\theta)$. Este serve como um substituto suave para a minimização do posto, promovendo uma "auto-poda" (self-pruning).

Principais Contribuições

1. Caracterização da Conectividade

O artigo fornece condições necessárias e suficientes para a conectividade do conjunto invariante $H_G(c)$ em arquiteturas DAG gerais.

• Neurônios Gargalo (Bottleneck Nodes): A desconectividade é mostrada como originada especificamente de neurônios gargalo (nós com apenas uma aresta de entrada ou uma aresta de saída).
• Condições de Equilíbrio: O Teorema 1 estabelece que $H_G(c)$ é conectado se, e somente se, condições específicas de "equilíbrio" forem atendidas para subconjuntos de ancestrais puros (para gargalos de saída) e descendentes puros (para gargalos de entrada). Especificamente, a soma dos valores de equilíbrio $c_v$ em certos conjuntos estáveis deve ser não-negativa ou não-positiva.
• Implicação: Se estas condições forem violadas na inicialização, o espaço de otimização divide-se em componentes desconectados. Uma rede inicializada em um componente não pode alcançar ótimos em outro, potencialmente tornando certas funções (por exemplo, aquelas que exigem uma mudança de sinal em um peso de gargalo) inalcançáveis, independentemente do panorama de perda (loss landscape).

2. Análise de Singularidades

Os autores identificam singularidades no conjunto invariante como configurações onde um subconj conjunto de neurônios torna-se efetivamente desconectado tanto dos nós de entrada quanto dos de saída.

• Correspondência Topológica: Uma singularidade corresponde a uma queda no posto da Jacobiana, o que ocorre se, e somente se, um conjunto de arestas com pesos zero desconecta um subgrafo de neurônios ocultos do restante da rede.
• Inalcançabilidade: O artigo prova que, sob o fluxo de gradiente padrão a partir de inicializações genéricas, as singularidades são inalcançáveis em tempo finito.
  • Razão 1: A condição para uma singularidade exige uma igualdade exata $\sum_{v \in W} c_v = 0$ para algum subconjunto de nós $W$. Para inicializações aleatórias, a probabilidade desta igualdade exata é zero.
  • Razão 2: Mesmo que tal configuração exista, a Proposição 7 mostra que o posto da Jacobiana é invariante sob o fluxo de gradiente; portanto, uma trajetória não pode transitar de um ponto regular para um ponto singular.

3. Poda Diferenciável via Regularização

Como as singularidades são inalcançáveis via fluxo de gradiente padrão, os autores propõem o uso de regularização para induzi-las.

• Regularizador de Norma Nuclear: Ao penalizar a norma nuclear da Jacobiana, a dinâmica de treinamento é encorajada a convergir para configurações singulares, realizando efetivamente uma poda diferenciável e agnóstica à estrutura.
• Observação Empírica: Experimentos numéricos em MLPs mostram que este regularizador consegue desconectar uma parte significativa de neurônios ocultos (ex: 18 de 20). Surpreendentemente, a regularização L1 padrão (tipicamente associada à esparsidade de pesos) induz empiricamente um comportamento singular semelhante e uma poda eficaz sem perdas, sugerindo uma conexão profunda e não explicada entre a esparsidade L1 e a indução de singularidades.

Resultados

• Teóricos: O artigo estabelece que a topologia do conjunto invariante é ditada pela estrutura de grafo da rede (especificamente gargalos) e pelo vetor de equilíbrio $c$ dependente da inicialização. Prova que a desconectividade impede a alcançabilidade da otimização global em certas topologias.
• Singularidades: É provado que as singularidades correspondem a sub-redes "mortas". Embora façam parte da variedade, elas são dinamicamente inacessíveis sob o treinamento padrão, a menos que a inicialização seja patológica ou uma regularização específica seja aplicada.
• Experimentos:
  • Em um DAG de brinquedo com um gargalo de saída, os autores demonstram que, se a inicialização violar a condição de equilíbrio, a rede falha em aprender uma função alvo que requer uma inversão de sinal no peso do gargalo.
  • No conjunto de dados Breast Cancer, a regularização de norma nuclear consegue reduzir o posto da Jacobiana, desconectando neurônios. A regularização L1 produz resultados comparáveis, enquanto o treinamento com L2 e sem regularização mantém a conectividade total.
  • Experimentos de poda confirmam que redes levadas a singularidades permitem uma poda sem perdas (lossless pruning) — removendo neurônios desconectados sem degradação de desempenho — ao passo que redes regularizadas com L2 sofrem quedas de desempenho quando os neurônios são removidos.

Significância e Alegações

O artigo afirma lançar luz sobre a interação entre a topologia da rede e a geometria da otimização. Ao caracterizar o conjunto invariante como uma variedade algébrica restrita por condições de equilíbrio quadráticas, os autores fornecem um arcabouço principista para entender por que certos caminhos de treinamento são bloqueados (desconectividade) e como as singularidades se relacionam com sub-redes.

A principal significância reside em oferecer um caminho principista para o design de mecanismos de poda. Em vez de depender apenas de restrições de esparsidade heurísticas, os autores sugerem explorar a estrutura do espaço de otimização (especificamente, conduzir o sistema em direção a singularidades) para alcançar uma compressão de modelo eficaz e sem perdas. A observação de que a regularização L1 promove implicitamente essas configurações singulares sugere que métodos padrão de indução de esparsidade já podem estar aproveitando essas propriedades geométricas, mesmo que o mecanismo tenha sido anteriormente compreendido apenas em termos de esparsidade de pesos.

Os autores mantêm-se modestos quanto às limitações, observando que suas garantias teóricas dependem de fluxo de gradiente e perdas não regularizadas com ativações homogêneas. Eles reconhecem que otimizadores de tempo discreto (como Adam) e termos de regularização explícitos podem violar as leis de conservação derivadas, e que a aplicação prática do regularizador de norma nuclear é atualmente limitada por restrições computacionais.