🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

Este artigo investiga como hiperparâmetros dependentes da largura e a regularização $\ell_2$ moldam o panorama de perda de redes ReLU de duas camadas, derivando condições para o colapso da solução zero, fornecendo uma solução analítica para entradas unidimensionais e revelando que o AdamW evita o colapso de parâmetros enquanto o SGD não o faz.

Autores originais: Haruka Eshima, Makoto Yamada

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haruka Eshima, Makoto Yamada

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a reconhecer gatos. Você dá a ele um cérebro feito de camadas de minúsculos interruptores e o deixa praticar mostrando milhares de fotos. Mas aqui está o detalhe: o cérebro do robô é um pouco bagunçado. Às vezes, quando você tenta ensiná-lo, todo o sistema simplesmente desliga e ele esquece tudo, terminando com um cérebro cheio de zeros. Isso é um pouco como tentar equilibrar uma casa de cartas em um dia ventoso; se o vento (ou a matemática por trás do treinamento) for muito forte, toda a estrutura colapsa.

No mundo do aprendizado de máquina, cientistas estudam o "paisagem de perda" (loss landscape). Pense nisso como uma cordilheira gigante e acidentada, onde a altura do terreno representa o quão ruim o robô é em seu trabalho. O objetivo é encontrar o vale mais profundo, o que significa que o robô está fazendo o seu melhor. Mas essa paisagem é traiçoeira. Ela muda de forma dependendo de quão largo é o cérebro do robô (quantos interruptores ele possui) e de quanto "decaimento de peso" (weight decay) é aplicado. O decaimento de peso é como uma mão gentil constantemente empurrando o cérebro do robô em direção à simplicidade, tentando impedir que ele se torne complexo demais. A grande questão é: esse empurrão gentil ajuda o robô a aprender ou acaba empurrando todo o cérebro para um zero plano e inútil?

Este artigo, intitulado "Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks", mergulha profundamente exatamente neste problema. Os autores, Haruka Eshima e Makoto Yamada, observaram um tipo específico de rede neural simples (uma rede de duas camadas com ativação ReLU) para ver o que acontece quando você altera o tamanho da rede e a força do decaimento de peso. Eles queriam saber: sob quais condições o cérebro do robô colapsa no nada, e podemos impedir isso?

Os pesquisadores descobriram que a resposta depende fortemente de como você escala as coisas. Eles descobriram um "ponto de virada" matemático. Se você tornar a rede mais larga (adicionar mais interruptores), mas mantiver o decaimento de peso forte demais em relação a essa largura, o cérebro do robô inevitavelmente colapsará. A única maneira de alcançar o fundo do vale é ter cada um dos interruptores desligados, o que significa que o robô não aprende nada. É como tentar encher uma piscina com um copo pequeno enquanto o ralo está bem aberto; não importa o quanto você despeje, a piscina permanece vazia.

No entanto, o artigo também revela uma reviravolta fascinante envolvendo como o robô aprende. Os autores realizaram simulações computacionais para ver o que acontece quando você usa diferentes "otimizadores" — os algoritmos que guiam os passos de aprendizado do robô. Eles descobriram que, se você usar um método padrão chamado SGD (Stochastic Gradient Descent), o cérebro do robô de fato colapsa para o zero quando o decaimento de peso é forte demais, exatamente como a matemática previu. Mas, se você usar um método diferente chamado AdamW, o robô sobrevive! Mesmo quando a matemática diz que ele deveria colapsar, o AdamW mantém o cérebro ativo e aprendendo. É como se o AdamW tivesse um truque especial, como um been de segurança, que impede o robô de cair no buraco do zero, mesmo quando o terreno parece perigoso.

A equipe também deu um zoom em um cenário muito específico e simplificado onde o robô vê apenas um número por vez (uma entrada unidimensional). Nesse ambiente controlado, eles foram capazes de escrever um mapa exato das melhores soluções. Eles descobriram que adicionar o decaimento de peso age como o cinzel de um escultor. Sem ele, as melhores soluções estão espalhadas por toda parte, formando uma nuvem de possibilidades enorme, conectada e ilimitada. Mas com o decaimento de peso, a nuvem encolhe e torna-se muito mais organizada. A "conectividade" — o quão fácil é caminhar de uma boa solução para outra sem cair de um precipício — permanece a mesma, independentemente de quão larga seja a rede. No entanto, a "dimensionalidade" — o número de maneiras pelas quais o robô pode mexer seu cérebro para encontrar uma solução — diminui significativamente à medida que a rede fica mais larga. É como pegar um parquinho gigante e espalhado e transformá-lo em uma pista estreita e bem definida.

Em suma, este artigo mostra que o tamanho da sua rede neural e a força da sua regularização são uma dança delicada. Se você não os combinar corretamente, a rede colapsa. Mas se você escolher o algoritmo de aprendizado certo (como o AdamW), você pode manter a dança acontecendo mesmo quando as condições parecem impossíveis. Os resultados baseiam-se em provas matemáticas rigorosas para o colapso e para o caso unidimensional simplificado, sendo apoiados por experimentos numéricos em dados do mundo real, como hidrodinâmica de iates e dígitos MNIST. Embora a matemática prove que o colapso acontece sob certas condições, a sobrevivência da rede com AdamW foi algo que os autores observaram em suas simulações, sugerindo que a escolha do otimizador é um fator crítico, talvez oculto, de por que o aprendizado profundo funciona tão bem na prática.

Resumo Técnico: Efeitos de Hiperparâmetros de Largura de Modelo e Regularização $\ell_2$ no Paisagem de Perda de Redes ReLU de Duas Camadas

Definição do Problema
As propriedades teóricas de redes neurais profundas, particularmente redes ReLU de duas camadas, permanecem pouco compreendidas quando a decaimento de peso explícito (regularização $\ell_2$ ) é aplicado. Trabalhos recentes caracterizaram os ótimos globais e suas estruturas geométricas para redes regularizadas, mas os efeitos sistemáticos das escalas de hiperparâmetros dependentes da largura nas paisagens de perda não foram totalmente explorados. Especificamente, é incerto como o escalonamento da largura da rede ( $m$ ) em relação ao escalonamento da saída ( $\alpha$ ), da inicialização ( $\tau$ ) e do coeficiente de regularização ( $\beta$ ) influencia a existência, dimensionalidade e conectividade dos mínimos globais.

Metodologia
Os autores analisam uma rede ReLU de duas camadas $f_\theta: \mathbb{R}^d \to \mathbb{R}$ definida como:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
onde $\theta = (u_j, \omega_j)_{j=1}^m$ . O estudo foca na minimização de uma função de perda $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ .

A abordagem metodológica central envolve a introdução de uma configuração de hiperparâmetros dependente da largura, onde os parâmetros escalam com a largura da rede $m$ :

Escalonamento da saída: $\alpha = m^a$
Escalas de inicialização: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
Coeficiente de regularização: $\beta = m^{-\delta}$

A análise procede em duas direções principais:

Dimensionalidade Geral ( $d$ ): Derivação de condições suficientes sob as quais os mínimos globais colapsam para a solução zero baseando-se na relação entre os expoentes de escalonamento $a$ e $\delta$ .
Entrada Unidimensional ( $d=1$ ): Restrição da dimensão de entrada para um para derivar soluções analíticas de forma fechada para os conjuntos de parâmetros globalmente ótimos. Isso permite uma caracterização precisa da geometria (dimensão, limitação e conectividade) dos conjuntos de solução tanto para o caso não regularizado ( $\beta=0$ ) quanto para o regularizado ( $\beta>0$ ). As provas utilizam a formulação convexa de redes ReLU de duas camadas introduzida por Pilanci e Ergen [31], que se torna tratável no cenário 1D.

Principais Contribuições e Resultados

Colapso de Ótimos Globais:
O artigo estabelece uma condição suficiente para o colapso dos mínimos globais para a solução zero. O Teorema 1 prova que, se o coeficiente de regularização escalar mais rápido que o escalonamento da saída da rede (ou seja, $\delta < a$ ), então para $m$ suficientemente grande, o único mínimo global é o vetor de pesos zero. Isso se aplica à maioria das funções convexas usadas na prática.
Colapso Dependente do Otimizador:
Experimentos numéricos revelam uma discrepância crítica entre os mínimos globais teóricos e a dinâmica de treinamento prática. Quando $\delta < a$ (condições que favorecem o colapso), o SGD faz com que os parâmetros aprendidos colapsem para zero, consistente com o Teorema 1. No entanto, o AdamW (e o Adam) impede esse colapso, mantendo parâmetros não nulos. Os autores sugerem que isso pode estar relacionado ao decaimento de peso desacoplado do AdamW e seu viés implícito para otimização com restrição $\ell_\infty$ , que difere da otimização do objetivo explicitamente regularizado com $\ell_2$ .
Caracterização Analítica de Mínimos Globais 1D:
Para $d=1$ , os autores derivam descrições exatas dos conjuntos de solução:
- Não regularizado ( $\beta=0$ ): O conjunto de mínimos globais $\phi^*(m)$ $ϕ^{*} (m)$ é caracterizado por restrições nas somas de produtos $u_j \omega_j$ $u_{j} ω_{j}$ .
  - Conectividade: Para $m=1$ , o conjunto é vazio; para $m=2$ , possui exatamente 2 componentes conectados; para $m \ge 3$ , é conectado.
  - Dimensão: A dimensão é $2m-2$ , e o conjunto é ilimitado.
- Regularizado ( $\beta>0$ ): O conjunto de mínimos globais $\Theta^*(m)$ $Θ^{*} (m)$ é significativamente mais restrito.
  - Conectividade: O artigo identifica larguras críticas $M$ e $\bar{M}$ (dependentes de hiperparâmetros) que ditam transições de fase. Para $m < M$ , a solução é o vetor zero. Para $m > M$ , o conjunto torna-se conectado. Diferente do caso não regularizado, o comportamento de conectividade é mais restrito, com apenas três comportamentos possíveis (singleton, conjunto finito ou conectado) para conjuntos não vazios.
  - Dimensão: A dimensão do conjunto de solução é reduzida para $m-2$ .
  - Limitação: Diferente do caso não regularizado, o conjunto de solução regularizado é limitado. A norma dos parâmetros ótimos escala como $\Theta(m^{a/2})$ .
Efeitos Dependentes da Largura:
A análise mostra que a regularização $\ell_2$ tem um efeito invariante à largura na conectividade (uma vez que a rede é larga o suficiente para ser não trivial), mas um efeito de redução de dimensionalidade que se fortalece com a largura. Especificamente, a diferença de dimensão entre o espaço de parâmetros ( $2m$ ) e o conjunto de solução regularizado cresce linearmente com $m$ (passando de uma diferença de 2 no caso não regularizado para uma diferença de $m+2$ no caso regularizado).

Significância
O artigo fornece um arcabouço teórico rigoroso para entender como o escalonamento de hiperparâmetros interage com a regularização em redes superparametrizadas. Ele destaca que a geometria da paisagem de perda não é estática, mas depende criticamente do escalonamento relativo do coeficiente de regularização e da largura da rede. As descobertas oferecem uma explicação teórica para o sucesso empírico do AdamW em prevenir o colapso de parâmetros em regimes onde o SGD falha, e esclarecem como a regularização altera fundamentalmente a geometria das soluções ótimas ao reduzir a dimensionalidade e impor limitação, efeitos que se tornam mais pronunciados conforme a largura da rede aumenta.

Mais como este