🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

Este artigo propõe um novo esquema de otimização de norma $\ell_p$ inspirado em curvatura com um parâmetro $p$ de decaimento dinâmico que transita da supressão da dominância de alta curvatura para a viabilização de atualizações estáveis, resultando nos otimizadores LPSGD e LPSGDM que alcançam convergência $O(T^{-1/2})$ e melhor generalização através de várias arquiteturas de redes neurais profundas e conjuntos de dados.

Autores originais: Jianhao Xu, Zhuang Yang

Publicado 2026-06-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jianhao Xu, Zhuang Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Navegando em uma Paisagem Mutável

Imagine que você está tentando guiar um carrinho pesado montanha abaixo para chegar ao fundo de um vale (a solução perfeita para um modelo de IA). O terreno desta montanha é o "cenário de perda" (loss landscape) de uma Rede Neural Profunda (DNN).

O problema é que esta montanha muda de forma conforme você viaja:

No topo (Início do Treinamento): O terreno é selvagem e acidentado. Alguns caminhos são penhascos incrivelmente íngremes (alta curvatura), enquanto outros são encostas suaves e planas (baixa curvatura).
No fundo (Final do Treinamento): O terreno se suaviza. Os penhascos desaparecem e o chão torna-se relativamente plano e uniforme.

O artigo argumenta que as ferramentas que costumamos usar para guiar o carrinho (otimizadores) estão presas usando apenas um tipo de roda, que funciona bem em uma situação, mas falha na outra.

O Problema: Duas Rodas Ruins

Os autores explicam que os métodos atuais de treinamento de IA geralmente dependem de duas "geometrias" (formas de medir distância e direção):

A Norma $\ell_2$ (A Roda Padrão):
- Como funciona: Trata cada direção igualmente com base no tamanho do empurrão.
- A Falha: No topo acidentado da montanha, esta roda fica travada. Se houver um penhasco íngreme em uma direção, a roda fica apavorada e desacelera tudo para evitar a queda. Ela ignora as encostas suaves e planas onde poderia, na verdade, mover-se rápido. É como dirigir um carro com freios sensíveis que travam se você atingir um único calombo, impedindo você de acelerar nas retas.
A Norma $\ell_\infty$ (A Roda de "Sinal"):
- Como funciona: Ignora totalmente o tamanho do empurrão e olha apenas para a direção (esquerda ou direita, cima ou baixo). Ela dá passos do mesmo tamanho exato em todas as direções.
- A Falha: Isso funciona muito bem nos penhascos acidentados porque não se importa com a inclinação; ela apenas marcha para frente. No entanto, quando você chega ao chão plano do vale, esta roda torna-se inútica. Como ela dá o mesmo passo grande em todos os lugares, começa a oscilar (ir e voltar) e não consegue se estabelecer suavemente no ponto mais baixo do vale.

A Solução: A Roda "Transformista"

Os autores propõem um novo método chamado escalonamento de norma $\ell_p$ . Em vez de escolher uma roda, eles construíram uma roda transformista que muda sua forma dependendo de onde você está na montanha.

A Estratégia: Eles usam um "Escalonamento de Cosseno" (uma curva suave, em forma de onda) para mudar a forma da roda ao longo do tempo.
- Primeiros Dias (A Montanha Acidentada): A roda começa com uma forma que age como a norma $\ell_\infty$ . Ela ignora a inclinação extrema dos penhascos e atravessa o terreno acidentado de forma eficiente, evitando o problema do "travamento".
- Últimos Dias (O Vale Plano): À medida que o treinamento progride, ela se transforma suavemente na forma da norma $\ell_2$ padrão. Agora que o chão está plano, ela pode dar passos precisos e suaves para se estabelecer perfeitamente no ponto mais baixo sem ficar oscilando.

Pense nisso como o calçado de um caminhante:

No início, eles usam botas robustas e com cravos para agarrar os penhascos rochosos e irregulares e continuar avançando.
Ao chegarem à planície plana no fundo, eles trocam por chinelos macios e flexíveis para caminhar silenciosamente e encontrar o centro exato do campo sem tropeçar.

Como Eles Provaram que Funciona

O artigo não apenas supõe; eles fizeram duas coisas:

Prova Matemática: Eles usaram a matemática para provar que este método "transformista" garante que você encontrará o fundo do vale eventualmente, e calcularam exatamente quão rápido você chegará lá.
Testes do Mundo Real: Eles testaram seus novos otimizadores (chamados LPSGD e LPSGDM) em conjuntos de dados de imagens famosos (como CIFAR e ImageNet) usando modelos de IA padrão (como ResNet).
- O Resultado: O método "transformista" deles superou consistentemente os métodos padrão. Ele aprendeu mais rápido no início e alcançou uma precisão maior no final. Por exemplo, em um teste, ele melhorou a precisão em quase 2% em comparação com os melhores métodos existentes — algo enorme no mundo da IA.

Resumo

Em suma, o artigo diz: "Não use uma única ferramenta para todo o trabalho."

Treinar uma IA é como viajar através de uma paisagem que muda de uma montanha acidentada para uma planície plana. Os autores criaram um otimizador inteligente que começa com um modo de "escalar em qualquer lugar" e transita suavemente para um modo de "caminhada de precisão". Isso permite que a IA aprenda mais rápido e termine com um modelo mais inteligente e preciso do que se tivesse usado um método único e imutável durante todo o tempo.

Resumo Técnico: Além da norma $\ell_2$ e da norma $\ell_\infty$ : Um Esquema de Norma $\ell_p$ Inspirado em Curvatura para Redes Neurais Profundas

Definição do Problema

O treinamento de Redes Neurais Profundas (DNNs) é frequentemente dificultado pela anisotropia de curvatura, um fenômeno onde o panorama de perda (loss landscape) exibe curvaturas vastamente diferentes através das dimensões dos parâmetros. O artigo identifica que os otimizadores existentes tipicamente dependem de suposições geométricas fixas que falham em se adaptar à natureza dinâmica dessa anisotropia durante o treinamento:

Otimizadores baseados na norma $\ell_2$ (ex: SGD): Estes são dominados por direções de alta curvatura. Nos estágios iniciais do treinamento, onde a anisotropia de curvatura é forte (caracterizada por outliers de autovalores de Hessian), as atualizações baseadas em $\ell_2$ restringem o progresso ao longo de direções mais planas, levando a uma convergência mais lenta.
Otimizadores baseados na norma $\ell_\infty$ (ex: métodos baseados em sinal como Lion, signSGD): Estes atualizam as coordenadas com a mesma magnitude baseando-se nos sinais do gradiente. Embora eficazes em regiões altamente anisotrópicas, eles tendem a causar oscilações em regiões planas (estágios finais de treinamento) devido à falta de escalonamento de magnitude.

Análises recentes das distribuições de autovalores de Hessian (ex: em ResNet-18 no CIFAR-10 e ResNet-50 no ImageNet-1K) revelam que o panorama de perda evolui de um estado altamente anisotrópico e não convexo com autovalores extremos nos primeiros epochs para uma região mais plana, fracamente anisotrópica e aproximadamente convexa nos epochs posteriores. O problema central abordado é se uma geometria de norma única e fixa ( $\ell_2$ ou $\ell_\infty$ ) é suficiente para todo o processo de treinamento, ou se um esquema dinâmico é necessário para corresponder a essas estruturas de curvatura em evolução.

Metodologia

Os autores propõem um Esquema de Norma $\ell_p$ de Cosseno que ajusta dinamicamente o parâmetro de norma $p$ ao longo do processo de treinamento para se alinhar com a mudança na anisotropia de curvatura.

1. Motivação Teórica

Baseado no modelo de suavidade $\ell_p$ , a direção de atualização para o declive mais íngreme (steepest descent) na geometria $\ell_p$ envolve um fator de escalonamento por coordenada de $|g^{(i)}|^{p-2}$ .

Quando $p=2$ (Euclidiana), a atualização escala linearmente com a magnitude do gradiente.
Quando $p > 2$ , o escalonamento torna-se sublinear ( $\alpha = \frac{1}{p-1} < 1$ ), comprimindo o desequilíbrio direcional e suprimindo a dominância das direções de alta curvatura.
À medida que $p \to \infty$ , a atualização aproxima-se de uma forma baseada em sinal ( $\ell_\infty$ ), que ignora a magnitude inteiramente.

Os autores argumentam que um $p$ grande (ex: $p > 2$ ) é benéfico no início do treinamento para lidar com a forte anisotropia, enquanto um $p$ menor (aproximando-se de 2) é preferível nos estágios finais para garantir atualizações estáveis e refinadas em regiões planas.

2. Os Algoritmos Propostos

O esquema é integrado ao Gradiente Descendente Estocástico (SGD) e ao SGD com Momento (SGDM) para criar dois novos otimizadores: LPSGD e LPSGDM.

Agendamento Dinâmico: O parâmetro de norma $p_s$ no epoch $s$ é agendado usando uma estratégia de recozimento de cosseno (cosine annealing):
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
onde $p_{\max} \geq 2$ é o máximo inicial de $p$ , e $S$ é o número total de epochs. O agendamento começa em $p_{\max}$ e decai suavemente para 2.
Regra de Atualização: Para um gradiente estocástico $g_t$ (ou buffer de momento $m_t$ em LPSGDM), a direção de atualização $u_t$ é computada via um mapa de escalonamento não linear:
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
onde $\rho_s = \frac{p_s - 2}{p_s - 1}$ e $\epsilon$ é uma constante de estabilidade. Os parâmetros são então atualizados como $\theta_{t+1} = \theta_t - \eta u_t$ (com adição de weight decay para LPSGDM).

3. Análise de Convergência

O artigo fornece garantias teóricas para otimização estocástica não convexa:

Sob suposições padrão ( $\ell_p$ -suavidade, gradientes não enviesados, ruído limitado), os autores provam que tanto o LPSGD quanto o LPSGDM alcançam uma taxa de convergência de $O(T^{-1/2})$ para a norma quadrada esperada do gradiente, onde $T$ é o número de iterações.
A análise baseia-se no estabelecimento de alinhamento condicional e momentos de segunda ordem limitados para as direções de atualização transformadas.

Principais Contribuições

Caracterização da Evolução da Curvatura: O trabalho caracteriza empiricamente a evolução das distribuições de autovalores de Hessian durante o treinamento de DNNs, destacando a transição de uma forte anisotropia para uma fraca anisotropia.
Esquema de Norma $\ell_p$ de Cosseno: Uma estratégia de agendamento inovadora que transiciona a geometria do otimizador de uma norma de alto $p$ (suprimindo a dominância de outliers de curvatura) para a norma Euclidiana (garantindo estabilidade em regiões planas) com custo computacional desprezível.
Novos Otimizadores (LPSGD/LPSGDM): A integração deste esquema em métodos de primeira ordem padrão, resultando em algoritmos que superam as linhas de base existentes.
Garantias Teóricas: Prova rigorosa da taxa de convergência $O(T^{-1/2})$ para os algoritmos propostos em cenários não convexos.

Resultados Experimentais

Experimentos extensivos foram conduzidos em conjuntos de dados de referência (CIFAR-10, CIFAR-100, ImageNet-1K) utilizando várias arquiteturas (VGG-11, ResNet-18, ResNet-50). Os métodos propostos foram comparados contra SGD com Momentum, AdamW e Lion.

CIFAR-10: O LPSGDM alcançou consistentemente a maior acurácia Top-1 em todos os modelos e checkpoints. Por exemplo, no ResNet-18, atingiu 94,81% de acurácia em 200 epochs, superando o SGD (93,15%), AdamW (94,09%) e Lion (94,04%).
CIFAR-100: A lacuna de desempenho aumentou neste cenário mais desafiador. O LPSGDM alcançou 77,98% no ResNet-18 e 76,78% no ResNet-50, superando significativamente as linhas de base (ex: +1,87% sobre a melhor linha de base no ResNet-50).
ImageNet-1K: No ResNet-50, o LPSGDM superou todas as linhas de base nos estágios intermediários e finais do treinamento, atingindo 74,04% de acurácia Top-1 no epoch 60, o que representa uma melhoria de 2,25 pontos percentuais sobre o AdamW.
Generalização: Notavelmente, o LPSGDM frequentemente alcançou maior acurácia de teste mesmo quando o NLL (Negative Log-Likelihood) de treinamento não era o mais baixo, sugerindo que o método melhora a qualidade de generalização da solução, em vez de apenas minimizar a perda de treinamento.

Significância e Alegações

O artigo alega que o esquema proposto de norma $\ell_p$ de cosseno aborda efetivamente a limitação de otimizadores de norma fixa ao se adaptar às mudanças geométricas intrínsecas dos panoramas de perda de DNNs. Ao suprimir dinamicamente a dominância das direções de alta curvatura no início do treinamento e transicionar para atualizações euclidianas estáveis posteriormente, o método alcança um desempenho de generalização superior. Os autores enfatizam que esta abordagem requer apenas informações de primeira ordem e adiciona um custo computacional mínimo (reescalonamento elemento a elemento), tornando-a uma melhoria prática e escalável para os frameworks de otimização existentes. A taxa de convergência teórica de $O(T^{-1/2})$ confirma que esses ganhos empíricos são sustentados por uma análise matemática rigorosa.