🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

Este artigo estende a teoria do gradiente descendente com tamanhos de passo grandes de mínimos planos isolados para variedades de mínimos planos em problemas de mínimos quadrados sobreparametrizados com saídas de valores vetoriais, estabelecendo uma forma normal generalizada e resultados de convergência que revelam a estrutura de fibrado de fibras dos mínimos planos em fatoração de matrizes profunda.

Autores originais: Lachlan Ewen MacDonald, René Vidal

Publicado 2026-07-10

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lachlan Ewen MacDonald, René Vidal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar o ponto mais baixo em uma vasta paisagem nebulosa. Esta paisagem representa a "perda" (loss) de uma rede neural profunda — uma medida de quão errada a máquina está. O objetivo é chegar ao fundo absoluto.

Por muito tempo, cientistas da computação acreditaram que a melhor maneira de fazer isso era dar passos pequenos e cuidadosos ladeira abaixo. Eles acreditavam que, se você desse um passo grande demais, ultrapassaria o fundo, saltaria de volta para cima e, eventualmente, voaria para o céu (divergir). Eles tinham uma regra estrita: o tamanho do seu passo tinha que ser menor que um limite específico determinado pelo quão "agudo" era o fundo do vale. Se o fundo fosse um ponto de agulha (agudo), você teria que dar passos microscópicos. Se fosse uma bacia larga e plana, você poderia dar passos ligeiramente maiores.

Mas aqui está a reviravolta na trama: no mundo real do treinamento de IA, as pessoas começaram a dar passos enormes. Em vez de colidir, a IA ficou mais inteligente, mais rápida e, surpreendentemente, parecia preferir pousar naquelas bacias largas e planas em vez dos pontos agudos de agulha. Esse comportamento era um mistério. Era como observar um esquiador dar um salto massivo, pousar perfeitamente em um banco de neve macio e deslizar até parar, desafiando todas as leis da física que diziam que ele deveria ter batido.

Este artigo é a equipe de detetives que finalmente descobriu por que o esquiador não bateu e exatamente como ele pousou.

A Grande Descoberta: O "Giro" e o "Deslize"

Os autores, Lachlan MacDonald e René Vidal, pegaram as teorias antigas e simples e as atualizaram para lidar com a realidade desordenada e de alta dimensão da IA moderna. Eles descobriram que, quando você dá um passo grande, a IA não apenas vaga aleatoriamente. Ela na verdade divide seu comportamento em dois modos distintos, como um carro que pode dirigir para frente e também girar no próprio eixo.

1. O "Giro" (A Bola que Quica):
Imagine que a IA está quicando em um trampolim. Se o tamanho do passo for ideal, a IA quica para cima e para baixo em um ritmo muito específico. Ela não para de quicar imediatamente; em vez disso, ela se estabelece em um padrão estável e repetitivo de quicar para frente e para trás. O artigo prova que, se o tamanho do passo for ligeiramente grande demais (mas não grande demais), a IA oscilará em um loop perfeito e previsível logo acima do fundo plano. Não é um erro; é uma característica.

2. O "Deslize" (O Rio):
Enquanto a IA está quicando para cima e para baixo (o giro), ela também está deslizando lentamente para o lado ao longo do fundo plano do vale. Os autores mostram que a IA está, essencialmente, realizando um tipo especial de "descida de gradiente Riemanniana" ao longo desta superfície plana. Pense nisso como um rio fluindo ao longo de uma planície plana. O rio não se importa com os pequenos calombos na areia; ele apenas flui suavemente em direção à parte mais plana e estável da paisagem.

A Forma do "Plano"

Uma das partes mais empolgantes deste artigo é como eles descrevem os "mínimos planos" (os vales largos e seguros). Teorias anteriores tratavam esses pontos planos como ilhas isoladas. Mas os autores mostram que, em problemas complexos como a fatoração de matrizes (uma técnica fundamental no aprendizado profundo), esses pontos planos não são apenas pontos isolados. Eles são, na verdade, um fibrado sobre um produto de esferas.

Vamos traduzir isso para o inglês simples (português comum): Imagine que o vale plano não é uma sala única, mas uma estrutura gigante e multicamadas. A base desta estrutura é uma coleção de esferas (como a superfície de uma bola). Sobre cada ponto dessas esferas, existe um "fíber" ou uma pequena sala de soluções. A IA não encontra apenas uma solução; ela encontra toda uma família conectada e suave de soluções que são todas igualmente boas. O artigo prova que a "agudeza" (o quão íngremes são as laterais) muda suavemente conforme você se move por esta estrutura, comportando-se de uma maneira muito ordenada chamada Morse-Bott.

O Que Eles Provaram vs. O Que Eles Simularam

Os autores não apenas adivinharam isso; eles construíram um arcabouço matemático rigoroso para provar.

A Teoria: Eles provaram que, para uma ampla gama de tamanhos de passo, o comportamento da IA se divide em três regimes distintos:
- Subcrítico (Seguro, mas lento): Se o passo for pequeno o suficiente, a IA converge exponencialmente rápido para um mínimo "subotimamente plano". É seguro, mas talvez não seja o ponto absolutamente mais plano.
- Crítico (O Ponto Ideal): Se o tamanho do passo atinge um limiar específico (exatamente $2/\lambda_1$ , onde $\lambda_1$ é a agudeza), a IA converge para o mínimo plano a uma taxa de $t^{-1/2}$ . Esta é uma taxa matemática específica e comprovada. Eles mostraram que isso acontece em simulações de fatoração de matrizes.
- Supercrítico (A Dança): Se o passo for ligeiramente maior que o limiar, a IA não para no fundo. Em vez disso, ela converge exponencialmente para uma órbita de período-2. Isso significa que ela se estabiliza em um ciclo estável e repetitivo de dois pontos, oscilando para frente e para trás. O artigo prova que este ciclo existe e é estável.
As Simulações: Para apoiar sua matemática, eles realizaram experimentos em problemas de fatoração de matrizes (especificamente fatoração de matrizes $2 \times 2$ de 3 camadas). Nessas simulações, eles observaram a IA dando passos grandes. Os gráficos mostraram exatamente o que a matemática previu: a IA quicou, depois estabeleceu o deslize $t^{-1/2}$ , ou travou na dança de período-2.

O Que Eles Explicitamente Desmentem

É importante saber o que este artigo diz que não está acontecendo.

Não é caos aleatório: O artigo descarta explicitamente a ideia de que passos grandes levam a comportamentos aleatórios e imprevisíveis nestes regimes específicos. A oscilação é uma órbita de período-2 estruturada e estável, não uma bagunça caótica.
Não é apenas sobre pontos únicos: O artigo argumenta contra a ideia de que os mínimos planos são isolados. Eles provam que, nestes sistemas, os mínimos formam uma variedade (manifold) contínua e suave, não uma coleção espalhada de pontos.
Não é uma garantia global: Os autores são cuidadosos ao afirmar que suas provas são locais. Eles provam o que acontece perto dos mínimos planos. Eles não afirmam ter resolvido o mistério de como a IA encontra os mínimos planos a partir de um ponto inicial aleatório longe dali (a fase de "afiação progressiva"). Eles apenas explicam o que acontece uma vez que a IA já está na vizinhança do ponto plano.

A "Borda da Estabilidade"

O artigo conecta isso a um fenôみeno chamado "Borda da Estabilidade" (Edge of Stability). Este é o regime onde a IA se equilibra na borda de colidir, mas não cai. Os autores mostram que isso não é um erro; é um estado dinâmico específico onde a IA realiza implicitamente uma "descida de gradiente Riemanniana" sobre a própria agudeza. É como se a IA estivesse usando o quique para sentir o terreno e deslizar em direção ao ponto mais plano possível.

Conclusão

Este artigo pega um problema de alta dimensão e nos dá um mapa claro. Ele mostra que, quando damos passos grandes no treinamento de IA, não estamos apenas adivinhando. Estamos participando de uma dança sofisticada onde a IA quica em um ritmo estável enquanto simultaneamente desliza ao longo de uma superfície suave e conectada de soluções perfeitas.

Eles provaram que, para a fatoração de matrizes, esta superfície é uma bela estrutura geométrica (um fibrado sobre esferas), e provaram que o movimento da IA sobre esta superfície segue leis estritas e previsíveis. Embora não tenham resolvido todo o mistério do aprendizado profundo (como chegar do início ao fim da linha de chegada), eles forneceram a primeira explicação matemática rigorosa de por que dar passos enormes funciona tão bem quando você já está perto da solução.

Em resumo: a IA não está colidindo; ela está dançando. E, graças a este artigo, finalmente temos a partitura.

Resumo Técnico: Dinâmica do Gradiente Descendente com Tamanho de Passo Grande Próximo a uma Variedade de Mínimos Planos

Definição do Problema

A teoria clássica de convergência para o Gradiente Descendente (GD) baseia-se na condição de estabilidade $\eta < 2/\lambda_1(x)$ , onde $\eta$ é o tamanho do passo e $\lambda_1(x)$ é o maior autovalor (nitidez/sharpness) do Hessiano da função objetivo. Em aprendizado profundo, essa condição é frequentemente violada; contudo, o GD com passos grandes frequentemente converge, exibindo fenômenos como a dinâmica da "borda da estabilidade" (edge of stability) e o viés implícito para "mínimos planos" (mínimos com baixa nitidez).

Trabalhos anteriores por MacDonald et al. [39] forneceram uma análise rigorosa de sistemas dinâmicos para o GD de passo grande em problemas de mínimos quadrados de codimensão 1 (saída escalar única) próximo a um mínimo plano isolado. No entanto, essa configuração é praticamente restritiva, falhando em cobrir:

Problemas de codimensão superior: Regressão sobreparametrizada com saídas de valor vetorial e número arbitrário de observações.
Variedades de mínimos: Muitos problemas de aprendizado profundo, como a fatoração de matrizes, possuem uma variedade contínua de mínimos planos em vez de pontos isolados.

Este artigo estende a teoria de [39] para esses cenários mais amplos, abordando os desafios técnicos de bifurcações de maior dimensão e equações diferenciais parciais (EDPs) singulares que surgem ao longo de variedades.

Metodologia

1. Estrutura Geométrica e Suposições

Os autores consideram objetivos de mínimos quadrados sobreparametrizados $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ onde $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ ). Eles estabelecem uma hierarquia de suposições geométricas para garantir a existência de uma forma normal:

Suposição 3.1: O alvo $\tau$ é um valor regular, garantindo que o conjunto de soluções $M = f^{-1}(\tau)$ seja uma subvariedade suave.
Suposição 3.3: O autovalor superior $\lambda_1$ do Hessiano é simples (distinto de $\lambda_2$ ) em um subconjunto aberto não vazio, permitindo um campo de autovetores superiores $\nu_1$ bem definido.
Suposição 3.4: Existe uma subvariedade $F \subset M$ de mínimos locais para $\lambda_1$ onde $\lambda_1$ é Morse-Bott (fortemente convexo nas direções normais a $F$ dentro de $M$ ).
Suposição 3.5: Uma condição de regularidade em um coeficiente $\alpha_\eta$ derivado das derivadas de ordem superior de $\ell$ , garantindo a solubilidade de uma EDP singular necessária para a forma normal.

2. Derivação da Forma Normal

A principal contribuição técnica é a derivação de uma forma normal para o GD próximo à variedade $F$ . Os autores realizam uma sequência de transformações de coordenadas:

Coordenadas Tubulares: Mapeamento da vizinhança de $M$ para $M \times \mathbb{R}^q$ .
Redução de Variedade Central (Center Manifold Reduction): Uso do teorema da variedade central para reduzir a dinâmica ortogonal de $q$ dimensões para um sistema unidimensional correspondente à direção do autovetor superior $\nu_1$ .
Resolução de uma EDP Singular: Uma etapa crítica envolve resolver uma EDP da forma $Xu = \alpha u + \beta$ onde o campo vetorial $X$ se anula ao longo da variedade $F$ . Diferente do caso de ponto isolado em [39], a singularidade aqui ocorre ao longo de uma variedade. Os autores desenvolvem técnicas inovadoras envolvendo expansões logarítmicas e foliações invariantes para provar a existência de uma solução $C^1$ , corrigindo uma prova falha em [39] referente ao acoplamento entre as coordenadas da variedade e a dinâmica ortogonal.
Foliação Estável-Forte: Desacoplamento das direções de contração da dinâmica na variedade central.

A forma normal resultante decompõe a dinâmica do GD em:

Tangente a $M$ ( $x$ ): Gradiente Descendente Riemanniano (RGD) sobre a nitidez $\lambda_1$ ao longo de $M$ , com um tamanho de passo controlado pelo quadrado da distância ortogonal $y_1^2$ .
Direção Ortogonal Superior ( $y_1$ ): Uma dinâmica de bifurcação de inversão (flip bifurcation) (semelhante a uma bifurcação de duplicação de período) governada por $(1 - \eta\lambda_1)y_1 + y_1^3$ .
Outras Direções Ortogonais ( $y_{2:q}$ ): Direções estáveis exponencialmente contraídas.

3. Estudo de Caso: Fatoração de Matrizes Profunda

Os autores verificam que a fatoração de matrizes profunda se ajusta a esta estrutura. Eles provam que o conjunto de mínimos planos $F$ forma um fibrado suave sobre um produto de esferas. Além disso, demonstram que a nitidez $\lambda_1$ é Morse-Bott ao longo desta variedade.

Principais Contribuições e Resultados

1. Forma Normal Generalizada

O artigo estabelece uma forma normal para o GD com passos grandes na vizinhança de uma variedade de mínimos planos para codimensão arbitrária. Isso generaliza os resultados de [39] de pontos isolados em codimensão 1 para variedades contínuas em dimensões arbitrárias.

2. Teoremas de Convergência

Os autores provam três regimes de convergência baseados no tamanho do passo $\eta$ relativo ao limiar de estabilidade $2/\lambda_1|_F$ :

Regime Subcrítico ( $\eta < 2/\lambda_1|_F$ ):
Após um transiente inicial, as iterações convergem exponencialmente para um mínimo global suboptimalmente plano. O tamanho do passo decai exponencialmente conforme as iterações se aproximam da variedade.
Regime Crítico ( $\eta = 2/\lambda_1|_F$ ):
As iterações convergem de forma não monotônica com uma taxa de $\Theta(t^{-1/2})$ para um ponto na variedade de mínimos planos $F$ $F$ .
- Nota: A prova para o caso geral baseia-se em uma conjectura (Conjectura D.7) sobre a existência de uma foliação estável para sistemas dinâmicos parabolicamente normais, análoga ao teorema de foliação hiperbólica forte. O resultado é provado rigorosamente se o Hessiano de $\lambda_1$ for um múltiplo escalar da identidade ao longo de $F$ , ou se a conjectura for verdadeira.
Regime Supercrítico ( $\eta > 2/\lambda_1|_F$ ):
As iterações convergem exponencialmente para uma órbita de período 2 estável ao longo do span do campo de autovetores superiores $\nu_1|_F$ . A amplitude dessa oscilação escala como $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ .

3. Resultados Estruturais para Fatoração de Matrizes

Para a fatoração de matrizes profunda, o artigo fornece insights estruturais inéditos:

A variedade de mínimos planos $F$ é um fibrado sobre um produto de esferas.
A nitidez $\lambda_1$ é Morse-Bott ao longo de $F$ .
Os autovalores do Hessiano de $\lambda_1$ restritos ao bóndio normal de $F$ são estritamente positivos, com limites inferiores específicos derivados (ex: para $L=2$ , o limite inferior é $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ ).

4. Verificação Numérica

As previsões teóricas são verificadas via experimentos numéricos em problemas de fatoração de matrizes $2 \times 2$ com 3 camadas. Os experimentos confirmam:

Convergência exponencial no regime subcrítico.
Convergência $t^{-1/2}$ no regime crítico.
Convergência exponencial para um ciclo de período 2 no regime supercrítico.

Significância e Alegações

O artigo afirma preencher uma lacuna significativa na compreensão teórica da otimização em aprendizado profundo:

Além da Codimensão 1: Move a teoria do GD de passo grande do cenário impraticável de "dado único" para regressão sobreparametrizada geral com saídas vetoriais.
Variedades de Mínimos: Aborda a realidade de que os landscapes de perda em aprendizado profundo frequentemente contêm variedades de mínimos, mostrando que a dinâmica da "borda da estabilidade" persiste nesses ambientes contínuos de maior dimensão.
Novidade Técnica: A resolução da EDP singular ao longo de uma variedade e a correção da prova de [39] quanto ao acoplamento de coordenadas são apresentadas como contribuições técnicas independentes de interesse para a teoria de sistemas dinâmicos.
Viés Implícito: Os resultados formalizam rigorosamente a observação de que o GD de passo grande realiza implicitamente o gradiente descendente riemanniano sobre a nitidez ao longo da variedade de solução, fornecendo uma explicação mecanística para o viés em direção a mínimos planos.

Os autores mantêm a modéstia quanto ao regime crítico, declarando explicitamente que a prova de convergência geral depende de uma conjectura sobre foliações parabólicas, que está fora do escopo do trabalho atual, mas que é argumentada como plausível baseada em analogias com sistemas hiperbólicos. Eles também observam que seus resultados são locais (próximos à variedade de mínimos planos) e ainda não explicam a fase global de "afiação progressiva" (progressive sharpening) observada no treinamento.