Resumo Técnico: A Borda da Estabilidade Molda Seletivamente o Aprendizado através da Distribuição de Dados

1. Declaração do Problema

A literatura existente sobre a Borda da Estabilidade (EoS - Edge of Stability) trata-a primariamente como uma propriedade global de otimização, onde o autovalor superior do Hessiano se autoestabiliza próximo ao limiar $2/\eta$ (onde $\eta$ é a taxa de aprendizado). Embora a dinâmica deste regime — caracterizada por oscilações de sinal alternado e um lento drift corretivo — esteja bem documentada, as consequências funcionais de operar neste limiar permanecem incertas. Especificamente, é desconhecido se a restrição de estabilidade fornece um benefício uniforme ou se molda diferencialmente o aprendizado através de diferentes subconjuntos dos dados de treinamento. A questão central é: O regime de EoS induz um viés de aprendizado seletivo e, em caso afirmativo, quais propriedades geométricas e dinâmicas determinam quais subconjuntos de dados se beneficiam?

2. Metodologia

2.1 Configuração Experimental e Taxonomia de Protótipos

Os autores instanciam um framework experimental controlado usando uma tarefa de classificação binária no CIFAR-10 (Automóvel vs. Caminhão) com um MLP de duas camadas ocultas treinado via gradiente descendente de lote total (full-batch). Para isolar os efeitos da geometria dos dados, eles definem uma taxonomia de protótipos que particiona a distribuição de treinamento em quatro grupos baseados em sua posição relativa aos centroides das classes ($\mu_c$) e consistência de rótulo, independentemente do modelo treinado:

1. Inliers: Pontos de alta densidade próximos ao centroide da classe com rótulos corretos.
2. Boundary (Fronteira): Pontos dentro da distribuição próximos à fronteira interclasse (alta ambiguidade de rótulo).
3. Input-outliers (Outliers de Entrada): Entradas geometricamente atípicas (distantes de $\mu_c$) com rótulos corretos.
4. Output-outliers (Outliers de Saída): Entradas de alta densidade atribuídas a rótulos incorretos (construídas sinteticamente).

2.2 Intervenção de Ramificação (Identificação Causal)

Para identificar causalmente o efeito de permanecer no regime de EoS versus sair dele, os autores empregam uma intervenção de ramificação:

• Ramo de Linha de Base (Baseline Branch): Continua o treinamento na taxa de aprendizado original $\eta$, permanecindo no regime de EoS.
• Ramo de Saída (Exit Branch): No início da EoS (detectada quando o autovalor superior do Hessiano $\lambda_1$ atinge $2/\eta$), a taxa de aprendizado é reduzida pela metade ($\eta \to \eta/2$). Isso eleva o limiar de estabilidade para $4/\eta$, permitindo que o otimizador saia do regime de EoS.
• Comparação: Ao comparar a divergência nas perdas por grupo ($\ell_k$) entre os dois ramos pós-intervenção, os autores isolam o impacto causal da restrição de estabilidade da EoS.

2.3 Isolamento de Mecanismo

Os autores testam duas condições necessárias hipotetizadas para que um subconjunto se beneficie da EoS:

1. Alinhamento Direcional: O gradiente agregado do subconjunto deve alinhar-se com o autovetor superior do Hessiano ($v_1$). Isso é testado construindo "input-outliers de direção aleatória" onde a distância de deslocamento é preservada, mas a direção é randomizada, destruindo o alinhamento coerente.
2. Persistência de Gradiente: O subconjeto deve sustentar uma magnitude de gradiente não nula. Isso é testado comparando a perda de Erro Quadrático Médio (MSE — onde os gradientes persistem) contra a perda de Entropia Cruzada (CE — onde os gradientes desaparecem para pontos classificados com confiança).

3. Resultados Principais

3.1 Trade-off de Aprendizado Seletivo

A intervenção de ramificação revela que a EoS é seletiva, não global. A restrição de estabilidade redistribui o esforço de otimização de forma desigual:

• Beneficiários: Subconjuntos cujos gradientes se alinham com $v_1$ e persistem (ex: input-outliers sob MSE, output-outliers sob CE) mostram uma redução acelerada da perda no ramo de EoS em comparação com o ramo de saída.
• Supressores: Subconjuntos com gradientes ortogonais ou magnitudes evanescentes (ex: inliers e pontos de fronteira sob certas condições) mostram progresso suprimido no ramo de EoS em relação ao ramo de saída.
• Este trade-off se replica através de arquiteturas (CNN, ResNet), otimizadores (SGD, Momentum) e pares de classes.

3.2 Mecanismo: Alinhamento $\times$ Persistência

Duas condições são conjuntamente necessárias para que um grupo capture a vantagem da EoS:

1. Alinhamento: O gradiente agregado do grupo deve alinhar-se com o autovetor superior do Hessiano ($v_1$).
   • Evidência: Quando os input-outliers são deslocados em direções aleatórias (preservando a distância, mas destruindo o alinhamento), sua influência de curvatura $(\nabla \ell_k \cdot v_1)^2$ colapsa em ordens de magnitude, e a vantagem da EoS desaparece.
2. Persistência: O grupo deve manter uma magnitude de gradiente não evanescente.
   • Evidência: Sob a perda de Entropia Cruzada (CE), os gradientes para input-outliers classificados com confiança saturam (desaparecem). Consequentemente, a vantagem da EoS desloca-se para os output-outliers, cujos gradientes permanecem ativos devido à inconsistência de rótulo, apesar de potencialmente menor alinhamento.

3.3 A Geometria Determina o Beneficiário

O subconjunto que se beneficia da EoS é determinado pela composição geométrica da distribuição de dados:

• No setup padrão do CIFAR-10, input-outliers (mais distantes dos centroides) dominam $v_1$ e beneficiam-se.
• Em um par de classes mais difícil (Gato vs. Cachorro) ou com diferentes parâmetros de construção de outliers, os pontos de fronteira podem se tornar o grupo mais distante, dominando $v_1$ e tornando-se o principal beneficiário.
• Dados Naturais: No CIFAR-10 natural, uma correlação positiva emerge no início da EoS entre a distância ao centroide e o alinhamento com $v_1$, confirmando que outliers geométricos naturalmente impulsionam o modo instável.

3.4 Implicações de Generalização e Robustez

O artigo apresenta evidências preliminares de que a seletividade durante o treinamento se transfere para o comportamento em tempo de teste:

• Robustez Adversária: A EoS melhora a robustez em pontos de fronteira apenas quando os pontos de fronteira dominam $v_1$. Se os input-outliers dominarem, o ramo de EoS apresenta desempenho pior na robustez de fronteira porque o orçamento de otimização é desviado.
• Generalização Out-of-Distribution (OOD): A EoS melhora o desempenho OOD em entradas extrapoladas apenas quando essas entradas dominam $v_1$ durante o treinamento.

4. Estrutura Teórica

Os autores estendem o framework de autoestabilização (Damian et al., 2023) da perda global para perdas por subconjunto. Eles derivam que o drift médio do ciclo no regime de EoS inclui um termo adicional proporcional a $-\nabla S$ (onde $S$ é a nitidez/sharpness). O efeito diferencial em um subconjunto $k$ é governado pelo seletor:
$$Q_k = \langle \nabla \ell_k, \nabla S \rangle$$
Sob uma aproximação de modo único, este seletor é proporcional ao quadrado da projeção do gradiente do subconjunto sobre o autovetor superior:
$$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$$
Esta decomposição confirma que tanto o alinhamento direcional ($\cos^2 \theta_k$) quanto a persistência da magnitude do gradiente ($\|\nabla \ell_k\|^2$) são necessários para que um subconjunto experimente o drift da EoS.

5. Significância e Alegações

O artigo afirma mudar a compreensão da EoS de uma fronteira de estabilidade escalar para um mecanismo que governa a alocação do aprendizado através da distribuição de dados.

• Reenquadramento da Planicidade (Flatness): Os autores argumentam que a "planicidade" não é uma propriedade escalar da solução, mas uma propriedade direcional determinada pela geometria dos dados. O benefício funcional de baixa curvatura depende inteiramente de qual subconjunto domina a direção autovetor superior.
• Viés Indutivo: A EoS atua como um viés indutivo que seleciona subconjuntos específicos para otimização com base em sua relação geométrica com o modo instável, em vez de apenas selecionar entre minimizadores equivalentes.
• Unificação de Perspectivas: O trabalho conecta a regularização implícita no espaço de parâmetros (restrições de curvatura) com o viés indutivo sobre a distribuição de dados (quais exemplos são aprendidos).
• Escopo Modesto: Os autores reconhecem limitações, observando que os experimentos estão restritos a modelos pequenos e treinamento de lote total devido ao custo computacional dos produtos Hessiano-vetor. Eles afirmam que se esses efeitos de seletividade persistem para conjuntos de dados maiores, otimizadores de mini-lote ou protótipos no espaço de representação permanece uma questão aberta.

Em conclusão, o artigo demonstra que a Borda da Estabilidade é um regime seletivo onde a restrição de estabilidade amplifica o aprendizado para subconjuntos que se alinham com e persistem ao longo da direção do autovetor superior do Hessiano, enquanto suprime outros, moldando fundamentalmente as propriedades funcionais do modelo.