Resumo Técnico: Conectividade de Modos Induzida por Otimizador: De AdamW a Muon

Declaração do Problema

A conectividade de modos, o fenômeno no qual modelos de redes neurais treinados independentemente podem ser conectados por um caminho de baixa perda, foi extensivamente estudado. No entanto, a literatura existente trata amplamente o conjunto de soluções como uma entidade monolítica, frequentemente assumindo conectividade independente das dinâmicas de otimização específicas utilizadas para alcançar essas soluções. Este artigo postula que diferentes otimizadores impõem vieses implícitos distintos (regularização), efetivamente restringindo soluções a diferentes regiões da paisagem de perda. A questão central abordada é: Como se comporta a conectividade de modos quando restrita a soluções consistentes com o viés implícito de um otimizador específico? Especificamente, os autores investigam se soluções encontradas pelo mesmo otimizador formam um conjunto conectado (conectividade intra-otimizador) e se soluções encontradas por diferentes otimizadores podem ser conectadas sem incorrer em uma barreira de perda (conectividade inter-otimizador).

Metodologia

Marco Teórico

Os autores formalizam o conceito de conjuntos de soluções regularizados por otimizador. Baseando-se em caracterizações teóricas recentes de otimizadores adaptativos (por exemplo, AdamW e a família Lion-K), eles definem os pontos limite desses otimizadores como soluções para problemas de otimização com restrições:

• AdamW: Converge para soluções que satisfazem uma restrição de norma $\ell_\infty$ ($\|\theta\|_{\max} \leq 1/\lambda$).
• Muon (e Lion-K com norma nuclear): Converge para soluções que satisfazem uma restrição de norma de operador ($\|\theta\|_{\text{op}} \leq 1/\lambda$).

O artigo introduz duas definições:

1. Conectividade intra-otimizador: O conjunto de soluções $O_A(\lambda)$ para um otimizador específico $A$ é conectado.
2. Conectividade inter-otimizador: A união dos conjuntos de soluções $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ é conectada.

A análise teórica é conduzida em redes ReLU de duas camadas no regime de interpolação (onde a perda de treinamento zero é alcançável). Os autores analisam a geometria desses conjuntos regularizados sob variações nas larguras da rede ($m$).

Configuração Experimental

A validação empírica é realizada em tarefas de pré-treinamento do GPT-2 em cinco conjuntos de dados (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) usando duas escalas de modelo (~30M e ~50M parâmetros).

• Otimizadores: AdamW e Muon.
• Construção de Caminhos: Os autores empregam um algoritmo de interpolacão poliacadeada modificado combinado com alinhamento simétrico (permutação e alinhamento ortogonal de cabeças de atenção e neurônios MLP). Este método constrói um caminho linear por partes com um ponto de flexão aprendível para minimizar barreiras de perda entre modelos.
• Métricas: O estudo rastreia barreiras de perda de validação e a evolução dos espectros de valores singulares (especificamente o posto estável) ao longo dos caminhos de interpolação.

Principais Contribuições

1. Provas Teóricas de Conectividade Intra-Otimizador

O artigo prova que, para redes ReLU de duas camadas suficientemente largas, os conjuntos de soluções induzidos por otimizadores específicos são conectados:

• Teorema 3.1: A conectividade intra-otimizador vale para Muon (e GD Normalizado com momento) quando a largura da rede $m \geq 4P$, onde $P$ é o número de padrões distintos de arranjo de hiperplanos.
• Teorema 3.2: A conectividade intra-otimizador vale para AdamW (e Signum) quando $m \geq m^*$, onde $m^*$ é uma largura crítica determinada pelos dados e parâmetros de regularização.
• Mecanismo: As provas envolvem reduzir soluções arbitrárias a formas canônicas "esparças" ou "equalizadas" dentro do conjunto regularizado e demonstrar que essas formas podem ser conectadas por caminhos contínuos que preservam as restrições de norma implícitas.

2. Caracterização da Conectividade Inter-Otimizador

Os autores estabelecem que a conectividade entre diferentes regiões induzidas por otimizadores depende criticamente da largura da rede e da força de regularização:

• Regime de Grande Largura: A união de dois conjuntos regularizados é conectada se e somente se os conjuntos se sobrepõem (ou seja, o conjunto de perda zero passa pela interseção de suas respectivas bolas de norma). O número de componentes conectados pode transitar de um para dois à medida que a força de regularização aumenta.
• Construção de Largura Finita: O artigo constrói um conjunto de dados específico e uma largura ($m=2$) onde o conjunto de soluções de perda zero se decompõe em múltiplos componentes desconectados. Crucialmente, eles provam que AdamW e Muon podem ser forçados a componentes diferentes escolhendo parâmetros de regularização apropriados. Neste cenário, não existe um caminho de perda zero entre uma solução AdamW e uma solução Muon; qualquer caminho de conexão deve incorrer em uma barreira de perda provável (pelo menos $1/2$ para perda quadrática).

3. Transições Espectrais Empíricas

Experimentos no GPT-2 revelam comportamentos espectrais distintos:

• Caminhos do Mesmo Otimizador: Interpolar entre dois modelos treinados com o mesmo otimizador (por exemplo, AdamW-AdamW) preserva o espectro de valores singulares (por exemplo, AdamW retém outliers, Muon permanece isotrópico) e mantém baixa perda.
• Caminhos Cruzados entre Otimizadores: Interpolar entre diferentes otimizadores (por exemplo, AdamW-Muon) resulta em uma transição de fase espectral suave. O espectro evolui da assinatura do AdamW para a assinatura do Muon ao longo do caminho. Embora a perda permaneça relativamente baixa, os modelos intermediários exibem perfis espectrais distintos de qualquer um dos pontos finais.

4. Generalização Fora da Distribuição (OOD)

O artigo demonstra que caminhos de interpolação cruzada entre otimizadores podem melhorar a generalização OOD. Modelos amostrados ao longo do caminho AdamW-Muon exibem barreiras de perda negativas em conjuntos de dados OOD (desempenhando melhor do que a interpolação linear dos pontos finais), sugerindo que atravessar o espaço entre diferentes vieses de otimizadores produz modelos estruturalmente diversos com propriedades de generalização superiores.

Resultados e Significância

Resumo das Descobertas

• Estrutura Dependente do Otimizador: A paisagem de perda não é um único aglomerado conectado de soluções de baixa perda; em vez disso, contém "bacias" ou regiões específicas do otimizador definidas pela regularização implícita.
• Conectividade é Condicional: Enquanto soluções do mesmo otimizador são conectadas em redes largas, diferentes otimizadores podem convergir para componentes desconectados em configurações de largura finita, separados por barreiras de perda.
• Identificação por Impressão Digital Espectral: O espectro de valores singulares serve como um proxy robusto para a região induzida pelo otimizador. Caminhos do mesmo otimizador preservam essa impressão digital; caminhos cruzados entre otimizadores atravessam uma transição.

Significância Reivindicada

O artigo afirma revelar estrutura dependente do otimizador que é invisível para a literatura clássica de conectividade de modos. Ao refinar a definição de conectividade de modos para levar em conta o viés implícito, os autores mostram que:

1. A escolha do otimizador molda fundamentalmente a topologia do espaço de soluções alcançável.
2. A interpolação cruzada entre otimizadores é um mecanismo viável para fusão de modelos que acessa regiões diversas do espaço de soluções, potencialmente melhorando propriedades downstream como quantização e generalização.
3. Garantias teóricas para conectividade devem agora considerar o regularizador específico induzido pelo otimizador, e não apenas a arquitetura da rede.

O trabalho preenche a lacuna entre a análise teórica de viés implícito e a fusão prática de modelos, sugerindo que o "melhor" caminho entre modelos pode depender de atravessar os limites de diferentes regularizações induzidas por otimizadores.