🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

Este artigo demonstra que a falha do Adam em recuperar soluções de baixo posto em modelos fatorados decorre de sua falta de equivariância de calibre, uma propriedade possuída pelo gradiente descendente e outros otimizadores de escalar compartilhado que preserva o viés implícito para interpolantes de baixo posto.

Autores originais: Devender Singh

Publicado 2026-08-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Devender Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça gigante e bagunçado onde as peças são números organizados em uma grade. No mundo da inteligência artificial, isso é chamado de "fatoração de matriz". Você tem uma imagem enorme e complicada (os dados) e quer decompô-la em dois montes menores e mais simples de cartas que, quando multiplicados, recriam a imagem original. O objetivo é encontrar os montes mais simples possíveis que ainda se encaixem perfeitamente na imagem. Isso é importante porque soluções mais simples geralmente funcionam melhor no mundo real, evitando a armadilha de memorizar o ruído em vez de aprender padrões.

Para resolver esse quebra-cabeça, os computadores usam um método chamado "gradiente descendente", que é como um caminhante tentando encontrar o fundo de um vale, sempre dando passos para baixo. Por muito tempo, os cientistas notaram que, se você começar com cartas muito pequenas, esse caminhante naturalmente encontra a solução mais simples. No entanto, um caminhante mais rápido chamado "Adam" (uma ferramenta popular em IA) frequentemente se perde, encontrando uma solução complicada e bagunçada mesmo quando existe uma solução simples. A grande questão tem sido: por que o caminhante rápido falha em encontrar o caminho simples, e podemos consertar isso sem torná-lo lento?

Este artigo, intitulado "A Perda Não Vê a Base, Mas o Adam Vê", investiga por que isso acontece. O autor descobriu que o problema não é apenas velocidade; é sobre como o caminhante vê o mundo. O quebra-cabeça tem uma simetria oculta: você pode rotacionar seus montes de cartas de muitas maneiras diferentes, e a imagem final permanece exatamente a mesma. Pense nisso como girar um globo; os continentes se movem, mas o mapa continua o mesmo. O caminhante tradicional (Gradiente Descendente) ignora a rotação específica e apenas olha para a forma do vale, encontrando naturalmente a solução mais simples. Mas o caminhante rápido (Adam) se distrai com a rotação específica das cartas. Ele trata uma direção como "especial" e outra como "diferente", embora sejam matematicamente idênticas. Essa distração faz com que ele escolha uma solução complicada e de alto posto em vez da solução simples e de baixo posto.

O autor provou que qualquer otimizador (uma ferramenta para resolver o quebra-cabeça) que respeite essa simetria de rotação encontrará naturalmente a solução simples, enquanto aqueles que quebram a simetria ficarão presos em soluções complexas. Eles testaram nove otimizadores diferentes e encontraram uma divisão clara: os que "respeitam a simetria" (como o Gradiente Descendente, Muon e uma versão modificada do Adam) encontraram soluções com erros tão baixos quanto 0,000006, enquanto os que "quebram a simetria" (como o Adam padrão e o RMSProp) tiveram erros acima de 0,42 — uma diferença massiva.

Para provar que não foi apenas uma coincidência, eles construíram um "dial" que muda suavemente o Adam de seu modo caótico, que odeia rotações, para um modo amigável à rotação. Conforme giravam o dial, a solução tornava-se mais simples e precisa, mostrando que a maneira específica como o Adam olha para os dados é a causa exata do problema. Eles até testaram isso em dados do mundo real, como imagens hiperespectrais da Terra, e descobriram que os métodos amigáveis à rotação reduziram os erros em cerca de 44% em comparação ao Adam padrão.

Curiosamente, o artigo também descobriu que ser "amigável à rotação" nem sempre é uma solução mágica. Se o quebra-cabeça em si for bagunçado e tiver muito ruído aleatório (uma "cauda espectral"), o caminhante super-rápido e amigável à rotação chamado Muon às vezes fica ansioso demais e se ajusta ao ruído, enquanto o caminhante mais lento e constante (Gradiente Descendente) se sai melhor. Portanto, a melhor ferramenta depende da natureza específica do quebra-cabeça.

Finalmente, o autor observou como isso afeta os modelos de IA modernos chamados Transformers (os cérebros por trás dos chatbots). Eles descobriram que, se você começar dois modelos de IA idênticos com a mesma matemática, mas apenas rotacionar suas cartas internas de forma diferente, o otimizador Adam padrão faz com que eles se comportem de maneira completamente diferente após apenas um passo. Eles acabam com estruturas internas completamente diferentes, embora tenham começado como a mesma função. Isso significa que a escolha do otimizador não é apenas um detalhe de ajuste; ela decide fundamentalmente qual versão da solução a IA aprende. O artigo conclui que, para obter os resultados mais simples e melhores, precisamos de otimizadores que respeitem as simetrias ocultas da matemática, em vez de se distraírem com a maneira específica como organizamos os números.

Resumo Técnico: "A Perda Não Vê a Base, Mas o Adam Vê"

Definição do Problema
Sabe-se que o gradiente descendente (GD) em modelos fatorados ( $W = UV^\top$ ) exibe um viés implícito para soluções de baixo posto, frequentemente convergindo para interpolantes de norma nuclear mínima em tarefas de detecção de matrizes subdeterminadas. No entanto, otimizadores adaptativos como o Adam, apesar de alcançarem perdas de treinamento semelhantes, frequentemente falham em recuperar essas estruturas de baixo posto, gerando soluções com maior posto efetivo e pior generalização. Embora trabalhos recentes tenham identificado que métodos adaptativos são dependentes da base (sensíveis a rotações de coordenadas), o mecanismo específico pelo qual essa dependência de base quebra o viés de baixo posto em modelos fatorados ainda não foi caracterizado. Este artigo aborda a questão: Existe um critério para determinar se um otimizador preserva ou quebra o viés de baixo posto, e pode esse critério classificar métodos implantados por seu desempenho de recuperação?

Metodologia e Estrutura Teórica
O autor introduz a equivariância de gauge como o critério central para classificar otimizadores. A função de perda $L(U,V) = f(UV^\top)$ possui uma simetria de gauge: ela é invariante sob a transformação $(U,V) \mapsto (UQ, VQ)$ para qualquer matriz ortogonal $Q \in O(k)$ . Essa simetria implica que rotacionar as bases dos fatores latentes não altera as previsões do modelo.

Classificação de Regras de Atualização:
- Otimizadores Equivariantes: Um otimizador é gauge-equivariante se sua regra de atualização comuta com a transformação de gauge. O artigo prova que regras de atualização sem memória são equivariantes se, e somente se, assumem a forma de um pré-condicionador à esquerda determinado pelo Gram ( $\text{Gram-determined left preconditioner}$ ): $\Delta = H(GG^\top)G$ , onde $H$ depende apenas da matriz de Gram $GG^\top$ .
- Otimizadores Não-Equivariantes: Otimizadores que aplicam não-linearidades elemento a elemento fixas ao gradiente ou ao estado do otimizador na inicialização (ex: Adam padrão, RMSProp, Lion, SignSGD) quebram essa simetria. Especificamente, a adaptação do segundo momento coordenada a coordenada do Adam falha em comutar com rotações ortogonais, levando a um "defeito de primeiro passo" onde o produto da matriz $W$ muda imediatamente após a rotação da inicialização.
Teorema de Transferência:
O autor estabelece um teorema de transferência mostrando que otimizadores com um pré-condicionador escalar compartilhado (um único denominador escalar para todas as coordenadas) correspondem ao fluxo de gradiente sob uma parametrização de tempo reescalada. Consequentemente, resultados teóricos sobre o viés de baixo posto do fluxo de gradiente (ex: Gunasekar et al., 2017; Li et al., 2021) aplicam-se diretamente a esses métodos equivariantes.
Cronograma Espectral (Spectral Schedule):
Embora a equivariância seja necessária para acessar o manifold de baixo posto, ela não é suficiente para a recuperação de baixo posto. O comportamento específico dentro da classe equivariante é determinado pelo cronograma espectral (como os valores singulares crescem). Cronogramas de taxa igual agressivos (como o Muon) podem recuperar alvos de baixo posto exatos, mas podem falhar se o alvo possuir uma "cauda espectral" significativa (energia fora da parte de baixo posto), enquanto cronogramas gananciosos (como o GD) suprimem essas caudas.

Principais Contribuições e Experimentos

Comparação do "Zoológico de Otimizadores": O autor avaliou nove otimizadores em uma tarefa de detecção de matriz subdeterminada ( $40 \times 40$ , posto 3, $m = 2 \times \text{dof}$ ) até a interpolação total.
- Resultado: Uma separação clara emergiu. Métodos equivariantes (GD, Scalar-Adam, Muon, Shampoo) alcançaram erros de recuperação $\le 0,286$ . Métodos de coordenadas (Adam, RMSProp, Lion, SignSGD, Adafactor) falharam em atingir o atrator de baixo posto, com erros $\ge 0,42$ .
- Desempenho do Muon: O Muon alcançou recuperação quase exata (erro de $6,8 \times 10^{-6}$ ) em alvos de baixo posto puro, mas degradou rapidamente conforme a cauda espectral do alvo aumentava, cruzando para o desempenho do GD em aproximadamente 4% de energia da cauda.
O Experimento do "Dial" (Seletor): Para isolar a causa da falha do Adam, o autor construiu uma família de otimizadores de um parâmetro (Adam- $p$ ) que interpola entre o Adam padrão ( $p=1$ , coordenada a coordenada) e o Scalar-Adam ( $p=0$ , escalar compartilhado).
- Resultado: À medida que $p$ diminuía de 1 para 0, o erro de recuperação e o posto efetivo melhoravam monotonicamente. Isso confirmou que a anisotropia de coordenada a coordenada no pré-condicionador é o mecanismo específico que destrói o viés de baixo posto, independentemente de momentum ou adaptatividade.
Análise de Cabeças de Atenção: O artigo demonstra que cabeções de atenção individuais em transformers compartilham a mesma simetria de gauge ( $W_Q^\top W_K$ ).
- Resultado: Treinar duas cópias de um transformer gauge-equivalentes (mesma função, bases diferentes) com Adam fez com que elas divergissem estruturalmente após um único passo, resultando em uma distância de Frobenius relativa de 56% em seus invariantes de cabeça ( $W_Q^\top W_K$ ). Otimizadores equivariantes (SGD, Scalar-Adam) permaneceram indistinguíveis em precisão de máquina. O autor observa que, embora técnicas de alinhamento (como permutation re-basin) possam reconciliar o gauge, elas não podem reconciliar os próprios invariantes se estes divergirem; portanto, o treinamento dependente da base remove o acordo necessário para a fusão de modelos (model merging), pois nenhuma rotação por cabeça pode fechar a lacuna entre os invariantes divergentes.
Validação no Mundo Real: Em tarefas de completude de imagens hiperespectrais (Indian Pines, Pavia University) com densidade de amostragem equivalente:
- O GD obteve um erro de teste 43–44% menor do que o Adam em baixas densidades de amostragem, correspondendo a um posto efetivo significativamente menor.
- O erro de teste do Adam aumentava conforme ele se ajustava mais profundamente (sobreajustando a cauda espectral), enquanto o erro do GD diminuía.
Reparo de Algoritmo: O autor aplicou seu critério ao seu trabalho anterior, o FlowAdam. Eles identificaram que o corte de velocidade (velocity clipping) por coordenada quebrava a equivariância. Substituir isso por um corte de norma global restaurou o viés, melhorando o erro de recuperação em 37% e aproximando o método do desempenho do GD.

Significância e Alegações
O artigo afirma que a escolha da base não é um detalhe de ajuste, mas uma decisão fundamental sobre qual interpolante o otimizador selecionará.

Explicação Mecanística: Fornece um critério construtivo e testável (equivariância de gauge) para prever se um otimizador preservará o viés de baixo posto de modelos fatorados.
Limitações: O autor é modesto quanto ao escopo. O viés é leve e benéfico principalmente quando a regularização ótima é baixa e alinhada com a estrutura de baixo posto. Em regimes que exigem forte regularização ou onde a adaptação por coordenada é benéfica (ex: problemas rígidos em PINNs), métodos de coordenada a coordenada podem ainda superar os métodos equivariantes.
Não há Alegação de Novo Estado da Arte: O trabalho não defende um novo otimizador de última geração, mas oferece uma explicação mecanística para fenômenos observados, esclarecendo por que certos métodos (como o Adam) falham em recuperar estruturas de baixo posto em configurações específicas, enquanto outros (como o GD ou Muon) têm sucesso.

Em resumo, o artigo argumenta que "a perda não vê a base" (é invariante de gauge), mas "o Adam vê" (seus updates são dependentes da base), e essa dependência é a causa raiz de sua falha em selecionar interpolantes de baixo posto em modelos fatorados.

Mais como este