🤖 machine learning

A Physical Response-and-Memory Model for Muon Optimization

Este artigo propõe um modelo de resposta e memória física para a dinâmica de treinamento que explica a eficácia do otimizador Muon e introduz o otimizador Bi-Maxwell, que utiliza um núcleo de memória de dupla escala temporal para alcançar uma convergência mais rápida em benchmarks de grandes modelos de linguagem.

Autores originais: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta e silenciosa arquitetura da inteligência artificial moderna, a tarefa mais cara e demorada não é o design do modelo em si, mas o ato de ensiná-lo. Para treinar um grande modelo de linguagem, engenheiros o alimentam com bilhões de palavras e ajustam suas configurações internas, conhecidas como pesos, para reduzir erros. Esse processo depende de uma ferramenta matemática chamada otimizador, que atua como a mão do professor, decidindo exatamente o quanto deslocar esses pesos após cada lição. Durante anos, os professores mais eficazes foram escolhidos por tentativa e erro, guiados pela intuição da engenharia em vez de uma compreensão profunda de por que funcionam. O objetivo é simples: com uma quantidade fixa de poder computacional, quão baixa pode ser a taxa de erro e quão rápido ela pode chegar lá? A resposta depende inteiramente das regras que o otimizador segue para transformar um erro em uma correção.

Um estudo recente de pesquisadores das Universidades de Fudan e Tongji oferece uma nova maneira de ver esse processo. Em vez de visualizar o treinamento de uma rede neural como uma série de cálculos abstratos, eles trataram a matriz de pesos da rede como um objeto físico com memória, muito parecido com um pedaço de metal ou um gel que responde à força. Eles propuseram que, quando a rede comete um erro, ela cria uma espécie de estresse interno, semelhante à tensão em uma mola esticada. O trabalho do otimizador é liberar esse estresse de forma eficiente. Ao aplicar as leis da física a este meio digital, os pesquisadores derivaram um novo conjunto de regras sobre como a rede deve aprender. Eles descobriram que a maneira mais eficaz de atualizar os pesos é mover-se em uma direção que dissipe esse estresse o mais rápido possível, respeitando um limite de segurança sobre o quanto a saída da rede pode mudar de uma só vez. Essa perspectiva física explicou por que um método específico, recentemente popular, chamado Muon, funciona tão bem, e revelou uma falha na forma como esse método lembra das lições passadas.

Os pesquisadores descobriram que a maneira padrão pela qual esses otimizadores lembram o passado é simples demais. Eles geralmente fazem a média de erros recentes usando uma escala de tempo única e uniforme, como se o material de que são feitos relaxasse sua tensão em apenas uma velocidade. No entanto, os pesquisadores argumentaram que materiais reais, e por extensão redes neurais complexas, possuem uma estrutura interna mais complicada. Eles possuem tanto reações locais rápidas quanto mudanças estruturais profundas e lentas. Para testar isso, eles substituíram a memória de velocidade única do otimizador padrão por uma nova versão que chamaram de Bi-Maxwell, que utiliza duas velocidades diferentes: uma rápida para capturar mudanças imediatas e uma lenta para manter padrões de longo prazo. Quando testaram essa nova abordagem em um benchmark público para treinamento de modelos de linguagem, os resultados foram imediatos e mensuráveis. O novo otimizador atingiu o nível alvo de precisão em 2.635 passos, superando o recorde anterior de 2.690 passos. Isso pode parecer uma diferença pequena, mas no mundo do treinamento de modelos massivos onde milhares de computadores operam por semanas, economizar mesmo algumas dezenas de passos traduz-se em economias significativas de tempo e energia.

Para garantir que essa melhoria não fosse uma coincidência, a equipe realizou uma série rigorosa de verificações. Eles mantiveram todas as outras partes do processo de treinamento exatamente iguais, alterando apenas o kernel de memória, a parte responsável por lembrar gradientes passados. Eles realizaram o experimento em diferentes tipos de hardware de computador e com diferentes pontos de partida aleatórios, e o novo otimizador superou consistentemente o antigo. Eles também investigaram por que a memória de duas velocidades funcionava melhor, medindo como as necessidades da rede mudavam ao longo do tempo. Descobriram que, no início do treinamento, a rede aprende rapidamente e precisa de uma memória curta para manter a agilidade. À medida que o treinamento progride, o aprendizado desacelera e a rede se beneficia de uma memória mais longa para suavizar o caminho. O otimizador de velocidade única não consegue se adaptar a essa mudança; ele está preso com uma configuração para toda a jornada. A versão de duas velocidades, no entanto, acomoda naturalmente tanto as reações rápidas necessárias no início quanto a memória profunda e constante necessária mais tarde.

O estudo também esclareceu o que o otimizador está realmente fazendo. Mostrou que a direção de atualização mais eficiente não é apenas um palpite aleatório, mas um caminho geométrico específico que maximiza a liberação do potencial de erro sem causar instabilidade na rede. Esta é a direção que o otimizador Muon utiliza, mas os pesquisadores forneceram o raciocínio físico de por que ela funciona: é o caminho de dissipação máxima de energia sob uma restrição de segurança. Além disso, demonstraram que a "memória" nesses sistemas não é apenas um truque matemático para suavizar o ruído, mas uma representação do estresse interno acumulado. Assim como um objeto físico leva tempo para se estabilizar após ser empurrado, a rede neural precisa de tempo para integrar as lições de seus erros. Ao tratar a rede como um meio responsivo com um espectro de tempos de relaxação, os pesquisadores foram capazes de projetar um otimizador que respeita o ritmo natural do aprendizado.

Este trabalho sugere que o futuro do treinamento de inteligência artificial pode residir em emprestar mais profundamente das ciências físicas. Ao visualizar o processo de aprendizado através da lente da ciência dos materiais e da termodinâmica, os pesquisadores foram capazes de ir além do tentativa e erro e derivar regras que são fundamentadas no comportamento fundamental do sistema. Eles não apenas encontraram uma maneira mais rápida de treinar um modelo; eles forneceram uma estrutura para entender por que certos métodos funcionam e como podem ser melhorados. O sucesso do otimizador Bi-Maxwell, que simplesmente adicionou uma segunda escala de tempo à memória, prova que mesmo mudanças pequenas e motivadas fisicamente podem gerar ganhos significativos. À medida que os modelos de linguagem crescem em tamanho e complexidade, a eficiência de seu treinamento torna-se cada vez mais crítica, e esta abordagem física oferece um caminho promissor para tornar esse treinamento mais rápido, mais estável e mais eficiente.

Resumo Técnico: Um Modelo de Resposta Física e Memória para a Otimização Muon

Declaração do Problema

O treinamento de grandes modelos de linguagem (LLMs) acarreta custos computacionais imensos, tornando a eficiência do processo de otimização crítica. A escolha do otimizador determina a velocidade de treinamento, a estababilidade e a perda final alcançável sob um orçamento de computação fixo. Enquanto otimizadores modernos como o Muon alcançaram desempenho de estado da arte ao semi-orthogonalizar a matriz de momentum, seu design tem sido impulsionado amplamente pela intuição de engenharia e benchmarking empírico, em vez de uma teoria física sistemática. Duas questões fundamentais permanecem sem resposta pela teoria existente:

Por que a direção semi-orthogonalizada (usada no Muon) funciona de forma eficaz?
Por quanto tempo o momentum deve realizar a média sobre gradientes passados? Atualmente, isso é determinado por uma única escala de tempo exponencial (um único tempo de relaxação), selecionada heuristicamente.

Metodologia: Um Modelo Físico de Treinamento

Os autores propõem um modelo físico tratando a matriz de pesos durante o treinamento como um meio responsivo com memória. Este framework deriva as regras de atualização a partir de princípios físicos em vez de seleção heurística.

1. Resposta Espacial: O Meio e a Direção de Atualização

A matriz de pesos $W$ é modelada como um meio responsivo linear onde entradas $x$ produzem saídas $y = Wx$ . O objetivo de treinamento é definido como um potencial de desajuste $\Phi$ (por exemplo, erro quadrático entre saída e alvo), análogo ao potencial de energia de uma mola.

Força Motriz: O gradiente do potencial de desajuste em relação aos pesos atua como uma força motriz conjugada $X = -\partial \Phi / \partial W$ .
Orçamento de Segurança do Lado da Saída: Os autores impõem uma restrição na perturbação do lado da saída. Especificamente, a taxa de mudança da saída $\dot{y} = Vx$ (onde $V$ é a velocidade de rearranjo estrutural) é limitada por um limite de ganho de saída $\epsilon$ para todas as direções de entrada.
Dissipação Máxima: O objetivo é maximizar a taxa de liberação de potencial ( $P = -\dot{\Phi}$ ) sujeito a este orçamento de saída.
Derivação da Semi-Orthogonalização: Ao decompor a força motriz em modos coletivos independentes (via Decomposição de Valores Singulares) e aplicar a restrição de ganho de saída, os autores provam que a velocidade de rearranjo ótima $V$ deve atualizar todos os modos acionados na mesma velocidade máxima segura. Isso resulta em uma matriz de velocidade proporcional ao fator polar ortogonal da força motriz. Isso fornece uma derivação física para a regra de atualização semi-orthogonal do Muon: é a resposta de dissipação máxima sob um orçamento de segurança do lado da saída.

2. Resposta Temporal: Tensão Interna e Memória

Os autores argumentam que a matriz de momentum representa a tensão interna acumulada pelo meio, em vez da inércia de uma partícula.

Relaxação de Tensão: Quando uma força externa (gradiente) é aplicada, a tensão interna não se ajusta instantaneamente; ela relaxa ao longo do tempo. A atualização padrão de momentum ( $M_t = \beta M_{t-1} + (1-\beta)X_t$ ) é identificada como uma equação de relaxação de primeira ordem (modelo de Maxwell) onde o coeficiente de momentum $\beta$ corresponde a um único tempo de relaxação $\tau$ .
Limitação de Escala de Tempo Única: Materiais reais (e redes neurais complexas) possuem múltiplos modos de rearranjo interno com diferentes tempos de relaxação. Um kernel de escala de tempo única força um compromisso: um $\tau$ curto permite uma resposta rápida, mas filtragem de memória pobre, enquanto um $\tau$ longo fornece memória profunda, mas resposta lenta a mudanças.
Modelo Bi-Maxwell: Para resolver isso, os autores propõem um kernel de duas escalas de tempo (Bi-Maxwell). Isso modela a tensão interna como uma superposição de um modo de relaxação rápido ( $\tau_f$ ) e um modo de relaxação lento ( $\tau_s$ ). A memória total é uma soma ponderada: $M_{BM} = w M_f + (1-w) M_s$ . Isso permite que o otimizador responda rapidamente a sinais persistentes (via modo rápido) enquanto retém memória estrutural de longo prazo (via modo lento).

Principais Contribuições

Derivação Física do Muon: O artigo deriva a direção de atualização semi-orthogonal do Muon a partir de primeiros princípios, identificando-a como a solução para um problema de otimização restrita (maximização da dissipação de potencial sob um orçamento de ganho de saída).
Interpretação Física do Momentum: O momentum é reinterpretado como a tensão interna de um meio viscoelástico. O artigo argumenta que a hipótese de escala de tempo única é uma "aproximação de polo único" de um espectro de relaxação mais amplo.
Otimizador Bi-Maxwell: Com base no modelo físico de duas escalas de tempo, os autores introduzem o otimizador Bi-Maxwell. Ele substitui o kernel de momentum de escala de tempo única do Muon por um kernel de duas escalas de tempo (modos rápido e lento), mantendo todos os outros componentes espaciais (ortogonalização de Newton-Schulz, etc.) inalterados.
Fenômeno de Envelhecimento no Treinamento: O artigo identifica que o "comprimento de memória ideal" não é estático, mas cresce conforme o treinamento progride (análogo ao envelhecimento físico em materiais vítreos). No início do treinamento, as direções do gradiente mudam rapidamente (exigindo memória curta); mais tarde, elas mudam lentamente (exigindo memória longa).

Resultados Experimentais

Os autores validam o modelo Bi-Maxwell no benchmark público modded-nanogpt (modelo GPT-2 de 124M de parâmetros) usando duas configurações: uma pilha "bare tuned-Muon" e uma "record stack" (incluindo SOAP, Tail-EMA e outros componentes avançados).

Ganho de Desempenho:
- Na pilha bare tuned-Muon, o otimizador Bi-Maxwell atingiu a perda de validação alvo (3.28) em 3210 passos, comparado a 3250 passos para a linha de base de polo único (uma melhoria de 40 passos).
- Na record stack (que detinha o recorde de estado da arte de 2690 passos até julho de 2026), o otimizador Bi-Maxwell atingiu o alvo em 2635 passos, quebrando o recorde existente por 55 passos.
- Esses resultados foram consistentes em múltiplas sementes aleatórias (n=8) e diferentes hardwares (GPUs A800 e H100).
Experimentos Controlados:
- Forma do Kernel vs. Idade Média: Experimentos mostraram que o ganho vem da própria forma de duas escalas de tempo, não meramente de aumentar a profundidade média de memória. Um kernel de polo único ajustado para a mesma idade média que o kernel Bi-Maxwell teve um desempenho significativamente inferior (cruzando 140 passos depois).
- Janela de Ativação: O modo lento não deve ser habilitado a partir do passo 0. O desempenho ideal foi alcançado quando o kernel de duas escalas de tempo foi ativado no passo 1000 ( $T_{on}=1000$ ), sugerindo que o meio precisa "envelhecer" antes que a memória lenta se torne benéfica.
- Sondas de Somente Leitura: Usando uma sonda de diagnóstico, os autores mediram o "comprimento de memória ideal" ( $n^*$ $n^{*}$ ) através de diferentes modos (classificados por força). Eles descobriram que:
  - O comprimento de memória ideal aumenta do início para o fim do treinamento.
  - Diferentes modos (fortes vs. fracos) exibem tendências opostas de preferência de memória dependendo do cronograma de taxa de aprendizado, confirmando que uma escala de tempo fixa única não pode satisfazer todos os modos simultaneamente.

Significância e Alegações

O artigo afirma fornecer a primeira teoria física sistemática conectando a regra de atualização espacial (semi-orthogonalização) e o kernel de memória temporal dos otimizadores modernos.

Unificação Teórica: Unifica a compreensão da eficiência espacial do Muon e o papel do momentum como relaxação de tensão interna.
Melhoria Algorítmica: Demonstra que substituir o kernel de memória com uma forma mínima de duas escalas de tempo (Bi-Maxwell) produz acelerações significativas e reproduzíveis em benchmarks públicos sem alterar a estrutura espacial central do otimizador.
Analogia Física: O trabalho traça um paralelo entre a dinâmica de treinamento e o "envelhecimento" de materiais vítreos, sugerindo que o comprimento de memória ideal é uma variável de estado que evolui com o estágio de treinamento.
Modéstia: Os autores observam que o modelo físico depende de suposições específicas (isotrópico, orçamento de saída de pior caso) e que os parâmetros do Bi-Maxwell (pesos e escalas de tempo) são atualmente aproximações estáticas. Eles reconhecem que a verdadeira lei constitutiva temporal pode depender do estado específico de treinamento e da força do modo, e que o Bi-Maxwell representa a "base estática de menor ordem" para esta realidade mais complexa.

Em resumo, o artigo argumenta que visualizar a matriz de pesos como um meio viscoelástico com um espectro de relaxação de múltiplas escalas fornece um caminho fundamentado para melhorar otimizadores, indo além do ajuste heurístico para um design baseado em princípios físicos.