Resumo Técnico: Cálculo de Otimização Geométrico–Não Geométrico

Definição do Problema

As descrições atuais de otimizadores baseados em gradiente (ex: Adam, Shampoo, K-FAC) frequentemente confundem papéis algorítmicos distintos. Elas misturam a definição de uma geometria de descida (mapeamento de gradientes para direções) com mecanismos de coleta de informações, memória, controle de tamanho de passo, injeção de ruído, modificação de alvo e discretização. Essa confusão torna difícil auditar se uma direção de atualização específica é genuinamente explicada por um pré-condicionador geométrico ou se depende de mecanismos residuais como momento, projeção ou estocasticidade. Além disso, há uma falta de uma linguagem formal para decompor métodos de gradiente "alcançáveis" sob restrições explícitas relativas ao acesso ao oráculo, orçamentos de memória e classes de estado.

O artigo aborda a seguinte questão: Dado uma classe de oráculo, um orçamento, uma classe de estado e regras admissíveis, podem os métodos de gradiente alcançáveis ser decompostos em um módulo geométrico positivo e módulos não geométricos estruturados de forma a expor lacunas de expressão, orçamentos de mecanismo e trade-offs de design de otimizadores?

Metodologia: O Cálculo de Otimização Geométrico–Não Geométrico

Os autores propõem uma linguagem modular, o Cálculo de Otimização Geométrico–Não Geométrico, que separa os componentes do otimizador em duas categorias distintas:

1. O Módulo Geométrico

Este módulo consiste em uma família de cómetros positivos $\mathcal{P}_F(\theta)$. Ele mapeia covetores (gradientes) para direções de descida no espaço de parâmetros.

• Formalismo: Para um covetor $\alpha_\theta = df_\theta$, a direção de descida geométrica é $u_{geo} = -P_\theta \alpha_\theta$, onde $P_\theta \succ 0$.
• Famílias: Isso inclui matrizes SPD completas, matrizes diagonais, bloco-diagonais, fatoradas por Kronecker, de baixo posto ou famílias de proxies de curvatura.

2. Os Módulos Não Geométricos

Os mecanismos restantes são divididos em sete módulos explícitos:

• Informação: Estimativas de gradiente, mini-lotes (mini-batches), proxies de curvatura e sondagens de vetor-Hessiana.
• Memória: Momento, lookahead de Nesterov, pares secantes e subespaços históricos.
• Controle: Taxas de aprendizado, amortecimento (damping), regiões de confiança, busca de linha e cronogramas (schedules).
• Operador: Projeções, mapas proximais, clipping, normalização e decaimento de peso desacoplado.
• Ruído: Ruído de amostragem explícito, perturbações de Langevin e ruído induzido por dropout.
• Alvo: Objetivos regularizados, suavizados ou substitutos (surrogates) que diferem do $f$ original.
• Discretização: Passos de Euler/implícitos, precisão finita e raízes de matrizes aproximadas.

3. Auditoria e Decomposição

O cálculo emprega uma ordem de auditoria canônica para decompor um otimizador real:

1. Fixar o objetivo alvo $f_k$ e o covetor visível $\tilde{g}_k$.
2. Dentro da família declarada $\mathcal{F}$, escolher $P_k$ para melhor explicar a direção observada via geometria positiva.
3. Atribuir escala e amortecimento ao Controle.
4. Atribuir o resíduo restante à Memória, Operador, Ruído, Alvo ou Discretização.

Contribuições Principais

1. Teoremas de Expressividade de Direção

O artigo prova que a geometria positiva definida completa expressa exatamente o conjunto de direções de descida estrita longe de pontos críticos.

• Teorema: Para um gradiente não nulo $g$ e direção $u$, existe um $P$ positivo definido tal que $u = -Pg$ se, e somente se, $g^\top u < 0$.
• Implicação: Qualquer atualização que não seja uma direção de descida estrita (ex: passos neutros ou ascendentes causados por momento) ou qualquer movimento em um ponto crítico ($g=0$) deve originar-se de um módulo não geométrico.

2. Resíduos de Direção Restritos

Para otimizadores implementáveis usando famílias restritas (ex: diagonais ou de blocos), os autores definem o resíduo de direção restrita:
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• Isso mede o quanto de uma atualização é não explicada pela geometria escolhida.
• O artigo deriva condições exatas de expressividade para geometrias diagonais e de blocos, mostrando que a geometria diagonal é dependente de coordenadas e falha em explicar direções onde os sinais de $g_i$ e $u_i$ não se alinham.

3. Estrutura de Diagnóstico (Os Quatro Quadrantes)

Os autores separam dois diagnósticos:

1. Alcançabilidade de Curvatura: Mede o quão bem uma família pode lidar com o número de condição da Hessiana.
2. Resíduo de Direção: Mede o quão bem a família explica a direção de atualização real.
   Estes formam uma ferramenta de diagnóstico de quatro quadrantes para distinguir entre pré-condicionamento geométrico, efeitos de memória, ruído e modificações de alvo.

4. Complexidade de Resíduo em Nível de Trajetória

Indo além da análise pontual, o artigo define a complexidade de resíduo em nível de trajetória. Isso questiona se toda uma trilha de treinamento pode ser explicada por um caminho coerente de pré-condicionadores com variações geométricas limitadas.

• Introduz uma lacuna de coerência para medir o custo de manter a consistência temporal na explicação geométrica.
• Isso evita que famílias ricas expliquem cada passo via matrizes não relacionadas ou singulares.

5. Formulação de Otimização de Pareto

O design de otimizadores é reformulado não como a busca por uma única ordem "melhor", mas como uma otimização de Pareto restrita sobre orçamentos de módulos.

• Designers devem equilibrar performance contra orçamentos para geometria (ex: comprimento de métrica invariante à afinidade), informação (chamadas de gradiente), memória e comunicação.
• O artigo prova uma monotonicidade de classe orçada: embora a geometria SPD completa seja um superconjunto de expressão da geometria restrita, o ótimo factível pelo orçamento pode favorecer uma família restrita mais barata.

Resultados e Protótipos

O artigo inclui protótipos de diagnóstico para demonstrar a linguagem, declarando explicitamente que estes não são reivindicações de desempenho de estado da arte em benchmarks de larga escala.

1. Sonda de Métrica Completa (Quadráticas Determinísticas): Um protótipo usando inversas de métricas SPD completas (reconstruídas via sondagens de coordenadas) resolve benchmarks quadráticos determinísticos com precisão numérica, validando o "envelope de expressão" da geometria completa.
2. Variantes de Krylov e Híbridas: Uma variante de subespaço de Krylov e um híbrido BFGS de seleção de resíduo foram testados. Os resultados mostraram que orçamentos de informação limitados e regras de seleção de resíduo impactam significativamente o desempenho, muitas vezes impedindo que geometrias restritas alcancm as capacidades da geometria completa.
3. Candidato Estilo Muon: Um protótipo combinando ortogonalização de matriz (para tensores) e AdamW (para vetores) foi auditado.
   • Em um subconjunto pequeno de MNIST, alcançou ~77,0% de acurácia vs. ~72,6% para AdamW.
   • A auditoria revelou que a ortogonalização Newton–Schulz atua como um mecanismo de operador de matriz/memória, em vez de um puro cómetro positivo aplicado ao gradiente atual.
4. Auditorias de Trajetória: O cálculo foi aplicado a trajetórias curtas de treinamento de AdamW, SGD/Nesterov e o candidato estilo Muon.
   • Achado: SGD/Nesterov mostrou fortes explicações geométricas diagonais pontuais, mas uma grande "lacuna de coerência" (exigindo métricas que mudam rapidamente). AdamW e o candidato Muon mostraram resíduos brutos menores e lacunas de coerência menores, sugerando sombras geométricas mais estáveis.

Significância e Alegações

O artigo posiciona-se como um manuscrito de teoria e linguagem de benchmark. Sua principal significância reside em:

• Fornecer uma Linguagem de Auditoria Formal: Oferece um framework rigoroso para separar "geometria" de "engenharia" em otimizadores, permitindo que pesquisadores quantifiquem quanto de uma atualização é geometricamente explicável versus quanto depende de memória, ruído ou transformações de alvo.
• Redefinir o Design de Otimizadores: Desloca o foco da busca por um otimizador universal para a resolução de um problema de otimização de Pareto sobre orçamentos explícitos de recursos (computação, memória, chamadas de oráculo).
• Esclarecer Limites: Estabelece que a geometria positiva definida completa é um "envelope de expressão" que captura estritamente direções de descida, enquanto todos os outros comportamentos (momento, projeção, etc.) são mecanismos não geométricos estruturalmente distintos.

Os autores declaram explicitamente que o artigo não reivindica desempenho de estado da arte em larga escala. Os resultados experimentais são de pequena escala e diagnósticos, destinados a ilustrar a utilidade do cálculo para atribuir o comportamento do otimizador em vez de competir com baselines ajustadas como AdamW, Lion ou Shampoo em benchmarks modernos de visão ou linguagem.