Resumen Técnico: Cálculo de Optimizadores Geométrico–No Geométricos

Planteamiento del Problema

Las descripciones actuales de los optimizadores basados en gradientes (por ejemplo, Adam, Shampoo, K-FAC) suelen confundir roles algorítmicos distintos. Mezclan la definición de una geometría de descenso (mapeo de gradientes a direcciones) con mecanismos de recolección de información, gestión de memoria, control del tamaño de paso, inyección de ruido, modificación de objetivos y discretización. Esta confusión dificulta auditar si una dirección de actualización específica se explica genuinamente mediante un precondicionador geométrico o si depende de mecanismos residuales como el momentum, la proyección o la estocasticidad. Además, existe una falta de lenguaje formal para descomponer los métodos de gradiente "alcanzables" bajo restricciones explícitas respecto al acceso al oráculo, presupuestos de memoria y clases de estado.

El artículo aborda la siguiente pregunta: Dado una clase de oráculo, un presupuesto, una clase de estado y reglas admisibles, ¿pueden los métodos de gradiente alcanzables descomponerse en un módulo geométrico positivo y módulos no geométricos estructurados de manera que expongan brechas de expresión, presupuestos de mecanismos y compromisos de diseño de optimizadores?

Metodología: El Cálculo de Optimizadores Geométrico–No Geométricos

Los autores proponen un lenguaje modular, el Cálculo de Optimizadores Geométrico–No Geométricos, que separa los componentes del optimizador en dos categorías distintas:

1. El Módulo Geométrico

Este módulo consiste en una familia de cómetrics positivos $\mathcal{P}_F(\theta)$. Mapea covectores (gradientes) a direcciones de descenso en el espacio de parámetros.

• Formalismo: Para un covector $\alpha_\theta = df_\theta$, la dirección de descenso geométrica es $u_{geo} = -P_\theta \alpha_\theta$, donde $P_\theta \succ 0$.
• Familias: Esto incluye matrices SPD completas, matrices diagonales, diagonales por bloques, factorizadas por Kronecker, de bajo rango o familias de aproximación de curvatura (proxy curvature).

2. Los Módulos No Geométricos

Los mecanismos restantes se dividen en siete módulos explícitos:

• Información: Estimaciones de gradiente, mini-batches, aproximaciones de curvatura y sondas de producto Hessiano-vector.
• Memoria: Momentum, búsqueda anticipada de Nesterov (Nesterov lookahead), pares secantes y subespacios históricos.
• Control: Tasas de aprendizaje, amortiguación (damping), regiones de confianza, búsqueda de línea y cronogramas (schedules).
• Operador: Proyecciones, mapas proximales, recorte (clipping), normalización y decaimiento de peso desacoplado.
• Ruido: Ruido de muestreo explícito, perturbaciones de Langevin y ruido inducido por dropout.
• Objetivo: Objetivos regularizados, suavizados o de sustitución (surrogate) que difieren del original $f$.
• Discretización: Pasos de Euler/implícitos, precisión finita y raíces de matrices aproximadas.

3. Auditoría y Descomposición

El cálculo emplea un orden de auditoría canónico para descomponer un optimizador real:

1. Fijar el objetivo objetivo $f_k$ y el covector visible $\tilde{g}_k$.
2. Dentro de la familia declarada $\mathcal{F}$, elegir $P_k$ para explicar mejor la dirección observada mediante geometría positiva.
3. Atribuir la escala y la amortiguación al Control.
4. Atribuir el residuo restante a Memoria, Operador, Ruido, Objetivo o Discretización.

Contribuciones Clave

1. Teoremas de Expresividad de Dirección

El artículo demuestra que la geometría de definición positiva completa expresa exactamente el conjunto de direcciones de descenso estricto lejos de los puntos críticos.

• Teorema: Para un gradiente no nulo $g$ y una dirección $u$, existe un $P$ positivo definido tal que $u = -Pg$ si y solo si $g^\top u < 0$.
• Implicación: Cualquier actualización que no sea una dirección de descenso estricta (por ejemplo, pasos neutros o ascendentes causados por el momentum) o cualquier movimiento en un punto crítico ($g=0$) debe originarse en un módulo no geométrico.

2. Residuales de Dirección Restringida

Para optimizadores implementables que utilizan familias restringidas (por ejemplo, diagonales o por bloques), los autores definen el residual de dirección restringida:
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• Esto mide qué parte de una actualización no está explicada por la geometría elegida.
• El artículo deriva condiciones de expresividad exactas para geometrías diagonales y por bloques, mostrando que la geometría diagonal es dependiente de las coordenadas y falla en explicar direcciones donde los signos de $g_i$ y $u_i$ no se alinean.

3. Marco de Diagnóstico (Los Cuatro Cuadrantes)

Los autores separan dos diagnósticos:

1. Alcanzabilidad de la Curvatura: Mide qué tan bien puede una familia manejar el número de condición de la Hessiana.
2. Residual de Dirección: Mide qué tan bien la familia explica la dirección de actualización real.
   Estos forman una herramienta de diagnóstico de cuatro cuadrantes para distinguir entre precondicionamiento geométrico, efectos de memoria, ruido y modificaciones del objetivo.

4. Complejidad de Residual a Nivel de Trayectoria

Más allá del análisis puntual, el artículo define la complejidad de residual a nivel de trayectoria. Esto pregunta si toda una traza de entrenamiento puede explicarse mediante un camino coherente de precondicionadores con variaciones geométricas acotadas.

• Introduce una brecha de coherencia para medir el costo de mantener la consistencia temporal en la explicación geométrica.
• Esto evita que familias ricas expliquen cada paso mediante matrices no relacionadas o singulares.

5. Formulación de Optimización de Pareto

El diseño de optimizadores se replantea no como la búsqueda de un único "mejor" orden, sino como una optimización de Pareto restringida sobre presupuestos de módulos.

• Los diseñadores deben equilibrar el rendimiento contra los presupuestos de geometría (por ejemplo, longitud de métrica invariante de la afinidad), información (llamadas al gradiente), memoria y comunicación.
• El artículo demuestra una monotonicidad de clase presupuestada: aunque la geometría de SPD completo es un superconjunto de expresión de la geometría restringida, el óptimo factible según el presupuesto puede favorecer una familia más económica y restringida.

Resultados y Prototipos

El artículo incluye prototipos de diagnóstico para demostrar el lenguaje, declarando explícitamente que estos no son afirmaciones de rendimiento de vanguardia a gran escala.

1. Sonda de Métrica Completa (Cuadráticas Deterministas): Un prototipo utilizando métricas inversas SPD completas (reconstruidas mediante sondas de coordenadas) resuelve benchmarks cuadráticos deterministas con precisión numérica, validando el "envolvente de expresión" de la geometría completa.
2. Variantes de Krylov e Híbridas: Se probaron una variante de subespacio de Krylov y un híbrido de selección de residual de tipo BFGS. Los resultados mostraron que los presupuestos de información limitados y las reglas de selección de residual impactan significativamente el rendimiento, a menudo impidiendo que las geometrías restringidas igualen las capacidades de la geometría completa.
3. Candidato Estilo Muon: Se auditó un prototipo que combina la ortogonalización de matrices para tensores y AdamW para vectores.
   • En un subconjunto pequeño de MNIST, alcanzó un ~77.0% de precisión frente a un ~72.6% de AdamW.
   • La auditoría reveló que la ortogonalización de Newton–Schulz actúa como un mecanismo de operador de matriz/memoria en lugar de un puro cómetrico positivo aplicado al gradiente actual.
4. Auditorías de Traza: El cálculo se aplicó a trazas cortas de entrenamiento de AdamW, SGD/Nesterov y el candidato estilo Muon.
   • Hallazgo: SGD/Nesterov mostró fuertes explicaciones geométricas diagonales puntuales pero una gran "brecha de coherencia" (requiriendo métricas que cambian rápidamente). AdamW y el candidato Muon mostraron residuales brutos más bajos y brechas de coherencia menores, sugiriendo sombras geométricas más estables.

Significado y Reivindicaciones

El artículo se posiciona como un manuscrito de teoría y lenguaje de benchmarking. Su significado principal radica en:

• Proveer un Lenguaje de Auditoría Formal: Ofrece un marco riguroso para separar la "geometría" de la "ingeniería" en los optimizadores, permitiendo a los investigadores cuantificar cuánto de una actualización es explicable geométricamente frente a cuánto depende de la memoria, el ruido o las transformaciones del objetivo.
• Redefinir el Diseño de Optimizadores: Desplaza el enfoque de buscar un optimizador universal hacia la resolución de un problema de optimización de Pareto sobre presupuestos explícitos de recursos (cómputo, memoria, llamadas al oráculo).
• Clarificar Límites: Establece que la geometría de definición positiva completa es un "envolvente de expresión" que captura estrictamente las direcciones de descenso, mientras que todos los demás comportamientos (momentum, proyección, etc.) son mecanismos estructuralmente distintos y no geométricos.

Los autores declaran explícitamente que el artículo no pretende alcanzar el estado del arte a gran escala. Los resultados experimentales son de pequeña escala y diagnósticos, destinados a ilustrar la utilidad del cálculo para atribuir el comportamiento del optimizador en lugar de competir con baselines ajustados como AdamW, Lion o Shampoo en benchmarks modernos de visión o lenguaje.