🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

Este artículo demuestra que el fallo de Adam al no recuperar soluciones de bajo rango en modelos factorizados se deriva de su falta de equivariancia de calibre, una propiedad poseída por el descenso de gradiente y otros optimizadores de escalar compartido que preserva el sesgo implícito hacia interpolantes de bajo rango.

Autores originales: Devender Singh

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Devender Singh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas gigante y desordenado donde las piezas son números dispuestos en una cuadrícula. En el mundo de la inteligencia artificial, esto se llama "factorización de matrices". Tienes una imagen enorme y complicada (los datos) y quieres descomponerla en dos pilas de cartas más pequeñas y simples que, al multiplicarse, recreen la imagen original. El objetivo es encontrar las pilas más simples posibles que aún así encajen perfectamente con la imagen. Esto es importante porque las soluciones más simples suelen funcionar mejor en el mundo real, evitando la trampa de memorizar el ruido en lugar de aprender patrones.

Para resolver este rompecabezas, las computadoras usan un método llamado "descenso de gradiente", que es como un excursionista que intenta encontrar el fondo de un valle siempre dando pasos cuesta abajo. Durante mucho tiempo, los científicos notaron que si comienzas con cartas muy pequeñas, el excursionista encuentra naturalmente la solución más simple. Sin embargo, un excursionista más rápido llamado "Adam" (una herramienta popular en IA) a menudo se pierde, encontrando una solución complicada y desordenada incluso cuando existe una solución simple. La gran pregunta ha sido: ¿Por qué el excursionista rápido no logra encontrar el camino simple, y podemos arreglarlo sin hacerlo lento?

Este artículo, titulado "La pérdida no ve la base, pero Adam sí", investiga por qué sucede esto. El autor descubrió que el problema no es solo la velocidad; es sobre cómo el excursionista ve el mundo. El rompecabezas tiene una simetría oculta: puedes rotar tus pilas de cartas de muchas maneras diferentes, y la imagen final permanece exactamente igual. Piensa en ello como girar un globo terráqueo; los continentes se mueven, pero el mapa sigue siendo el mismo. El excursionista tradicional (Descenso de Gradiente) ignora la rotación específica y simplemente mira la forma del valle, encontrando naturalmente la solución más simple. Pero el excursionista rápido (Adam) se distrae con la rotación específica de las cartas. Trata una dirección como "especial" y otra como "diferente", aunque son matemáticamente idénticas. Esta distracción hace que elija una solución complicada y de alto rango en lugar de la solución simple y de bajo rango.

El autor demostró que cualquier optimizador (una herramienta para resolver el rompecabezas) que respete esta simetría de rotación encontrará naturalmente la solución simple, mientras que aquellos que rompan la simetría se quedarán estancados en soluciones complejas. Probaron nueve optimizadores diferentes y encontraron una división clara: los que "respetan la simetría" (como el Descenso de Gradiente, Muon y una versión modificada de Adam) encontraron soluciones con errores tan bajos como 0.000006, mientras que los que "rompen la simetría" (como el Adam estándar y RMSProp) tenían errores superiores a 0.42—una diferencia masiva.

Para demostrar que no fue una casualidad, construyeron un "dial" que cambia suavemente a Adam de su modo caótico y de odio a la rotación hacia un modo amigable con la rotación. A medida que giraban el dial, la solución se volvía más simple y precisa, mostrando que la forma específica en que Adam mira los datos es la causa exacta del problema. Incluso probaron esto con datos del mundo real, como imágenes hiperespectrales de la tierra, y encontraron que los métodos amigables con la rotación redujeron los errores en aproximadamente un 44% en comparación con el Adam estándar.

Curiosamente, el artículo también encontró que ser "amigable con la rotación" no siempre es un remedio mágico. Si el rompecabezas en sí es desordenado y tiene mucho ruido aleatorio (una "cola espectral"), el excursionista súper rápido y amigable con la rotación llamado Muon a veces se vuelve demasiado entusiasta y se ajusta al ruido, mientras que el excursionista más lento y constante (Descenso de Gradiente) lo hace mejor. Así que la mejor herramienta depende de la naturaleza específica del rompecabezas.

Finalmente, el autor analizó cómo esto afecta a los modelos de IA modernos llamados Transformers (los cerebros detrás de los chatbots). Encontró que si se comienza con dos modelos de IA idénticos con la misma matemática pero simplemente rotando sus cartas internas de manera diferente, el optimizador Adam estándar hace que se comporten de manera completamente distinta después de un solo paso. Terminan con estructuras internas completamente diferentes, a pesar de haber comenzado como la misma función. Esto significa que la elección del optimizador no es solo un detalle de ajuste; determina fundamentalmente qué versión de la solución aprende la IA. El artículo concluye que, para obtener los mejores y más simples resultados, necesitamos optimizadores que respeten las simetrías ocultas de las matemáticas, en lugar de distraerse con la forma específica en que organizamos los números.

Resumen Técnico: "La pérdida no ve la base, pero Adam sí"

Declaración del Problema
Se sabe que el descenso de gradiente (GD) en modelos factorizados ( $W = UV^\top$ ) exhibe un sesgo implícito hacia soluciones de bajo rango, convergiendo a menudo a interpolantes de norma nuclear mínima en tareas de detección de matrices subdeterminadas. Sin embargo, los optimizadores adaptativos como Adam, a pesar de lograr pérdidas de entrenamiento similares, frecuentemente fallan en recuperar estas estructuras de bajo rango, produciendo soluciones con un rango efectivo mayor y una generalización peor. Si bien trabajos recientes han identificado que los métodos adaptativos son dependientes de la base (sensibles a las rotaciones de coordenadas), el mecanismo específico por el cual esta dependencia rompe el sesgo de bajo rango en modelos factorizados no ha sido caracterizado. Este artículo aborda la pregunta: ¿Existe un criterio para determinar si un optimizador preserva o rompe el sesgo de bajo rango, y puede este criterio clasificar los métodos desplegados según su rendimiento de recuperación?

Metodología y Marco Teórico
El autor introduce la equivariancia de gauge como el criterio central para clasificar los optimizadores. La función de pérdida $L(U,V) = f(UV^\top)$ posee una simetría de gauge: es invariante bajo la transformación $(U,V) \mapsto (UQ, VQ)$ para cualquier matriz ortogonal $Q \in O(k)$ . Esta simetría implica que rotar las bases de los factores latentes no altera las predicciones del modelo.

Clasificación de Reglas de Actualización:
- Optimizadores Equivariantes: Un optimizador es equivariante de gauge si su regla de actualización conmuta con la transformación de gauge. El artículo demuestra que las reglas de actualización sin memoria son equivariantes si y solo si toman la forma de un precondicionador izquierdo determinado por el Gram ( $\Delta = H(GG^\top)G$ ), donde $H$ depende únicamente de la matriz de Gram $GG^\top$ .
- Optimizadores No Equivariantes: Los optimizadores que aplican no linealidades entrada por entrada fijas al gradiente o al estado del optimizador en la inicialización (por ejemplo, Adam estándar, RMSProp, Lion, SignSGD) rompen esta simetría. Específicamente, la adaptación del segundo momento por coordenada de Adam no conmuta con las rotaciones ortogonales, lo que conduce a un "defecto del primer paso" donde la matriz producto $W$ cambia inmediatamente tras rotar la inicialización.
Teorema de Transferencia:
El autor establece un teorema de transferencia que muestra que los optimizadores con un precondicionador escalar compartido (un único escalar denominador para todas las coordenadas) corresponden a un flujo de gradiente bajo una parametrización de tiempo reescalada. En consecuencia, los resultados teóricos sobre el sesgo de bajo rango del flujo de gradiente (por ejemplo, Gunasekar et al., 2017; Li et al., 2021) se aplican directamente a estos métodos equivariantes.
Programación Espectral (Spectral Schedule):
Si bien la equivariancia es necesaria para acceder a la variedad de bajo rango, no es suficiente para la recuperación de bajo rango. El comportamiento específico dentro de la clase equivariante está determinado por la programación espectral (cómo crecen los valores singulares). Las programaciones de tasa igual agresivas (como Muon) pueden recuperar objetivos de bajo rango exactos pero pueden fallar si el objetivo tiene una "cola espectral" significativa (energía fuera de la parte de bajo rango), mientras que las programaciones codiciosas (como GD) suprimen estas colas.

Contribuciones Claves y Experimentos

Comparación del Zoo de Optimizadores: El autor evaluó nueve optimizadores en una tarea de detección de matrices subdeterminadas ( $40 \times 40$ , rango 3, $m = 2 \times \text{dof}$ ) hasta la interpolación completa.
- Resultado: Surgió una separación clara. Los métodos equivariantes (GD, Scalar-Adam, Muon, Shampoo) lograron errores de recuperación $\le 0.286$ . Los métodos por coordenada (Adam, RMSProp, Lion, SignSGD, Adafactor) fallaron en alcanzar el atractor de bajo rango, con errores $\ge 0.42$ .
- Rendimiento de Muon: Muon logró una recuperación casi exacta (error de $6.8 \times 10^{-6}$ ) en objetivos de bajo rango puro, pero se degradó rápidamente a medida que aumentaba la cola espectral del objetivo, cruzándose con el rendimiento de GD aproximadamente al 4% de energía de la cola.
El Experimento del "Dial": Para aislar la causa del fallo de Adam, el autor construyó una familia de optimizadores de un solo parámetro (Adam- $p$ ) que interpola entre Adam estándar ( $p=1$ , por coordenada) y Scalar-Adam ( $p=0$ , escalar compartido).
- Resultado: A medida que $p$ disminuía de 1 a 0, el error de recuperación y el rango efectivo mejoraban monótonamente. Esto confirmó que la anisotropía por coordenada en el precondicionador es el mecanismo específico que destruye el sesgo de bajo rango, independientemente del momentum o la adaptatividad.
Análisis de Cabezales de Atención: El artículo demuestra que los cabezales de atención individuales en los transformadores comparten la misma simetría de gauge ( $W_Q^\top W_K$ ).
- Resultado: Entrenar dos copias de un transformador con el mismo gauge (función idéntica, bases diferentes) con Adam causó que divergieran estructuralmente tras un solo paso, resultando en una distancia de Frobenius relativa del 56% en sus invariantes de cabezal ( $W_Q^\top W_K$ ). Los optimizadores equivariantes (SGD, Scalar-Adam) permanecieron indistinguibles con precisión de máquina. El autor señala que, si bien las técnicas de alineación (como la permutación re-basin) pueden reconciliar el gauge, no pueden reconciliar los invariantes mismos si estos difieren; por lo tanto, el entrenamiento dependiente de la base elimina el acuerdo requerido para la fusión de modelos, ya que ninguna rotación por cabezal puede cerrar la brecha entre los invariantes divergentes.
Validación en el Mundo Real: En tareas de completado de imágenes hiperespectrales (Indian Pines, Pavia University) con pérdida de entrenamiento equiparada:
- GD logró un error de prueba un 43–44% menor que Adam en densidades de muestreo bajas, lo que corresponde a un rango efectivo significativamente menor.
- El error de prueba de Adam aumentó a medida que se ajustaba más profundamente (sobreajustando la cola espectral), mientras que el error de GD disminuyó.
Reparación de Algoritmo: El autor aplicó su criterio a su trabajo anterior, FlowAdam. Identificaron que el recorte de velocidad por coordenada rompía la equivariancia. Reemplazar esto con un recorte de norma global restauró el sesgo, mejorando el error de recuperación en un 37% y acercando el método al rendimiento de GD.

Significado y Reivindicaciones
El artículo sostiene que la elección de la base no es un detalle de ajuste, sino una decisión fundamental sobre qué interpolante selecciona el optimizador.

Explicación Mecanicista: Proporciona un criterio constructivo y testeable (equivariancia de gauge) para predecir si un optimizador preservará el sesgo de bajo rango de los modelos factorizados.
Limitaciones: El autor es modesto respecto al alcance. El sesgo es leve y beneficioso principalmente cuando la regularización óptima es baja y está alineada con la estructura de bajo rango. En regímenes que requieren una fuerte regularización o donde la adaptación por coordenada es beneficiosa (por ejemplo, problemas rígidos en PINNs), los métodos por coordenada pueden seguir superando a los equivariantes.
Sin Reivindicación de Nuevo Estado del Arte: El trabajo no aboga por un nuevo optimizador de vanguardia, sino que ofrece una explicación mecanicista para fenómenos observados, aclarando por qué ciertos métodos (como Adam) fallan en recuperar estructuras de bajo rango en configuraciones específicas mientras que otros (como GD o Muon) tienen éxito.

En resumen, el artículo argumenta que "la pérdida no ve la base" (es invariante de gauge), pero "Adam sí la ve" (sus actualizaciones dependen de la base), y esta dependencia es la raíz de su fracaso para seleccionar interpolantes de bajo rango en modelos factorizados.

Más como este