🤖 machine learning

A Physical Response-and-Memory Model for Muon Optimization

Este artículo propone un modelo físico de respuesta y memoria para la dinámica de entrenamiento que explica la eficacia del optimizador Muon e introduce el optimizador Bi-Maxwell, el cual utiliza un núcleo de memoria de doble escala temporal para lograr una convergencia más rápida en los benchmarks de modelos de lenguaje de gran tamaño.

Autores originales: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En la vasta y silenciosa arquitectura de la inteligencia artificial moderna, la tarea más costosa y lenta no es el diseño del modelo en sí, sino el acto de enseñarle. Para entrenar un modelo de lenguaje de gran tamaño, los ingenieros lo alimentan con miles de millones de palabras y ajustan sus configuraciones internas, conocidas como pesos, para reducir los errores. Este proceso depende de una herramienta matemática llamada optimizador, que actúa como la mano del maestro, decidiendo exactamente cuánto desplazar esos pesos después de cada lección. Durante años, los maestros más eficaces se han elegido mediante el ensayo y error, guiados por la intuición de la ingeniería en lugar de por una comprensión profunda de por qué funcionan. El objetivo es sencillo: con una cantidad fija de potencia de cómputo, ¿qué tan bajo puede llegar la tasa de error y qué tan rápido puede llegar allí? La respuesta depende enteramente de las reglas que sigue el optimizador para convertir un error en una corrección.

Un estudio reciente realizado por investigadores de la Universidad de Fudan y la Universidad de Tongji ofrece una nueva forma de ver este proceso. En lugar de ver el entrenamiento de una red neuronal como una serie de cálculos abstractos, trataron la matriz de pesos de la red como un objeto físico con memoria, muy parecido a una pieza de metal o un gel que responde a la fuerza. Propusieron que cuando la red comete un error, crea una especie de estrés interno, similar a la tensión en un resorte estirado. El trabajo del optimizador es liberar este estrés de manera eficiente. Al aplicar las leyes de la física a este medio digital, los investigadores derivaron un nuevo conjunto de reglas sobre cómo debería aprender la red. Descubrieron que la forma más eficaz de actualizar los pesos es moverse en una dirección que disipe este estrés lo más rápido posible, respetando al mismo tiempo un límite de seguridad sobre cuánto puede cambiar la salida de la red a la vez. Esta perspectiva física explicó por qué un método específico, recientemente popular llamado Muon, funciona tan bien, y reveló una falla en la forma en que ese método recuerda las lecciones pasadas.

Los investigadores descubrieron que la forma estándar en que estos optimizadores recuerdan el pasado es demasiado simple. Por lo general, promedian los errores recientes utilizando una única escala de tiempo uniforme, como si el material del que están hechos se relajara su tensión a una sola velocidad. Sin embargo, los investigadores argumentaron que los materiales reales, y por extensión las redes neuronales complejas, tienen una estructura interna más complicada. Poseen tanto reacciones locales rápidas como cambios estructurales lentos y profundos. Para probar esto, reemplazaron la memoria de una sola velocidad del optimizador estándar con una nueva versión que llamaron Bi-Maxwell, la cual utiliza dos velocidades diferentes: una rápida para captar los cambios inmediatos y una lenta para retener los patrones a largo plazo. Cuando probaron este nuevo enfoque en un benchmark público para el entrenamiento de modelos de lenguaje, los resultados fueron inmediatos y mensurables. El nuevo optimizador alcanzó el nivel de precisión objetivo en 2,635 pasos, superando el récord anterior de 2,690 pasos. Esto puede parecer una diferencia pequeña, pero en el mundo del entrenamiento de modelos masivos donde miles de computadoras funcionan durante semanas, ahorrar incluso unas pocas docenas de pasos se traduce en ahorros significativos de tiempo y energía.

Para asegurar que esta mejora no fuera una casualidad, el equipo realizó una serie rigurosa de comprobaciones. Mantuvieron cada otra parte del proceso de entrenamiento exactamente igual, cambiando solo el núcleo de memoria, la parte responsable de recordar los gradientes pasados. Realizaron el experimento en diferentes tipos de hardware informático y con diferentes puntos de partida aleatorios, y el nuevo optimizador superó consistentemente al antiguo. También investigaron por qué la memoria de dos velocidades funcionaba mejor midiendo cómo cambiaban las necesidades de la red a lo largo del tiempo. Descubrieron que, al principio del entrenamiento, la red aprende rápidamente y necesita una memoria corta para mantenerse ágil. A medida que el entrenamiento progresa, el aprendizaje se ralentiza y la red se beneficia de una memoria más larga para suavizar el camino. El optimizador de una sola velocidad no puede adaptarse a este cambio; está atrapado con una sola configuración para todo el viaje. La versión de dos velocidades, sin embargo, acomoda naturalmente tanto las reacciones rápidas necesarias al inicio como la memoria profunda y constante requerida más tarde.

El estudio también aclaró qué es lo que el optimizador está haciendo realmente. Mostró que la dirección de actualización más eficiente no es solo un intento al azar, sino una trayectoria geométrica específica que maximiza la liberación del potencial de error sin causar que la red se vuelva inestable. Esta dirección es la que utiliza el optimizador Muon, pero los investigadores proporcionaron el razonamiento físico de por qué funciona: es la trayectoria de máxima disipación de energía bajo una restricción de seguridad. Además, demostraron que la "memoria" en estos sistemas no es solo un truco matemático para suavizar el ruido, sino una representación del estrés interno acumulado. Así como un objeto físico tarda tiempo en asentarse después de ser empujado, la red neuronal necesita tiempo para integrar las lecciones de sus errores. Al tratar la red como un medio sensible con un espectro de tiempos de relajación, los investigadores pudieron diseñar un optimizador que respeta el ritmo natural del aprendizaje.

Este trabajo sugiere que el futuro del entrenamiento de la inteligencia artificial puede residir en tomar prestado más profundamente de las ciencias físicas. Al observar el proceso de aprendizaje a través del lente de la ciencia de materiales y la termodinámica, los investigadores pudieron ir más allá del ensayo y error y derivar reglas que están fundamentadas en el comportamiento fundamental del sistema. No solo encontraron una forma más rápida de entrenar un modelo; proporcionaron un marco para comprender por qué ciertos métodos funcionan y cómo pueden mejorarse. El éxito del optimizador Bi-Maxwell, que simplemente añadió una segunda escala de tiempo a la memoria, demuestra que incluso los cambios pequeños, motivados físicamente, pueden generar ganancias significativas. A medida que los modelos de lenguaje crecen en tamaño y complejidad, la eficiencia de su entrenamiento se vuelve cada vez más crítica, y este enfoque físico ofrece un camino prometedor para hacer que ese entrenamiento sea más rápido, más estable y más eficiente.

Resumen Técnico: Un Modelo de Respuesta Física y Memoria para la Optimización de Muon

Declaración del Problema

El entrenamiento de modelos de lenguaje extensos (LLMs) conlleva costos computacionales inmensos, lo que hace que la eficiencia del proceso de optimización sea crítica. La elección del optimizador determina la velocidad de entrenamiento, la estabilidad y la pérdida final alcanzable bajo un presupuesto de cómputo fijo. Mientras que los optimizadores modernos como Muon han logrado un rendimiento de vanguardia al semi-orthogonalizar la matriz de momentum, su diseño ha sido impulsado en gran medida por la intuición de ingeniería y el benchmarking empírico en lugar de una teoría física sistemática. Dos preguntas fundamentales permanecen sin respuesta por la teoría existente:

¿Por qué la dirección semi-orthogonalizada (utilizada en Muon) funciona eficazmente?
¿Cuánto tiempo debe promediar la memoria del momentum los gradientes pasados? Actualmente, esto se determina mediante un único timescale exponencial (un único tiempo de relajación), seleccionado de forma heurística.

Metodología: Un Modelo Físico de Entrenamiento

Los autores proponen un modelo físico que trata la matriz de pesos durante el entrenamiento como un medio responsivo con memoria. Este marco deriva las reglas de actualización a partir de principios físicos en lugar de una selección heurística.

1. Respuesta Espacial: El Medio y la Dirección de Actualización

La matriz de pesos $W$ se modela como un medio responsivo lineal donde las entradas $x$ producen salidas $y = Wx$ . El objetivo de entrenamiento se define como un potencial de desajuste $\Phi$ (por ejemplo, el error cuadrático entre la salida y el objetivo), análogo al potencial de energía de un resorte.

Fuerza Impulsora: El gradiente del potencial de desajuste con respecto a los pesos actúa como una fuerza impulsora conjugada $X = -\partial \Phi / \partial W$ .
Presupuesto de Seguridad del Lado de la Salida: Los autores imponen una restricción sobre la perturbación del lado de la salida. Específicamente, la tasa de cambio de la salida $\dot{y} = Vx$ (donde $V$ es la velocidad de reordenamiento estructural) está limitada por un límite de ganancia de salida $\epsilon$ para todas las direcciones de entrada.
Disipación Máxima: El objetivo es maximizar la tasa de liberación de potencial ( $P = -\dot{\Phi}$ ) sujeto a este presupuesto de salida.
Derivación de la Semi-Orthogonalización: Al descomponer la fuerza impulsora en modos colectivos independientes (vía Descomposición en Valores Singulares) y aplicar la restricción de ganancia de salida, los autores demuestran que la velocidad de reordenamiento óptima $V$ debe actualizar todos los modos impulsados a la misma velocidad máxima segura. Esto resulta en una matriz de velocidad proporcional al factor polar ortogonal de la fuerza impulsora. Esto proporciona una derivación física para la regla de actualización semi-orthogonalizada de Muon: es la respuesta de disipación máxima bajo un presupuesto de seguridad del lado de la salida.

2. Respuesta Temporal: Estrés Interno y Memoria

Los autores argumentan que la matriz de momentum representa el estrés interno acumulado por el medio, en lugar de la inercia de una partícula.

Relajación de Estrés: Cuando se aplica una fuerza externa (gradiente), el estrés interno no se ajusta instantáneamente; se relaja a lo largo del tiempo. La actualización estándar de momentum ( $M_t = \beta M_{t-1} + (1-\beta)X_t$ ) se identifica como una ecuación de relajación de primer orden (modelo de Maxwell) donde el coeficiente de momentum $\beta$ corresponde a un único tiempo de relajación $\tau$ .
Limitación de un Único Timescale: Los materiales reales (y las redes neuronales complejas) poseen múltiples modos de reordenamiento interno con diferentes tiempos de relajación. Un kernel de un solo exponencial fuerza un compromiso: un $\tau$ corto permite una respuesta rápida pero un filtrado de memoria pobre, mientras que un $\tau$ largo proporciona una memoria profunda pero una respuesta lenta a los cambios.
Modelo Bi-Maxwell: Para resolver esto, los autores proponen un kernel de dos escalas de tiempo (Bi-Maxwell). Esto modela el estrés interno como una superposición de un modo de relajación rápida ( $\tau_f$ ) y un modo de relajación lenta ( $\tau_s$ ). La memoria total es una suma ponderada: $M_{BM} = w M_f + (1-w) M_s$ . Esto permite que el optimizador responda rápidamente a señales persistentes (vía el modo rápido) mientras retiene la memoria estructural a largo plazo (vía el modo lento).

Contribuciones Clave

Derivación Física de Muon: El artículo deriva la dirección de actualización semi-orthogonalizada de Muon a partir de primeros principios, identificándola como la solución a un problema de optimización restringida (maximizar la disipación de potencial bajo un presupuesto de ganancia de salida).
Interpretación Física del Momentum: El momentum es reinterpretado como el estrés interno de un medio viscoelástico. El artículo argumenta que la suposición de un solo timescale es una "aproximación de polo único" de un espectro de relajación más amplio.
El Optimizador Bi-Maxwell: Basándose en el modelo físico de dos escalas de tiempo, los autores introducen el optimizador Bi-Maxwell. Este reemplaza el kernel de momentum de un solo timescale de Muon con un kernel de dos escalas de tiempo (modos rápido y lento) manteniendo todos los demás componentes espaciales (orthogonalización de Newton-Schulz, etc.) sin cambios.
Fenómeno de Envejecimiento en el Entrenamiento: El artículo identifica que la "longitud de memoria óptima" no es estática sino que crece conforme el entrenamiento progresa (análogo al envejecimiento físico en materiales vítreos). Al principio del entrenamiento, las direcciones de los gradientes cambian rápidamente (requiriendo memoria corta); más adelante, cambian lentamente (requiriendo memoria larga).

Resultados Experimentales

Los autores validan el modelo Bi-Maxwell en el benchmark público modded-nanogpt (modelo GPT-2 de 124M de parámetros) utilizando dos configuraciones: un stack "bare tuned-Muon" y un "record stack" (que incluye SOAP, Tail-EMA y otros componentes avanzados).

Ganancia de Rendimiento:
- En el stack bare tuned-Muon, el optimizador Bi-Maxwell alcanzó la pérdida de validación objetivo (3.28) en 3210 pasos, comparado con 3250 pasos para la línea base de polo único (una mejora de 40 pasos).
- En el record stack (que sostenía el récord de estado del arte de 2690 pasos hasta julio de 2026), el optimizador Bi-Maxwell alcanzó el objetivo en 2635 pasos, rompiendo el récord existente por 55 pasos.
- Estos resultados fueron consistentes a través de múltiples semillas aleatorias (n=8) y diferentes hardware (GPUs A800 y H100).
Experimentos Controlados:
- Forma del Kernel vs. Edad Media: Los experimentos mostraron que la ganancia proviene de la forma de dos escalas de tiempo en sí misma, no simplemente de aumentar la profundidad de memoria media. Un kernel de polo único ajustado al mismo promedio de edad que el kernel Bi-Maxwell tuvo un rendimiento significativamente inferior (cruzando 140 pasos después).
- Ventana de Activación: El modo lento no debe activarse desde el paso 0. El rendimiento óptimo se logró cuando el kernel de dos escalas de tiempo se activó en el paso 1000 ( $T_{on}=1000$ ), sugando que el medio necesita "envejecer" antes de que la memoria lenta sea beneficiosa.
- Sondas de Solo Lectura: Utilizando una sonda de diagnóstico, los autores midieron la "longitud de memoria óptima" ( $n^*$ $n^{*}$ ) a través de diferentes modos (clasificados por fuerza). Encontraron que:
  - La longitud de memoria óptima aumenta de temprano a tardío en el entrenamiento.
  - Diferentes modos (fuertes vs. débiles) exhiben tendencias opuestas en la preferencia de memoria dependiendo del esquema de tasa de aprendizaje, confirmando que un único timescale fijo no puede satisfacer todos los modos simultáneamente.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera teoría física sistemática que conecta la regla de actualización espacial (semi-orthogonalización) y el kernel de memoria temporal de los optimizadores modernos.

Unificación Teórica: Unifica la comprensión de la eficiencia espacial de Muon y el rol del momentum como relajación de estrés interno.
Mejora Algorítmica: Demuestra que reemplazar el kernel de memoria con una forma mínima de dos escalas de tiempo (Bi-Maxwell) produce mejoras de velocidad significativas y reproducibles en benchmarks públicos sin alterar la estructura espacial central del optimizador.
Analogía Física: El trabajo traza un paralelo entre la dinámica de entrenamiento y el "envejecimiento" de materiales vítreos, sugiriendo que la longitud de memoria óptima es una variable de estado que evoluciona con la etapa de entrenamiento.
Modestia: Los autores señalan que el modelo físico depende de supuestos específicos (isotrópico, presupuesto de salida de caso peor) y que los parámetros de Bi-Maxwell (pesos y escalas de tiempo) son actualmente aproximaciones estáticas. Reconocen que la verdadera ley constitutiva temporal puede depender del estado de entrenamiento específico y de la fuerza del modo, y que Bi-Maxwell representa la "base estática de orden inferior" para esta realidad más compleja.

En resumen, el artículo argumenta que ver la matriz de pesos como un medio viscoelástico con un espectro de relajación multiescala proporciona un camino fundamentado para mejorar los optimizadores, moviéndose más allá del ajuste heurístico hacia un diseño basado en principios físicos.