🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Este artículo resuelve las observaciones conflictivas sobre los optimizadores de norma Schatten- $p$ al demostrar que, mientras que los métodos Schatten- $\infty$ como Muon sobresalen en entornos de alta dimensionalidad, las geometrías Schatten- $p$ más pequeñas son en realidad óptimas en regímenes de baja dimensionalidad como el escalado Chinchilla, un hallazgo respaldado por nuevos resultados de aceleración robustos al ruido para $p>2$ que también explican la falta de requerimiento de calentamiento de Muon y su preferencia por lotes grandes.

Autores originales: Thomas Pethick

Publicado 2026-06-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Pethick

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La gran pregunta: ¿Qué "regla" deberíamos usar?

Imagina que estás intentando encontrar el punto más bajo en un vasto valle cubierto de niebla (esto es el modelo de IA intentando aprender). Para hacer esto, necesitas una "regla" para medir qué tan empinado es el terreno y decidir en qué dirección dar un paso.

En el mundo del aprendizaje profundo (deep learning), existen diferentes tipos de reglas, llamadas normas Schatten-p.

Schatten-2 (Euclidiana): Esta es la regla estándar y recta que solemos usar (como el optimizador llamado Adam).
Schatten-∞ (La regla "Muon"): Esta es una regla especial y rígida que solo se preocupa por el único precipicio más empinado del paisaje. Recientemente, un método llamado Muon (que usa esta regla) se volvió muy popular porque parecía funcionar increíblemente rápido en algunas pruebas.
Schatten-p (Las reglas "Punto Medio"): Estas son reglas intermedias, que miden la pendiente de una forma que no es ni demasiado suave ni demasiado rígida.

La confusión:
La gente discutía sobre qué regla era la mejor.

Algunos decían: "¡Muon (Schatten-∞) es increíble! ¡Es la más rápida!"
Otros decían: "No, Muon está sobrevalorado. Los métodos estándar funcionan mejor cuando entrenamos con cantidades enormes de datos".

La respuesta del artículo:
El autor, Thomas Pethick, dice: "Ambos tienen razón, pero están mirando tamaños de valle diferentes".

La mejor regla depende enteramente del tamaño del problema en relación con la cantidad de datos que tienes.

Los dos regímenes: Piscinas pequeñas frente a Océanos grandes

El artículo divide el mundo en dos escenarios principales:

1. El régimen de "Baja Dimensionalidad" (La piscina pequeña)

Qué es: Esto ocurre cuando tienes un modelo relativamente pequeño o una ejecución de entrenamiento corta (como los "speedruns" en juegos pequeños mencionados en el artículo). El número de pasos que das (datos) es mucho mayor que la complejidad del modelo.
La analogía: Imagina que estás caminando por un jardín pequeño y bien iluminado. Puedes ver todo el camino.
La mejor regla: En este escenario, la regla Schatten-∞ (Muon) en realidad no es la mejor. Sorprendentemente, una regcción de un p menor (más cercana a la regla euclidiana estándar) es más rápida.
¿Por qué? Porque en un jardín pequeño, no necesitas estar hiperenfocado en un solo precipicio empinado. Necesitas un enfoque más suave y equilibrado para acelerar rápidamente. El artículo demuestra que usar una regla más "suave" aquí te otorga un impulso de velocidad.

2. El régimen de "Alta Dimensionalidad" (El océano grande)

Qué es: Estas son las ejecuciones de entrenamiento masivas utilizadas para modelos de IA gigantes (como los LLM), donde el modelo es increíblemente complejo y los datos son vastos.
La analogía: Imagina que estás navegando en un océano enorme y oscuro con miles de islas. No puedes ver todo el mapa.
La mejor regla: Aquí, la regla Schatten-∞ (Muon) brilla. Está diseñada para manejar la "rugosidad" específica de estos paisajes masivos y complejos.
El truco: Para que Muon funcione en este gran océano, necesitas un tamaño de lote (batch size) enorme (mirando una rebanada muy amplia del océano a la vez). Si intentas usar Muon con un tamaño de lote pequeño en este régimen, fallará.

El secreto del "Tamaño de Lote" (Batch Size)

Uno de los hallazgos clave del artículo trata sobre el Tamaño de Lote (cuántos ejemplos observa la IA antes de dar un paso).

La regla: El artículo deriva una regla matemática que muestra que a medida que cambias tu regla (de $p=2$ a $p=\infty$ ), el tamaño de lote ideal también debe cambiar.
La metáfora: Piensa en la regla como un bote.
- Un bote pequeño (Regla Estándar) puede navegar con una tripulación pequeña (tamaño de lote pequeño).
- Un crucero masivo (Muon/Schatten-∞) necesita una tripulación enorme (tamaño de lote masivo) para mantenerse estable y moverse rápido. Si intentas navegar un crucero con solo dos personas, simplemente dará vueltas en círculos.
La idea clave: Esto explica por qué Muon funciona de maravilla para los "speedruns" (donde la gente usa lotes masivos en modelos pequeños) pero tiene dificultades en algunos benchmarks de gran escala (donde el tamaño de lote podría no haberse escalado lo suficiente para la geometría específica).

¿Por qué necesitamos "Warmups"?

Es posible que hayas oído que algunos entrenadores de IA necesitan un "warmup" (empezar lento y luego acelerar).

El hallazgo del artículo: La regla Schatten-∞ (Muon) es tan robusta que no necesita un warmup. Puede empezar a máxima velocidad inmediatamente.
El contraste: Si usas una regla $p$ más pequeña en el régimen de baja dimensionalidad, sí te beneficiarás de una fase de warmup para poner en marcha la aceleración.

La conexión con "Chinchilla"

El artículo conecta esto con una regla famosa en IA llamada escalado Chinchilla, que dice: "A medida que obtienes más datos, deberías hacer tu modelo más grande".

El giro: El artículo argumenta que, incluso con el escalado Chinchilla, a menudo todavía estamos en el "Régimen de Baja Dimensionalidad" (el jardín pequeño).
El resultado: Debido a que a menudo estamos en este régimen de "jardín pequeño", usar el Muon estándar (Schatten-∞) podría ser en realidad menos eficiente que usar un optimizador de norma $p$ finita (como HTMuon o Soft-Muon). Esto explica por qué los métodos más nuevos que usan reglas más "suaves" están empezando a superar a Muon en algunas pruebas a gran escala.

Resumen: Cómo elegir tu regla

El artículo concluye con una guía sencilla:

Si estás en un régimen de "Baja Dimensionalidad" (modelos pequeños, o cuando la cantidad de datos es enorme en comparación con el tamaño del modelo):
- No uses automáticamente el extremo Schatten-∞ (Muon).
- Considera usar una norma Schatten- $p$ finita (una regla más "suave"). Acelera más rápido y maneja mejor el ruido.
- Nota: ¡Incluso podrías querer cambiar de regla mientras entrenas! Empieza con una regla "dura" y cambia a una más "suave" después.
Si estás en un régimen de "Alta Dimensionalidad" (complejidad masiva):
- La Schatten-∞ (Muon) es probablemente la elección correcta, PERO debes usar un tamaño de lote muy grande para que funcione.

La conclusión final: No existe un optimizador único que sea "el mejor". La mejor herramienta depende del tamaño del problema y de cuántos datos tengas. La confusión en la comunidad existió porque la gente estaba probando las herramientas en diferentes "regímenes" sin darse cuenta.

Resumen Técnico: "¿Cuándo usar qué norma Schatten- $p$ en aprendizaje profundo?"

Planteamiento del Problema

Los optimizadores basados en la norma Schatten- $\infty$ , como Muon, han demostrado un rendimiento empírico prometedor en configuraciones específicas de aprendizaje profundo, particularmente aquellas que involucran ejecuciones de entrenamiento cortas o tamaños de lote grandes. Sin embargo, existen observaciones contradictorias respecto a su utilidad general. Si bien sobresalen en ciertos regímenes (por ejemplo, speedruns de CIFAR-10), no superan consistentemente a los métodos estándar como Adam o SGD en escenarios de entrenamiento a gran escala con presupuestos de tokens extensos. Además, variantes recientes que utilizan normas Schatten- $p$ finitas (por ejemplo, HTMuon, Soft-Muon) han mostrado resultados competitivos o superiores, desafiando la necesidad de utilizar exclusivamente la norma Schatten- $\infty$ .

La pregunta central abordada es: ¿Qué norma Schatten- $p$ debería usar un optimizador y bajo qué regímenes de entrenamiento es óptima? Los marcos de trabajo existentes, específicamente el marco SODA (Schedule-free Optimistic Dual Averaging), carecían de la capacidad para analizar las geometrías de norma $p$ para $p > 2$ bajo ruido estocástico, dejando el mecanismo detrás del éxito de Muon y sus limitaciones sin una explicación teórica.

Metodología

El artículo extiende el marco SODA (Pethick et al., 2026), que unifica componentes modernos de optimización como el promedio dual optimista, el impulso de Nesterov y el decaimiento de peso (weight decay). Los autores generalizan el análisis de SODA a funciones de referencia $p$ -uniformemente convexas para $p \ge 2$ , cubriendo tanto la geometría vectorial $\ell_p$ como la geometría de matrices Schatten- $p$ .

Componentes metodológicos clave incluyen:

Plantilla Algorítmica: El análisis utiliza una regla de actualización primal-dual donde el mapa dual está definido por el gradiente del conjugado de Fenchel de una función de referencia $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ .
- Para $p=2$ , esto recupera la geometría euclidiana.
- Para $p \to \infty$ , recupera el oráculo de minimización lineal (LMO) utilizado en Muon ( $UV^\top$ ).
- Para $p > 2$ finito, corresponde a métodos como HTMuon y Soft-Muon.
Suposiciones de Ruido: El análisis incorpora suposiciones de ruido de cola pesada, específicamente asumiendo que los gradientes satisfacen una condición de momento $r$ ( $r \in (1, 2]$ ). Esto permite la derivación de tasas de convergencia que dependen del exponente dual $q = p/(p-1)$ .
Análisis de Regímenes: Los autores derivan cotas de complejidad de oráculo bajo dos regímenes distintos:
- Determinista: Donde el ruido es negligible.
- Estocástico: Donde el ruido está presente y los tamaños de lote se escalan para gestionar la varianza.
Leyes de Escalamiento: Las cotas teóricas se aplican a las reglas de escalamiento modernas de aprendizaje profundo (por ejemplo, Chinchilla), relacionando el presupuesto total de tokens $N$ con la dimensión efectiva $d$ de las matrices del modelo.

Contribuciones Clave

1. Aceleración Robusta al Ruido para Arbitrario $p$

Los autores demuestran que SODA logra tasas de convergencia aceleradas para la optimización sobre geometrías de norma $p$ mientras permanece robusto al ruido estocástico. Establecen una tasa independiente de la dimensión:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Este resultado revela una conexión fundamental entre la elección de la geometría $p$ y la pesadez de las colas del ruido (vía el exponente dual $q$ ). Esto se presenta como el primer resultado de aceleración robusto al ruido para geometrías de norma $p$ arbitrarias.

2. Reglas de Escalamiento del Tamaño de Lote

Al analizar la complejidad del oráculo bajo varianza acotada ( $r=2$ ), el artículo deriva una regla de escalamiento del tamaño de lote dependiente de la norma, para un presupuesto de oráculo total $N$ fijo, el tamaño de lote óptimo $B_p$ escala como:
$B_p \asymp N^{2(p-1)/(3p-2)}$

Para $p=2$ (Euclidiana), $B_2 \asymp N^{1/2}$ .
Para $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Esto explica por qué los métodos Schatten- $\infty$ como Muon requieren empíricamente tamaños de lote más grandes para materializar sus beneficios.

3. Optimalidad Dependiente del Régimen

El artículo resuelve el conflicto respecto a la utilidad de Muon mostrando que la elección óptima de $p$ es dependiente del régimen, determinada por la relación entre la dimensión efectiva $d$ y el presupuesto del oráculo $N$ :

Régimen de Alta Dimensión ( $N \lesssim d$ ): Acoplar la geometría a la suavidad del problema es favorable. Si el objetivo es suave en la norma Schatten- $\infty$ , usar $p \to \infty$ es óptimo.
Régimen de Baja Dimensión ( $N \gtrsim d$ ): Se prefieren valores de $p$ $p$ más pequeños.
- En entornos deterministas, $p=2$ (Euclidiana) ofrece una aceleración más fuerte.
- En entornos estocásticos con ruido de cola pesada, la geometría mínima admisible $p = r/(r-1)$ es la óptima debido a un mejor alineamiento con las suposiciones de ruido.

4. Implicaciones para las Leyes de Escalamiento

Los autores conectan estos regímenes teóricos con las leyes de escalamiento modernas (por ejemplo, Chinchilla). Bajo las recetas típicas de escalamiento donde el tamaño del modelo escala linealmente con los tokens ( $N$ ), el rango efectivo de las matrices de pesos crece como $d \propto N^{1/3}$ . Consecuentemente, $N \gg d$ , situando el entrenamiento a gran escala estándar firmemente en el régimen de baja dimensión.

Conclusión: En este régimen, un $p$ menor (Schatten- $p$ finito) es teóricamente preferible sobre Schatten- $\infty$ . Esto proporciona una explicación teórica de por qué la ventaja de Muon disminuye a escala y por qué los optimizadores de $p$ -finito (HTMuon, Soft-Muon) están emergiendo como fuertes contendientes.

Resultados y Significado

El artículo afirma resolver la aparente contradicción en el rendimiento empírico de los optimizadores Schatten- $\infty$ . La importancia del trabajo radica en:

Unificación Teórica: Proporcionar un marco único (SODA) que explica el comportamiento de Muon, Soft-Muon y los optimizadores euclidianos a través de la lente de la geometría de norma $p$ .
Explicación de Fenómenos Empíricos:
- Warmup: El análisis explica por qué los métodos Schatten- $\infty$ no requieren un warmup del tamaño de paso (el tamaño de paso efectivo decae como $k^{-1}$ ), mientras que las geometrías de $p$ menor exhiben una fase similar al warmup.
- Tamaño de Lote: Cuantifica la necesidad de lotes grandes para los métodos Schatten- $\infty$ y proporciona una regla de escalamiento para cualquier $p$ .
- Escalamiento: Ofrece una base teórica para la observación de que los métodos Schatten- $\infty$ pueden no escalar tan bien como se esperaba bajo recetas tipo Chinchilla, sugiriendo que la naturaleza de "baja dimensión" del entrenamiento de LLM moderno favorece un $p$ finito.
Guía Práctica: Los resultados sugieren una posible estrategia de cambio (switching) donde $p$ podría ajustarse durante el entrenamiento (comenzando cerca de $\infty$ y cambiando a un $p$ finito a medida que el presupuesto $N$ excede la dimensión $d$ ), alineándose con los esquemas empíricos recientes como Soft-Muon.

Los autores mantienen un tono modesto, señalando que su análisis depende de conversiones de norma en el peor de los casos y que relaciones más agudas y dependientes del problema podrían refinar los límites entre regímenes. Dejan la exploración práctica del cambio dinámico de $p$ como un trabajo futuro.