🤖 machine learning

Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning

Este artículo presenta Zeta, un optimizador de blanqueamiento dual que aborda la vulnerabilidad crítica de los métodos actuales conscientes de la matriz mediante la aplicación de un blanqueamiento de coordenadas antes del blanqueamiento espectral para corregir la heterogeneidad de escala, mejorando así la convergencia y la generalización en modelos de lenguaje y visión a gran escala.

Autores originales: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Publicado 2026-06-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot masivo y complejo (una red neuronal) a aprender una nueva habilidad, como escribir poesía o reconocer gatos. Para hacer esto, necesitas un "entrenador" (un optimizador) que le diga al robot cómo ajustar sus células cerebrales (parámetros) después de cada error.

Durante mucho tiempo, los mejores entrenadores trataban cada célula cerebral como un individuo. Miraban cada célula, veían cuánto se había equivocado y le daban un pequeño empujón. Esto funcionaba aceptablemente, pero ignoraba el hecho de que las células cerebrales trabajan en equipos.

Recientemente, llegó un nuevo tipo de entrenador llamado Muon. En lugar de mirar las células una por una, Muon miraba equipos enteros (matrices) a la vez. Intentaba asegurarse de que el equipo se moviera de una manera perfectamente equilibrada y coordinada, como un equipo de natación sincronizada. Esto funcionó de maravilla para robots enormes, pero los autores del artículo descubrieron un fallo oculto en la lógica de Muon.

El Proble de: Los Compañeros "Bocones"

Los autores descubrieron que, en el equipo de natación sincronizada de Muon, algunos compañeros gritaban tan fuerte que ahogaban a todos los demás.

En términos técnicos, el "momentum" (la memoria de los errores pasados) para algunas partes de la matriz era enorme, mientras que para otras era diminuto. Cuando Muon intentaba realizar su elegante "danza sincronizada" (llamada iteración de Newton–Schulz), los bocones arruinaban el ritmo. El equipo no podía coordinarse adecuadamente porque la entrada estaba desequilibrada. Es como intentar dirigir una orquesta donde las trompetas están sonando a todo volumen mientras los violines susurran; la música suena terrible, sin importar qué tan bueno sea el director.

Los autores demostraron esto ejecutando una "prueba de uniformidad" (una verificación estadística). Encontraron que, antes de cualquier corrección, los "niveles de volumen" en toda la matriz estaban por todos lados.

La Solución: Zeta (El Entrenador de Dos Pasos)

Los autores proponen un nuevo entrenador llamado Zeta. Zeta se da cuenta de que no puedes arreglar el ritmo de la orquesta hasta que primero no ajustes los niveles de volumen. Por lo tanto, Zeta utiliza un proceso estricto de dos pasos:

Paso 1: El Control de Volumen (Blanqueamiento de Coordenadas)
Antes de que el equipo intente bailar, Zeta camina alrededor y baja el volumen de las trompetas que gritan y sube el volumen de los violines que susurran. Normaliza la "intensidad" de cada una de las entradas en la matriz. Ahora, todos están en igualdad de condiciones. El equipo ya no está dominado por unas pocas voces fuertes.
Paso 2: La Danza Sincronizada (Blanqueamiento Espectral)
Ahora que el volumen está equilibrado, Zeta deja que el equipo realice su elegante danza sincronizada. Debido a que la entrada es ahora tranquila y equilibrada, la danza funciona perfectamente. El equipo se mueve en un hermoso y coordinado patrón geométrico que Muon intentó hacer pero en el que falló porque el volumen estaba desequilibrado.

Por qué el orden importa: El artículo enfatza que no puedes intercambiar estos pasos. Si intentas bailar primero (Paso 2) y luego arreglar el volumen (Paso 1), la danza seguirá estando arruinada por los gritos iniciales. El arreglo del volumen debe ocurrir primero para crear la base estable que la danza necesita.

Los Resultados: Más Rápido y Más Inteligente

Los autores probaron Zeta en varios "robots" (modelos de IA) que van desde pequeños (0.6 mil millones de parámetros) hasta masivos (8 mil millones de parámetros), e incluso en modelos que utilizan una "mezcla de expertos" (donde diferentes partes del cerebro manejan distintas tareas).

Aprendizaje más rápido: Zeta aprendió más rápido que los entrenadores antiguos (AdamW y Muon). Alcanzó el mismo nivel de habilidad en menos pasos de entrenamiento.
Mejor Generalización: Los modelos entrenados con Zeta fueron mejores en tareas que no habían visto antes, como responder preguntas difíciles o reconocer imágenes.
Eficiencia: Zeta no ralentizó las cosas. Aprendió más rápido sin tomar mucho tiempo adicional por paso.

La Conclusión

Piensa en Zeta como un entrenador que se dio cuenta de que, antes de poder enseñar a un equipo a moverse en perfecta armonía, primero tienes que asegurarte de que todos hablen al mismo volumen. Al arreglar el "desequilibrio de volumen" primero, el equipo puede finalmente realizar la "danza de la armonía" correctamente, lo que conduce a una IA más inteligente y de aprendizaje más rápido.

El artículo afirma que esto es un arreglo fundamental a un problema estructural en la forma en que funcionan estos avanzados optimizadores, demostiendo que equilibrar la balanza antes de intentar optimizar la geometría es la clave del éxito.

Resumen Técnico: Zeta – Blanqueamiento Dual para la Optimización de Matrices mediante Precondicionamiento Adaptativo de Coordenadas

Declaración del Problema

El entrenamiento de redes neuronales a gran escala se ha desplazado cada vez más hacia optimizadores conscientes de las matrices que explotan las propiedades estructurales de los parámetros de peso, yendo más allá de la adaptación elemento a elemento. Un ejemplo destacado es Muon, que impone restricciones de ortogonalidad en las actualizaciones de los pesos mediante el blanqueamiento espectral (específicamente, la iteración de Newton–Schulz) para igualar los valores singulares y evitar que cualquier dirección única domine la actualización.

Sin embargo, este artículo identifica una vulnerabilidad crítica y subestimada en Muon y métodos espectrales similares: la iteración de Newton–Schulz es altamente sensible al condicionamiento de la entrada. Si bien la iteración funciona bien cuando los valores singulares están bien distribuidos, las matrices de momentum crudas en el entrenamiento de redes profundas suelen exhibir una severa heterogeneidad de escala por coordenadas. En estas matrices, algunas coordenadas poseen magnitudes desproporcionadamente grandes, sesgando el espectro singular. Cuando tales matrices no acondicionadas entran en el paso de Newton–Schulz, el proceso de ortogonalización se degrada, lo que conduce a direcciones de actualización distorsionadas que ya no reflejan fielmente la geometría del gradiente. Los autores argumentan que el blanqueamiento espectral requiere implícitamente una entrada con escala normalizada, una condición que el momentum crudo viola sistemáticamente.

Metodología: Optimizador Zeta

Para abordar esta brecha estructural, los autores proponen Zeta, un optimizador de blanqueamiento dual que organiza el blanqueamiento de coordenadas y el blanqueamiento espectral en un flujo de trabajo estrictamente ordenado y no ajustable. La idea central es que el blanqueamiento espectral debe construirse sobre la estabilización estadística; el blanqueamiento de coordenadas establece la isotropía estadística necesaria para que el blanqueamiento espectral funcione de manera confiable.

El flujo de trabajo de Zeta opera de la siguiente manera:

Blanqueamiento de Coordenadas (Precondicionamiento):
Antes de entrar en la etapa espectral, Zeta aplica una normalización por coordenadas a la matriz de momentum. Mantiene medias móviles exponenciales del primer momento ( $M_t$ ) y del segundo momento ( $V_t$ ), de forma similar a Adam. La matriz de momentum se normaliza entonces elemento a elemento por el segundo momento acumulado:
$\tilde{G}_t = \frac{M_t}{\sqrt{V_t} + \epsilon}$
Este paso homogeneiza la disparidad de escala entre coordenadas, transformando la matriz en un estado estadísticamente isotrópico. Teóricamente, esto actúa como un precondicionador diagonal aproximado, abordando el desequilibrio de escala que de otro modo sesgaría el espectro singular.
Blanqueamiento Espectral (Ortogonalización):
La matriz homogeneizada $\tilde{G}_t$ es luego introducida en la iteración de Newton–Schulz. Debido a que la entrada está ahora libre de disparidades extremas de escala entre entradas, su espectro singular está mejor condicionado. La iteración converge a una aproximación ortogonal fiel, igualando los valores singulares para producir una dirección de actualización equilibrada.
Construcción de la Actualización:
La matriz ortogonal resultante $U_t$ se escala utilizando un factor normalizado por RMS para asegurar que la magnitud de la actualización sea compatible con las configuraciones estándar de optimizadores (por ejemplo, ramas de AdamW) sin alterar la dirección espectral.
Ejecución de Doble Vía:
Para parámetros con valor de matriz (por ejemplo, proyecciones de atención y de alimentación hacia adelante/feed-forward), se aplica el flujo completo de doble vía. Para parámetros no matriciales (por ejemplo, sesgos, escalas de LayerNorm), se omite el paso espectral y el optimizador recurre a una actualización de estilo AdamW.

Contribuciones Teóricas

El artículo proporciona tres garantías teóricas clave que sustentan el diseño:

Blanqueamiento Aproximado: Se demuestra que el paso de normalización de coordenadas es una transformación de blanqueamiento diagonal eficiente para el caso ideal (Teorema 1), yendo más allá del escalado heurístico hacia un paso de precondicionamiento basado en principios.
Reducción del Error de Ortogonalización: Los autores demuestran que el blanqueamiento de coordenadas mejora estrictamente el número de condición de la entrada para la iteración de Newton–Schulz. En consecuencia, el error de ortogonalización de la etapa espectral se reduce estrictamente en comparación con operar sobre el momentum crudo (Teorema 2).
Preservación de Escala: El escalado RMS final preserva la dirección espectral de la actualización mientras sincroniza su magnitud global con el resto de la red (Teorema 3).

Resultados Empíricos

Zeta fue evaluado en tareas de modelado de lenguaje (de 0.6B a 8B parámetros), arquitecturas de mezcla de expertos (MoE) y tareas de visión, superando o igualando consistentemente a los modelos de referencia fuertes (AdamW, Muon y AdaMuon).

Velocidad de Convergencia: En tareas de preentrenamiento, Zeta demostró una convergencia más rápida que Muon y AdamW. Por ejemplo, en un modelo de 1.7B de parámetros, Zeta logró una aceleración de 1.67× (respecto a AdamW) para alcanzar el mismo nivel de pérdida, superando a Muon (1.52×) y AdaMuon (1.61×). En un modelo de 8B, Zeta logró una aceleración de 1.25× frente al 1.19× de Muon.
Eficiencia: El costo de tiempo por iteración de Zeta se mantuvo comparable al de AdamW (por ejemplo, 25.47s frente a 24.46s para el modelo de 8B en 16 GPUs), lo que indica que el proceso de blanqueamiento dual no incurre en penalizaciones significativas de tiempo de ejecución.
Desempeño en MoE: En arquitecturas MoE, donde la activación dispersa de expertos crea una heterogeneidad de gradientes sustancial, Zeta mantuvo una clara ventaja, convergiendo a una pérdida menor con menos fluctuaciones que sus competidores.
Tareas de Aval (Downstream Tasks): En 12 benchmarks de comprensión de lenguaje (ej. MMLU, GSM8k), los modelos entrenados con Zeta alcanzaron la mayor precisión promedio tanto en escalas de 1.7B como de 8B. Del mismo modo, en tareas de visión CIFAR-100, Zeta alcanzó la mayor precisión de validación Top-1 tanto para ViT-Tiny como para ViT-Base.
Robustez de Hiperparámetros: Una búsqueda de cuadrícula sobre los coeficientes de momentum ( $\beta_1, \beta_2$ ) mostró que Zeta es robusto a las elecciones de hiperparámetros, con la pérdida de entrenamiento final variando menos de un 1.2% en todo el rango probado.

Significancia y Reivindicaciones

El artículo afirma que Zeta resuelve un desajuste fundamental en los optimizadores conscientes de matrices existentes: la aplicación de operaciones geométricas potentes (blanqueamiento espectral) a señales con escalas de coordenadas no controladas. Al verificar la prevalencia del desequilibrio de escala intra-matriz mediante pruebas de uniformidad de chi-cuadrado y demostrar que el blanqueamiento de coordenadas lo corrige efectivamente, los autores establecen que resolver el desequilibrio de escala antes de la ortogonalización es un requisito previo para métodos espectrales estables.

La significancia de Zeta radica en su unificación de dos paradigmas de optimización previamente competitivos (escalado adaptativo por coordenadas y ortogonalización espectral) en un único flujo de trabajo lógicamente necesario. El orden de las operaciones no es un hiperparámetro ajustable sino una dependencia matemática: el blanqueamiento de coordenadas debe preceder al blanqueamiento espectral para asegurar que la entrada esté bien condicionada. Este enfoque conduce a una convergencia más rápida y una mejor generalización sin sacrificar los beneficios geométricos de la optimización a nivel de matriz.