🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

Este artículo introduce GQA-{\mu}P, un marco de parametrización novedoso que deriva escalas de actualización máximas para la atención con consultas agrupadas redefiniendo el aprendizaje de características mediante condiciones de norma espectral y adaptándolas para matrices de pesos de rango no completo, lo que permite así una transferencia efectiva de hiperparámetros entre arquitecturas de modelos.

Autores originales: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Publicado 2026-05-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef maestro intentando perfeccionar una receta para un banquete gigante (un modelo de IA masivo). Sabes que si cocinas una olla pequeña de sopa (un modelo diminuto) con la cantidad correcta de sal y calor, deberías poder predecir exactamente cuánta sal y calor usar para la olla gigante sin tener que probar la versión enorme primero. Este es el sueño de la Transferencia de Hiperparámetros: usar un modelo pequeño para determinar la configuración de uno grande.

Durante un tiempo, los chefs tenían un manual de reglas específico llamado µP (Parametrización de Actualización Máxima) que funcionaba muy bien para recetas estándar. Pero a medida que los modelos de IA evolucionaron, comenzaron a usar una nueva técnica de cocina más eficiente llamada GQA (Atención de Consulta Agrupada). Piensa en GQA como una forma de que múltiples chefs compartan el mismo conjunto de ingredientes para ahorrar tiempo y espacio.

¿El problema? El viejo manual de reglas (µP) no funcionaba para esta nueva técnica GQA. Si intentabas usar la configuración de la olla pequeña en la olla gigante con GQA, la sopa se quemaría o sabría insípida. Las matemáticas decían que debería funcionar, pero la realidad decía que no.

Este artículo, GQA-µP, corrige el manual de reglas para que funcione con estas nuevas recetas eficientes. Así es como lo hicieron, usando analogías simples:

1. El problema de la "Regla" (Norma Espectral vs. Norma Operadora Esperada)

En el viejo manual de reglas, los chefs usaban una regla específica llamada Norma Espectral para medir cuánto cambiaban los ingredientes (pesos).

El Problema: La vieja regla estaba diseñada para ingredientes de "rango completo" (como un bloque sólido de queso). Pero GQA usa ingredientes de "bajo rango" (como un bloque de queso con agujeros).
La Metáfora: Imagina intentar medir el tamaño de un bloque de queso suizo con una regla diseñada para un bloque sólido de madera. La regla podría decir que el queso es enorme porque abarca todo el ancho, pero en realidad, debido a los agujeros, el queso no ocupa realmente ese espacio.
La Solución: Los autores inventaron una nueva regla llamada Norma Operadora Esperada. En lugar de medir el "tamaño máximo teórico" (que incluye los agujeros), esta nueva regla mide el "tamaño promedio" que realmente encuentras cuando usas el queso. Esta nueva regla le dice correctamente a los chefs cuánto escalar los ingredientes para que la sopa tenga buen sabor, independientemente de cuántos agujeros (grupos) tenga el queso.

2. El problema del "Trabajo en Equipo" (Atención de Consulta Agrupada)

En GQA, múltiples "cabezas de consulta" (chefs haciendo preguntas) comparten las mismas "cabezas de clave y valor" (chefs dando respuestas).

El Problema: Cuando agrupas a estos chefs juntos, las matemáticas se vuelven complicadas. El viejo manual de reglas asumía que cada chef tenía su propio conjunto único de herramientas. Cuando comparten herramientas, las matemáticas antiguas se confunden sobre cuánto deberían cambiar las herramientas.
La Solución: Los autores derivaron una nueva fórmula de escalado específicamente para este arreglo de compartir. Determinaron exactamente cómo ajustar la "tasa de aprendizaje" (qué tan rápido aprenden los chefs) basándose en cuántos chefs están compartiendo las herramientas.
- Analogía: Si un chef está haciendo todo el trabajo, necesita cierta cantidad de energía. Si diez chefs comparten el trabajo, la distribución de energía cambia. El nuevo manual de reglas calcula la energía exacta necesaria para que, ya sea que tengas 1 chef o 12, el trabajo se realice perfectamente.

3. El problema de la "Sal" (Decaimiento de Pesos)

En la cocina, el "decaimiento de pesos" es como añadir un conservante (sal) para evitar que la sopa se eche a perder (sobreajuste).

El Problema: El viejo manual de reglas no te decía cómo ajustar la sal cuando cambiabas el tamaño de la olla o la profundidad de la receta.
La Solución: Los autores mostraron que si usas sus nuevas reglas, también puedes transferir la configuración de "sal". Puedes encontrar la cantidad perfecta de sal para una olla pequeña, y funcionará también para la olla gigante. También demostraron que una constante de tiempo específica (llamada $\tau_{epoch}$ ) funciona bien para esta transferencia.

4. La verificación de la realidad de la "Cocina Ruidosa"

Los autores también encontraron una curiosidad graciosa en la cocina GQA.

El Descubrimiento: Incluso con el nuevo manual de reglas perfecto, si tienes muy pocos chefs compartiendo las herramientas (muy pocas "cabezas KV"), el proceso de cocina se vuelve "ruidoso". Es como tener una cocina donde los chefs se susurran entre sí; a veces se escuchan claramente, a veces no.
La Lección: Aunque las matemáticas funcionan, los autores advierten que transferir configuraciones entre modelos con números muy diferentes de grupos compartidos puede ser un poco inestable. Lo mejor es tener cuidado al pasar de una configuración de "muchos chefs" a una de "pocos chefs".

Resumen

En resumen, este artículo dice:

Las antiguas matemáticas para escalar modelos de IA fallaron al usar la técnica eficiente GQA porque utilizaban la "regla" equivocada para medir los ingredientes.
Los autores crearon una nueva regla (Norma Operadora Esperada) que tiene en cuenta los "agujeros" en la estructura de GQA.
Usando esta nueva regla, escribieron un nuevo manual de reglas que permite a los chefs transferir perfectamente las configuraciones de cocina (tasas de aprendizaje y cantidades de sal) desde modelos pequeños hasta modelos GQA grandes.
Demostraron que esto funciona en el laboratorio, mostrando que el nuevo manual de reglas hace que el proceso de entrenamiento sea mucho más predecible y eficiente.

No inventaron una nueva forma de cocinar la sopa (la arquitectura de IA), sino que arreglaron las tazas medidoras y las cucharas para que cualquiera pueda cocinar una olla gigante perfecta de sopa usando la receta de una olla pequeña.

Resumen Técnico: GQA-µP: La Actualización de Parametrización Máxima para la Atención de Consultas Agrupadas

Declaración del Problema

La transferencia de hiperparámetros entre arquitecturas de modelos, específicamente la Parametrización de Actualización Máxima (µP), permite determinar los hiperparámetros óptimos para modelos a gran escala mediante el barrido de modelos proxy pequeños. Aunque µP se ha aplicado con éxito a la transferencia de la tasa de aprendizaje a través de las anchuras de los modelos, su aplicación a arquitecturas novedosas y otros hiperparámetros (como la decadencia de pesos y la profundidad) sigue siendo un desafío.

Existe una brecha específica para la Atención de Consultas Agrupadas (GQA), un mecanismo ampliamente utilizado en los Modelos de Lenguaje Grandes (LLM) modernos para reducir el uso de memoria al compartir las cabezas de clave y valor entre grupos de cabezas de consulta. Los intentos previos de aplicar µP estándar a GQA revelaron un fallo crítico: aunque la implementación superaba las "comprobaciones de coordenadas" estándar (validando las normas de activación), no lograba transferir eficazmente las tasas de aprendizaje a través de diferentes números de cabezas KV. Además, los marcos de trabajo µP existentes luchaban por derivar escalados principistas para la decadencia de pesos y la profundidad sin depender de supuestos de "aprendizaje perezoso". La dificultad teórica central surge porque las matrices de pesos de GQA a menudo son degeneradas en rango (de bajo rango), lo que hace que la norma espectral estándar falle al capturar con precisión la deformación esperada de las entradas durante el entrenamiento.

Metodología

Los autores se basan en la visión de aprendizaje de características espectrales de Yang et al. (2023a) para derivar nuevas leyes de escalado. La metodología implica tres avances teóricos y analíticos principales:

Redefinición del Aprendizaje de Características mediante Normas Espectrales:
El artículo eleva las condiciones de norma espectral sobre las matrices de pesos de una heurística a la definición formal de aprendizaje de características. Los autores argumentan que garantizar que la norma espectral de las actualizaciones de pesos se escale correctamente es una condición más fuerte y fiable para el aprendizaje de características que analizar únicamente las normas de activación. Este cambio permite derivar escalados de profundidad y decadencia de pesos Complete-P sin recurrir a supuestos de aprendizaje perezoso.
Introducción de la Norma Operadora Esperada:
Para abordar la degeneración en rango de las matrices GQA, los autores introducen una norma modificada: la norma operadora esperada ( $||A||_E$ ).
- Las normas espectrales estándar ( $||A||$ ) miden la deformación máxima de un vector de entrada. Para matrices de rango completo, esto se alcanza asintóticamente.
- Para matrices degeneradas en rango (como GQA), los vectores que causan la deformación máxima ocurren con probabilidad cero durante el entrenamiento (ya que las entradas son i.i.d.). En consecuencia, la norma espectral sobreestima la deformación real.
- La norma operadora esperada se define como la esperanza de la relación entre las normas de salida y entrada sobre la distribución de entrada: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ .
- Esta norma refleja correctamente la deformación real encontrada durante el entrenamiento, restaurando la validez de las leyes de escalado para GQA.
Derivación de Escalados GQA-µP:
Utilizando la norma operadora esperada, los autores derivan los factores de escalado específicos para las capas GQA.
- Para una capa GQA con $r$ repeticiones de cabezas de clave-valor, la tasa de aprendizaje ( $\eta$ ) y la decadencia de pesos ( $\lambda$ ) deben escalarse de manera diferente a la atención estándar.
- El escalado de tasa de aprendizaje derivado es $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ , donde $n$ es la dimensión de la incrustación.
- El escalado de decadencia de pesos se ajusta a $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ para mantener el equilibrio entre la regularización y las actualizaciones de gradiente.
- Estas derivaciones se resumen en la Tabla 1 del artículo, proporcionando una parametrización unificada para Transformers con GQA.
Escalado de Profundidad (Complete-P):
El marco se aplica a redes residuales para derivar escalados de profundidad. Al aplicar la condición espectral a la composición de bloques residuales, los autores muestran que el factor de escalado $\beta$ para las ramas residuales debe ser $\Theta(L^{-1})$ (donde $L$ es la profundidad) para evitar la explosión o desaparición de la señal, recuperando los mismos resultados que Dey et al. (2025) sin requerir el supuesto de "no aprendizaje perezoso".

Contribuciones Clave

Primera Derivación de µP para GQA: El artículo proporciona, según el conocimiento de los autores, la primera derivación principista de escalados µP para la Atención de Consultas Agrupadas, resolviendo la discrepancia donde las implementaciones estándar de µP fallaban al transferir tasas de aprendizaje.
Extensión Teórica de µP Espectral: El trabajo extiende la teoría de µP espectral de Yang et al. (2023a) promoviendo las condiciones de norma espectral a la definición de aprendizaje de características e introduciendo la norma operadora esperada para manejar pesos degenerados en rango. Esto permite la derivación de escalados para decadencia de pesos, bloques de recursión y GQA.
Validación Empírica de la Transferencia: Los autores demuestran que sus escalados derivados permiten la transferencia de tasas de aprendizaje a través de diferentes conteos de repeticiones GQA ( $r$ ) y de decadencia de pesos a través de tamaños de modelo. Muestran que la implementación de Adam-µP estándar falla en las comprobaciones de coordenadas espectrales para GQA, mientras que su escalado propuesto las supera.

Resultados Experimentales

Los autores validan sus derivaciones teóricas mediante experimentos extensos:

Transferencia de Tasa de Aprendizaje: Los experimentos que varían el número de cabezas KV (de 1 a 12) muestran que la parametrización estándar y Adam-µP estándar no logran converger a una tasa de aprendizaje óptima consistente. En contraste, el escalado GQA-µP propuesto reduce significativamente la región de tasa de aprendizaje óptima, permitiendo una transferencia efectiva.
Comprobaciones de Coordenadas: El análisis de las normas de actualización de activación ( $||\Delta h||$ ) sugería que la implementación estándar era correcta, pero el análisis de las normas espectrales de las matrices de pesos ( $||\Delta W||$ ) reveló una dependencia no lineal con el número de cabezas KV, explicando el fallo en la transferencia. El escalado GQA-µP propuesto elimina esta dependencia.
Transferencia de Decadencia de Pesos y $\tau_{\text{epoch}}$ : El artículo demuestra que, con los escalados correctos, tanto la decadencia de pesos como la constante de tiempo de entrenamiento $\tau_{\text{epoch}}$ (introducida por Wang & Aitchison, 2024) son transferibles a través de tamaños de modelo. La varianza en los hiperparámetros óptimos es significativamente menor para la implementación propuesta en comparación con las líneas base.
Ruido en GQA: Los autores observan que, aunque la transferencia de tasa de aprendizaje es posible, el entrenamiento con GQA introduce un ruido inherente que se vuelve más pronunciado a medida que disminuye el número de cabezas KV. Señalan una compensación: lograr el aprendizaje de características mediante el escalado derivado conduce a dinámicas más ruidosas a medida que $r$ disminuye, mientras que restringir la varianza para estabilizar el entrenamiento desplaza la tasa de aprendizaje óptima.

Significado y Afirmaciones

El artículo afirma cerrar una brecha significativa en la aplicabilidad de µP a arquitecturas LLM modernas y de nivel de producción. Al identificar las limitaciones de la norma espectral estándar para matrices de bajo rango y proponer la norma operadora esperada, los autores proporcionan una base teórica robusta para derivar escalados µP para arquitecturas complejas como GQA.

El significado de este trabajo radica en:

Utilidad Práctica: Permite a los profesionales determinar los hiperparámetros óptimos para modelos grandes basados en GQA (por ejemplo, LLaMA 3, Mistral 7B) utilizando modelos proxy pequeños, reduciendo el costo computacional del ajuste de hiperparámetros.
Rigor Teórico: Refina la definición de aprendizaje de características, avanzando más allá de las comprobaciones basadas en activaciones hacia condiciones espectrales basadas en matrices de pesos, lo que resulta más efectivo para validar implementaciones.
Amplia Aplicabilidad: El marco recupera con éxito los escalados existentes para decadencia de pesos y profundidad (Complete-P) mientras los extiende a GQA, sugiriendo un enfoque unificado para futuras innovaciones arquitectónicas.

Los autores notan modestamente que, aunque su análisis asintótico es sólido, el rango práctico del parámetro de repetición $r$ es finito y típicamente pequeño (por ejemplo, $r \le 16$ ). El objetivo principal del escalado con respecto a $r$ es empírico: evitar la deriva de la tasa de aprendizaje al cambiar el número de repeticiones, en lugar de modelar un límite infinito. También destacan que el entrenamiento con GQA sigue siendo inherentemente ruidoso, sugiriendo precaución al transferir tasas de aprendizaje entre configuraciones GQA muy diferentes.