🤖 machine learning

GQA-{\mu}P: The maximal parameterization update for grouped query attention

Questo articolo introduce GQA-{\mu}P, un nuovo framework di parametrizzazione che deriva le scalature di aggiornamento massimali per l'attenzione a query raggruppate ridefinendo l'apprendimento delle caratteristiche attraverso condizioni di norma spettrale e adattandole per matrici di peso non a rango pieno, consentendo così un trasferimento efficace degli iperparametri tra diverse architetture di modelli.

Autori originali: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Pubblicato 2026-05-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef maestro che cerca di perfezionare una ricetta per un banchetto gigantesco (un modello AI massiccio). Sai che se cuoci una pentola piccola di zuppa (un modello minuscolo) con la giusta quantità di sale e calore, dovresti essere in grado di prevedere esattamente quanta sale e calore usare per la pentola gigante senza dover prima assaggiare la versione enorme. Questo è il sogno dell'Hyperparameter Transfer: usare un modello piccolo per capire le impostazioni per uno grande.

Per un po', gli chef avevano un manuale di regole specifico chiamato µP (Maximal Update Parameterization) che funzionava benissimo per le ricette standard. Ma man mano che i modelli AI evolvevano, iniziarono a usare una nuova tecnica di cottura più efficiente chiamata GQA (Grouped Query Attention). Pensa alla GQA come a un modo per avere più chef che condividono lo stesso set di ingredienti per risparmiare tempo e spazio.

Il problema? Il vecchio manuale (µP) non funzionava per questa nuova tecnica GQA. Se provavi a usare le impostazioni della pentola piccola sulla grande pentola GQA, la zuppa si bruciava o sapeva di insipido. La matematica diceva che avrebbe dovuto funzionare, ma la realtà diceva di no.

Questo articolo, GQA-µP, aggiorna il manuale di regole in modo che funzioni per queste nuove ricette efficienti. Ecco come l'hanno fatto, usando semplici analogie:

1. Il problema del "Righello" (Norma Spettrale vs. Norma Operativa Attesa)

Nel vecchio manuale, gli chef usavano un righello specifico chiamato Norma Spettrale per misurare quanto gli ingredienti (i pesi) stavano cambiando.

Il Problema: Il vecchio righello era progettato per ingredienti "full-rank" (come un blocco solido di formaggio). Ma la GQA usa ingredienti "low-rank" (come un blocco di formaggio con dei buchi).
La Metafora: Immagina di provare a misurare la dimensione di un blocco di formaggio svizzero con un righello pensato per un blocco di legno solido. Il righello potrebbe dire che il formaggio è enorme perché copre tutta la larghezza, ma in realtà, a causa dei buchi, il formaggio non riempie effettivamente quello spazio.
La Soluzione: Gli autori hanno inventato un nuovo righello chiamato Norma Operativa Attesa. Invece di misurare la "dimensione massima teorica" (che include i buchi), questo nuovo righello misura la "dimensione media" che incontri effettivamente quando usi il formaggio. Questo nuovo righello dice correttamente agli chef quanto scalare gli ingredienti in modo che la zuppa abbia il sapore giusto, indipendentemente da quanti buchi (gruppi) ci sono nel formaggio.

2. Il problema del "Lavoro di Squadra" (Grouped Query Attention)

Nella GQA, più "teste query" (chef che fanno domande) condividono le stesse "teste chiave e valore" (chef che forniscono risposte).

Il Problema: Quando raggruppi questi chef insieme, la matematica diventa complicata. Il vecchio manuale assumeva che ogni chef avesse il proprio set unico di strumenti. Quando condividono gli strumenti, la vecchia matematica si confonde su quanto gli strumenti dovrebbero cambiare.
La Soluzione: Gli autori hanno derivato una nuova formula di scalatura specificamente per questa disposizione di condivisione. Hanno capito esattamente come regolare il "learning rate" (quanto velocemente gli chef imparano) in base a quanti chef condividono gli strumenti.
- Analogia: Se un solo chef sta facendo tutto il lavoro, ha bisogno di una certa quantità di energia. Se dieci chef condividono il lavoro, la distribuzione dell'energia cambia. Il nuovo manuale calcola l'energia esatta necessaria in modo che, sia che tu abbia 1 chef o 12, il lavoro venga svolto perfettamente.

3. Il problema del "Sale" (Weight Decay)

In cucina, il "weight decay" è come aggiungere un conservante (sale) per evitare che la zuppa vada a male (overfitting).

Il Problema: Il vecchio manuale non diceva come regolare il sale quando cambiavi la dimensione della pentola o la profondità della ricetta.
La Soluzione: Gli autori hanno dimostrato che se usi le loro nuove regole, puoi anche trasferire le impostazioni del "sale". Puoi trovare la quantità perfetta di sale per una pentola piccola e funzionerà anche per la pentola gigante. Hanno anche dimostrato che una costante temporale specifica (chiamata $\tau_{epoch}$ ) funziona bene per questo trasferimento.

4. Il controllo di realtà della "Cucina Rumorosa"

Gli autori hanno anche trovato una curiosa stranezza nella cucina GQA.

La Scoperta: Anche con il nuovo manuale perfetto, se hai pochissimi chef che condividono gli strumenti (pochissime "teste KV"), il processo di cottura diventa "rumoroso". È come avere una cucina dove gli chef si sussurrano l'un l'altro; a volte si sentono chiaramente, a volte no.
La Lezione: Anche se la matematica funziona, gli autori avvertono che trasferire le impostazioni tra modelli con numeri molto diversi di gruppi condivisi può essere un po' instabile. È meglio fare attenzione quando si passa da una configurazione "molti chef" a una "pochi chef".

Riassunto

In breve, questo articolo dice:

La vecchia matematica per scalare i modelli AI falliva quando si usava l'efficiente tecnica GQA perché usava il "righello" sbagliato per misurare gli ingredienti.
Gli autori hanno creato un nuovo righello (Norma Operativa Attesa) che tiene conto dei "buchi" nella struttura GQA.
Usando questo nuovo righello, hanno scritto un nuovo manuale che permette agli chef di trasferire perfettamente le impostazioni di cottura (learning rate e quantità di sale) dai modelli piccoli ai grandi modelli GQA.
Hanno dimostrato che questo funziona in laboratorio, mostrando che il nuovo manuale rende il processo di addestramento molto più prevedibile ed efficiente.

Non hanno inventato un nuovo modo per cuocere la zuppa (l'architettura AI), ma hanno sistemato le tazze dosatrici e i cucchiai in modo che chiunque possa cuocere una pentola gigante perfetta di zuppa usando la ricetta di una pentola piccola.

Riepilogo Tecnico: GQA-µP: L'Aggiornamento di Parametrizzazione Massimale per l'Attenzione a Query Raggruppate

Enunciato del Problema

Il trasferimento degli iperparametri tra architetture di modelli, in particolare la Parametrizzazione di Aggiornamento Massimale (µP), consente di determinare gli iperparametri ottimali per modelli su larga scala attraverso la scansione di piccoli modelli proxy. Sebbene il µP sia stato applicato con successo al trasferimento del tasso di apprendimento attraverso le larghezze dei modelli, la sua applicazione a nuove architetture e ad altri iperparametri (come il decadimento dei pesi e la profondità) rimane una sfida.

Esiste un vuoto specifico per l'Attenzione a Query Raggruppate (GQA), un meccanismo ampiamente utilizzato nei moderni Modelli Linguistici di Grande Dimensione (LLM) per ridurre l'utilizzo della memoria condividendo le teste chiave e valore tra gruppi di teste query. I precedenti tentativi di applicare il µP standard alla GQA hanno rivelato un fallimento critico: sebbene l'implementazione superasse i "controlli di coordinate" standard (validando le norme di attivazione), non riusciva a trasferire efficacemente i tassi di apprendimento attraverso diversi numeri di teste KV. Inoltre, gli esistenti framework µP faticavano a derivare scalature principiate per il decadimento dei pesi e la profondità senza fare affidamento su assunzioni di "apprendimento pigro". La difficoltà teorica fondamentale nasce dal fatto che le matrici dei pesi GQA sono spesso degeneri di rango (a basso rango), causando il fallimento della norma spettrale standard nel catturare accuratamente la deformazione attesa degli input durante l'addestramento.

Metodologia

Gli autori si basano sulla visione dell'apprendimento di caratteristiche spettrale di Yang et al. (2023a) per derivare nuove leggi di scalatura. La metodologia coinvolge tre avanzamenti teorici e analitici primari:

Ridefinizione dell'Apprendimento di Caratteristiche tramite Norme Spettrali:
Il documento eleva le condizioni di norma spettrale sulle matrici dei pesi da euristica a definizione formale di apprendimento di caratteristiche. Gli autori sostengono che garantire che la norma spettrale degli aggiornamenti dei pesi si scalini correttamente è una condizione più forte e affidabile per l'apprendimento di caratteristiche rispetto all'analisi delle sole norme di attivazione. Questo spostamento permette la derivazione di scalature di profondità e decadimento dei pesi Complete-P senza ricorrere ad assunzioni di apprendimento pigro.
Introduzione della Norma Operativa Attesa:
Per affrontare la degenerazione di rango delle matrici GQA, gli autori introducono una norma modificata: la norma operativa attesa ( $||A||_E$ ).
- Le norme spettrali standard ( $||A||$ ) misurano la deformazione massima di un vettore di input. Per matrici a rango pieno, questo valore è raggiunto asintoticamente.
- Per matrici degeneri di rango (come la GQA), i vettori che causano la deformazione massima si verificano con probabilità zero durante l'addestramento (poiché gli input sono i.i.d.). Di conseguenza, la norma spettrale sovrastima la deformazione effettiva.
- La norma operativa attesa è definita come l'aspettativa del rapporto tra le norme di output e input sulla distribuzione di input: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$ .
- Questa norma riflette correttamente la deformazione effettiva incontrata durante l'addestramento, ripristinando la validità delle leggi di scalatura per la GQA.
Derivazione delle Scalature GQA-µP:
Utilizzando la norma operativa attesa, gli autori derivano i fattori di scalatura specifici per i livelli GQA.
- Per un livello GQA con $r$ ripetizioni delle teste chiave-valore, il tasso di apprendimento ( $\eta$ ) e il decadimento dei pesi ( $\lambda$ ) devono essere scalati diversamente rispetto all'attenzione standard.
- La scalatura del tasso di apprendimento derivata è $\eta = \Theta(\frac{1+\sqrt{r}}{n})$ , dove $n$ è la dimensione dell'embedding.
- La scalatura del decadimento dei pesi è aggiustata a $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ per mantenere l'equilibrio tra regolarizzazione e aggiornamenti del gradiente.
- Queste derivazioni sono riassunte nella Tabella 1 del documento, fornendo una parametrizzazione unificata per i Transformer con GQA.
Scalatura della Profondità (Complete-P):
Il framework è applicato alle reti residuali per derivare le scalature di profondità. Applicando la condizione spettrale alla composizione dei blocchi residuali, gli autori dimostrano che il fattore di scalatura $\beta$ per i rami residuali deve essere $\Theta(L^{-1})$ (dove $L$ è la profondità) per prevenire l'esplosione o la scomparsa del segnale, recuperando gli stessi risultati di Dey et al. (2025) senza richiedere l'assunzione di "nessun apprendimento pigro".

Contributi Chiave

Prima Derivazione µP per la GQA: Il documento fornisce, a conoscenza degli autori, la prima derivazione principiata delle scalature µP per l'Attenzione a Query Raggruppate, risolvendo la discrepanza in cui le implementazioni µP standard fallivano nel trasferire i tassi di apprendimento.
Estensione Teorica del µP Spettrale: Il lavoro estende la teoria del µP spettrale di Yang et al. (2023a) promuovendo le condizioni di norma spettrale alla definizione di apprendimento di caratteristiche e introducendo la norma operativa attesa per gestire pesi degeneri di rango. Ciò permette la derivazione di scalature per decadimento dei pesi, blocchi di ricorsione e GQA.
Validazione Empirica del Trasferimento: Gli autori dimostrano che le loro scalature derivate permettono il trasferimento dei tassi di apprendimento attraverso diversi conteggi di ripetizioni GQA ( $r$ ) e del decadimento dei pesi attraverso le dimensioni del modello. Mostrano che l'implementazione vanilla Adam-µP fallisce i controlli di coordinate spettrali per la GQA, mentre la loro scalatura proposta li supera.

Risultati Sperimentali

Gli autori validano le loro derivazioni teoriche attraverso estesi esperimenti:

Trasferimento del Tasso di Apprendimento: Esperimenti che variano il numero di teste KV (da 1 a 12) mostrano che la parametrizzazione standard e l'Adam-µP vanilla non convergono a un tasso di apprendimento ottimale coerente. Al contrario, la scalatura GQA-µP proposta restringe significativamente la regione del tasso di apprendimento ottimale, abilitando un trasferimento efficace.
Controlli di Coordinate: L'analisi delle norme di aggiornamento dell'attivazione ( $||\Delta h||$ ) suggeriva che l'implementazione vanilla fosse corretta, ma l'analisi delle norme spettrali delle matrici dei pesi ( $||\Delta W||$ ) ha rivelato una dipendenza non lineare dal numero di teste KV, spiegando il fallimento del trasferimento. La scalatura GQA-µP proposta rimuove questa dipendenza.
Trasferimento del Decadimento dei Pesi e di $\tau_{\text{epoch}}$ : Il documento dimostra che con le scalature corrette, sia il decadimento dei pesi che la costante temporale di addestramento $\tau_{\text{epoch}}$ (introdotta da Wang & Aitchison, 2024) sono trasferibili attraverso le dimensioni del modello. La varianza negli iperparametri ottimali è significativamente inferiore per l'implementazione proposta rispetto alle linee di base.
Rumore nella GQA: Gli autori osservano che, sebbene il trasferimento del tasso di apprendimento sia possibile, l'addestramento GQA introduce un rumore intrinseco che diventa più pronunciato all'aumentare del numero di teste KV. Notano un compromesso: ottenere l'apprendimento di caratteristiche tramite la scalatura derivata porta a dinamiche più rumorose al diminuire di $r$ , mentre vincolare la varianza per stabilizzare l'addestramento sposta il tasso di apprendimento ottimale.

Significato e Affermazioni

Il documento afferma di colmare un vuoto significativo nell'applicabilità del µP alle moderne architetture LLM di livello produttivo. Identificando i limiti della norma spettrale standard per le matrici a basso rango e proponendo la norma operativa attesa, gli autori forniscono una solida base teorica per derivare scalature µP per architetture complesse come la GQA.

Il significato di questo lavoro risiede in:

Utilità Pratica: Permette ai praticanti di determinare gli iperparametri ottimali per grandi modelli basati su GQA (ad esempio, LLaMA 3, Mistral 7B) utilizzando piccoli modelli proxy, riducendo il costo computazionale della sintonizzazione degli iperparametri.
Rigorosità Teorica: Affina la definizione di apprendimento di caratteristiche, spostandosi oltre i controlli basati sull'attivazione verso condizioni spettrali basate sulle matrici dei pesi, che si dimostrano più efficaci per validare le implementazioni.
Ampia Applicabilità: Il framework recupera con successo le scalature esistenti per il decadimento dei pesi e la profondità (Complete-P) estendendole alla GQA, suggerendo un approccio unificato per future innovazioni architetturali.

Gli autori notano modestamente che, sebbene la loro analisi asintotica sia solida, la gamma pratica del parametro di ripetizione $r$ è finita e tipicamente piccola (ad esempio, $r \le 16$ ). L'obiettivo principale della scalatura rispetto a $r$ è empirico: prevenire la deriva del tasso di apprendimento quando si cambia il numero di ripetizioni, piuttosto che modellare un limite infinito. Evidenziano inoltre che l'addestramento GQA rimane intrinsecamente rumoroso, suggerendo cautela nel trasferire tassi di apprendimento attraverso configurazioni GQA molto diverse.