🤖 machine learning

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

Il documento propone l'attenzione latente a query di gruppo (GQLA), una modifica adattiva all'hardware dell'attenzione latente multi-testa di DeepSeek che consente a un singolo insieme di pesi di passare dinamicamente da un percorso di assorbimento MQA per GPU di classe H100 a un percorso GQA per GPU commerciali come l'H20, ottimizzando così l'efficienza dell'inferenza e supportando la previsione multi-token senza richiedere riaddestramento o kernel personalizzati.

Autori originali: Fanxu Meng

Pubblicato 2026-05-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fanxu Meng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire una biblioteca enorme (un Modello Linguistico di Grande Dimensione) dove ogni volta che un bibliotecario scrive una nuova frase, deve ripercorrere mentalmente ogni singolo libro che ha mai letto per assicurarsi che la nuova frase abbia senso. Questo "ripensare" è la parte più costosa del processo, richiedendo un'enorme quantità di traffico di memoria.

Per lungo tempo, il modo migliore per gestire questo problema è stato un metodo chiamato MLA (Multi-head Latent Attention). Pensa alla MLA come a un sistema di "note di sintesi" super-efficiente. Invece di conservare ogni dettaglio di ogni libro, il bibliotecario comprime tutte le informazioni importanti in un minuscolo "trucco" a basso rango (un vettore latente).

Il Problema del Vecchio Sistema (MLA):
Il documento sostiene che, sebbene questo sistema di "trucco" sia brillante, è stato costruito specificamente per un unico computer molto costoso e ad alte prestazioni (l'NVIDIA H100).

L'Adattamento all'H100: Su questo costoso computer, il sistema funziona perfettamente perché la macchina è veloce nei calcoli matematici ma ha una velocità di memoria limitata. Il "trucco" mantiene basso l'uso della memoria, allineandosi ai punti di forza del computer.
L'Inadeguatezza per l'H20: Tuttavia, esiste un computer più economico e soggetto a restrizioni all'esportazione (l'H20) che dispone di abbondante velocità di memoria ma è molto più lento nell'eseguire calcoli matematici. Per questa macchina, il vecchio sistema di "trucco" è un disastro. Costringe il computer a eseguire troppi calcoli matematici rispetto alla quantità di dati che sta spostando, causandone l'arresto.
Rigidità: Il vecchio sistema è come un abito cucito su misura per una sola persona specifica. Non puoi indossarlo se cambi corporatura. Inoltre, impedisce alla biblioteca di utilizzare efficientemente più lavoratori (Parallelismo Tensoriale) e li blocca dal prevedere più parole successive contemporaneamente (Previsione Multi-Token) senza rallentare.

La Nuova Soluzione: GQLA (Group-Query Latent Attention)
Gli autori propongono un nuovo sistema chiamato GQLA. Pensa a questo non come a un nuovo abito, ma come a un abito trasformabile che si adatta perfettamente a due diversi tipi di corporatura utilizzando esattamente lo stesso tessuto (gli stessi pesi addestrati).

Ecco come funziona con un'analogia:

I Due Percorsi:
- Percorso A (La Modalità "Super-Compatta"): Questo è lo stile MLA originale. Mantiene il minuscolo "trucco". È perfetto per il costoso computer H100, ricco di calcoli matematici. Minimizza il traffico di memoria.
- Percorso B (La Modalità "Raggruppata"): Questo è il nuovo trucco. Invece di comprimere tutto in un'unica nota minuscola, raggruppa le note in 8 "cartelle" separate. Questo crea una cache leggermente più grande, ma permette al computer di eseguire meno calcoli matematici per ogni passaggio. È perfetto per il più economico computer H20, che è lento nei calcoli ma veloce nello spostamento dei dati.
L'Interruttore Magico:
La parte migliore è che la biblioteca non deve essere ricostruita. L'"abito" (i pesi del modello) è lo stesso. Quando distribuisci il modello:
- Se sei su un H100, attivi un interruttore per utilizzare il Percorso A.
- Se sei su un H20, attivi un interruttore per utilizzare il Percorso B.
- Nessun Ri-addestramento Necessario: Non devi insegnare nulla di nuovo al bibliotecario. Cambi solo il modo in cui legge le sue note.
- Nessuno Strumento Personalizzato: Utilizza strumenti standard che esistono già nella cassetta degli attrezzi del computer.
Perché è Migliore:
- Adattabilità all'Hardware: Trova il "punto dolce" sia per i computer costosi che per quelli economici, massimizzando la velocità su entrambi.
- Lavoro di Squadra: A differenza del vecchio sistema, il nuovo percorso "Raggruppato" permette a più lavoratori di collaborare in modo efficiente (Parallelismo Tensoriale), cosa che prima era bloccata.
- Protezione per il Futuro: Supporta anche la "previsione di più parole contemporaneamente" (Previsione Multi-Token) sui computer più economici, cosa che il vecchio sistema non poteva fare senza bloccarsi.

Il Trucco "TransGQLA":
Il documento mostra anche come prendere una biblioteca esistente (un modello già addestrato con il vecchio sistema raggruppato) e convertirlo istantaneamente in questo nuovo "abito trasformabile" senza ricominciare da zero. È come prendere una giacca standard e aggiungere una cerniera nascosta che permette di trasformarla istantaneamente nella versione super-compatta.

I Risultati:

Sull'H100, performa esattamente quanto il sistema originale.
Sull'H20, è 3,4 volte più veloce del sistema originale perché impedisce al computer di sprecare tempo in calcoli matematici non necessari.
Hanno testato questo su un modello standard (LLaMA-3-8B) e hanno scoperto che convertirlo in questo nuovo formato ha cambiato appena la sua intelligenza, perdendo pochissime capacità mentre si guadagnava una velocità enorme su hardware più economico.

In Sintesi:
Il documento introduce un meccanismo di attenzione flessibile che agisce come un "adattatore universale". Permette a un singolo modello AI di funzionare alla massima efficienza sia su chip costosi e di fascia alta, sia su chip più economici e soggetti a restrizioni, semplicemente cambiando il modo in cui organizza la propria memoria, senza bisogno di ri-addestrare il modello o costruire nuovi software.

Riepilogo Tecnico: GQLA – Attenzione Latente a Gruppi di Query per la Decodifica di Modelli Linguistici di Grande Dimensione Adattiva all'Hardware

1. Enunciato del Problema

La decodifica autoregressiva moderna dei Large Language Model (LLM) è fondamentalmente limitata dal traffico della cache Key-Value (KV), poiché ogni token generato richiede la lettura dell'intera storia delle chiavi e dei valori memorizzati nella cache dalla memoria fuori chip. Sebbene architetture recenti come l'Attenzione Latente Multi-testa (MLA), utilizzata in DeepSeek-V2/V3, raggiungano una riduzione dello stato della cache KV all'avanguardia comprimendo congiuntamente chiavi e valori in un latente a rango ridotto, soffrono di tre svantaggi hardware accoppiati quando implementate su hardware di inferenza diversificato:

Accoppiamento Hardware: I pesi addestrati dell'MLA espongono un unico percorso di decodifica (una forma "assorbita" di Attenzione Multi-Query o MQA). Questo percorso è perfettamente sintonizzato sul rapporto calcolo/banda delle GPU di fascia alta come la NVIDIA H100 (cresta $\approx$ 295 FLOPs/byte). Tuttavia, su GPU soggette a restrizioni all'esportazione o di consumo come la H20 (che mantiene la banda ma riduce il calcolo di $\sim$ 7x, abbassando la cresta a $\approx$ 37 FLOPs/byte), questo percorso diventa gravemente limitato dal calcolo, risultando in una scarsa produttività.
Perdita di Parallelismo Tensoriale (TP): La forma MQA assorbita convoglia tutti i gruppi di query attraverso un unico latente KV condiviso. Questa struttura impedisce il parallelismo tensoriale lungo l'asse dei gruppi, poiché ogni dispositivo deve replicare l'intero latente, limitando la scalabilità.
Guadagno Zero nella Predizione Multi-Token (MTP): L'MTP, che genera più token per passo per aumentare l'intensità aritmetica, spinge la decodifica già limitata dal calcolo della H20 ulteriormente oltre la sua cresta di efficienza, producendo zero guadagno di produttività. Al contrario, sulla H100, l'MTP supera la cresta, riducendo l'efficienza del guadagno.

2. Metodologia: Attenzione Latente a Gruppi di Query (GQLA)

Gli autori propongono la GQLA (Group-Query Latent Attention), una modifica architettonica minima dell'MLA che preserva la compressione latente congiunta a rango ridotto esponendo due percorsi di decodifica algebricamente equivalenti sugli stessi parametri addestrati.

Architettura

La GQLA indicizza le matrici di proiezione verso l'alto ( $W_{UK}, W_{UV}$ ) per $g$ gruppi anziché replicarle su tutti gli $h_q$ gruppi di query. Questo design abilita due percorsi di esecuzione distinti:

Percorso MQA-Assorbito (Amichevole alla Memoria):
- Meccanismo: Identico all'MLA. Le proiezioni verso l'alto sono assorbite nelle proiezioni di query e output. Tutti gli $h_q$ gruppi si rivolgono direttamente alla cache latente compatta ($cKV$).
- Cache: Memorizza solo il latente ( $r_{kv}$ ) e una chiave RoPE condivisa ( $d^R_h$ ).
- Hardware Target: Ottimizzato per hardware di classe H100 dove l'intensità aritmetica ( $\approx$ 242 FLOPs/byte per $s_q=1$ ) si trova appena sotto la cresta memoria-calcolo.
Percorso GQA (Amichevole al Calcolo):
- Meccanismo: Il latente viene espanso in $g$ gruppi di chiavi/valori. La decodifica esegue la classica Attenzione a Gruppi di Query (GQA) senza espansione latente per passo.
- Cache: Memorizza chiavi e valori espansi per gruppo ( $2gd_h$ ) più la chiave RoPE condivisa.
- Hardware Target: Ottimizzato per hardware di classe H20. Regolando il numero di gruppi ( $g$ ) e il numero di token di query per passo ( $s_q$ ), l'intensità aritmetica può essere fissata alla cresta della H20 ( $\approx$ 37 FLOPs/byte).
- Scalabilità: Supporta fino a 8 vie di parallelismo tensoriale a ridondanza zero lungo l'asse dei gruppi.

Selezione del Percorso

Il runtime seleziona il percorso in base all'hardware target senza riaddestramento o kernel personalizzati:

H100: Utilizza il percorso MQA-assorbito ( $s_q=1$ ).
H20: Utilizza il percorso GQA (ad esempio, $g=8, s_q=2$ o $g=4, s_q=1$ ).
MTP: Sulla H20, il percorso GQA con $s_q=2$ recupera guadagni di produttività quasi ideali, mentre l'MLA non ottiene alcun guadagno.

TransGQLA: Conversione da Modelli Pre-addestrati

Per evitare il preaddestramento da zero, gli autori introducono TransGQLA, un'estensione della pipeline TransMLA. Converte un checkpoint GQA pre-addestrato in un modello GQLA tramite una singola modifica mirata:

Fusione dei Gruppi: Invece di fondere i gruppi di query in un unico latente e replicare le proiezioni verso l'alto su tutti i gruppi di query (come in TransMLA), TransGQLA mantiene le proiezioni verso l'alto indicizzate per gruppo.
Risultato: Il modello mantiene strutturalmente il percorso di esecuzione GQA abilitando al contempo il percorso MQA-assorbito tramite l'operazione di assorbimento standard. Questo preserva il parallelismo tensoriale lungo l'asse dei gruppi.

GQLA Sparsa

Il design si estende all'attenzione sparsa a grana fine. Poiché la configurazione canonica GQLA ( $h_q/g = 16$ ) corrisponde alla dimensione della tessera MMA del Tensor-Core ( $m=16$ ), la GQLA sparsa può preservare il percorso GQA su hardware di classe H20. Al contrario, l'MLA sparsa è strutturalmente bloccata sul percorso MQA assorbito a causa dei vincoli delle tessere, ereditando gli stessi problemi di sovraccarico computazionale.

3. Contributi Chiave

Identificazione degli Svantaggi dell'MLA: Il documento identifica che il design a percorso singolo dell'MLA lo accoppia ai rapporti di classe H100, rinuncia al parallelismo tensoriale sull'asse dei gruppi e produce guadagni MTP nulli sulle GPU di consumo.
Architettura GQLA: Una variante minima dell'MLA che espone due percorsi algebricamente equivalenti (MQA-assorbito e GQA) sugli stessi pesi. Una singola configurazione ( $h_q=128, g=8$ ) con un gruppo di testa MTP fissa le linee di tetto sia della H100 che della H20 simultaneamente.
Pipeline TransGQLA: Un metodo di conversione che trasforma checkpoint GQA pre-addestrati in modelli GQLA con modifiche architettoniche minime, mantenendo il parallelismo tensoriale e abilitando una transizione fluida alla forma latente.
Analisi Roofline: Una verifica teorica che mostra come i pesi GQLA possano raggiungere una produttività vicina al picco sia su H100 che su H20 cambiando percorso, mentre l'MLA è inefficiente sulla H20.

4. Risultati

Gli autori hanno valutato TransGQLA sul modello LLaMA-3-8B:

Preservazione delle Capacità: Convertire i pesi GQA nella forma latente GQLA (senza ulteriore addestramento) ha comportato una perdita di soli $\sim$ 9.7 punti medi sui benchmark di ragionamento di senso comune (MMLU, ARC, ecc.) rispetto al modello originale pre-addestrato su 15T token.
Compressione della Cache: Sul percorso MQA-assorbito, la cache KV per token è stata compressa al 28,125% della baseline GQA originale (una riduzione del 71,875%).
Proiezioni di Produttività:
- H100: Il percorso MQA-assorbito raggiunge 354K token/sec.
- H20: Il percorso GQA (con $g=8, s_q=2$ ) raggiunge 221K token/sec, un miglioramento di 3,4x rispetto all'MLA sullo stesso dispositivo (che è bloccato a 65K token/sec a causa della limitazione computazionale).
Pre-addestramento Continuo: Gli autori prevedono che il pre-addestramento continuo (seguendo la traiettoria TransMLA) recupererà la capacità persa fino a 0,5 punti dal modello originale dopo 30B token, mantenendo al contempo la compressione della cache KV.

5. Significato e Affermazioni

Il documento afferma che GQLA offre un principio di progettazione pratico e agnostico all'hardware per l'inferenza LLM. Esponendo percorsi di decodifica multipli algebricamente equivalenti su un singolo insieme di pesi addestrati, GQLA permette a un modello di adattarsi a vincoli hardware diversi (ricchi di calcolo vs. ricchi di memoria) al momento della distribuzione senza riaddestramento o kernel personalizzati.

Gli autori posizionano GQLA come soluzione al problema dell'"accoppiamento hardware", abilitando una distribuzione efficiente sia su acceleratori di punta (H100) che su hardware di consumo/soggetto a restrizioni all'esportazione (H20). Sottolineano che questo approccio supporta la Predizione Multi-Token e il Parallelismo Tensoriale su hardware dove l'MLA fallisce nel farlo in modo efficiente.

Limitazioni Riconosciute:

Le affermazioni sull'hardware si basano sulla modellazione Roofline; i benchmark completi a livello di kernel su hardware H20/H100 reale sono in attesa.
I risultati del pre-addestramento continuo per TransGQLA sono attualmente in corso e non ancora finalizzati nel documento.
La valutazione è attualmente limitata al backbone LLaMA-3-8B e ai benchmark di ragionamento di senso comune.
La GQLA sparsa è descritta strutturalmente ma non è ancora stata confrontata con i benchmark rispetto ai metodi di attenzione sparsa esistenti.