🤖 AI

Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling

Questo articolo presenta AFlex, un framework che riduce il consumo energetico nel serving di LLM fino al 49% attraverso l'esecuzione disaggregata di Attention-FFN, l'ottimizzazione congiunta di risorse e frequenza e una pipeline intercalata che si adatta alle sensibilità di frequenza a livello di operatore pur rispettando rigorosi SLO di latenza.

Autori originali: Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di gestire un enorme, super-intelligente cervello robotico in un gigantesco centro dati. Questo cervello, noto come Large Language Model (LLM), è il motore dietro chatbot, assistenti alla programmazione e scrittori creativi. Ma c'è un problema: questi cervelli sono incredibilmente affamati. Consumano enormi quantità di elettricità, spesso facendo girare i loro processori alla massima velocità, come il motore di un'auto da corsa che accelera al massimo dei giri anche quando l'auto è bloccata nel traffico. Questo è un problema perché costa una fortuna in energia e genera molto calore.

Per far correre più velocemente questi robot, gli scienziati hanno capito come dividere il lavoro. Pensa al processo di pensiero del robot come ad avere due fasi principali: prima, legge e comprende la tua domanda (la fase di "prefill"), e seconda, scrive la risposta parola per parola (la fase di "decode"). Recentemente, gli ingegneri si sono resi conto che è meglio mettere queste due fasi in stanze diverse con team di lavoratori diversi, piuttosto che avere un unico team che faccia entrambe le cose. Questo viene chiamato "disaggregazione". Aiuta il robot a rispondere più velocemente, ma non lo rende necessariamente meno energivoro. Infatti, se si riduce semplicemente la velocità dei lavoratori per risparmiare energia, il robot potrebbe diventare troppo lento e mancare le sue scadenze. La grande domanda è: come possiamo rallentare per risparmiare energia senza far sussultare o fallire il robot?

Questo articolo presenta un nuovo e intelligente sistema chiamato AFlex che risolve questo enigma trattando il cervello del robot come una squadra di specialisti con diverse esigenze energetiche. I ricercatori hanno scoperto che le due parti principali del cervello del robot — la parte che presta attenzione alle tue parole (Attention) e la parte che elabora la logica (Feed-Forward Network, o FFN) — non sono uguali. Sono come due atleti diversi: uno è uno sprinter che ha bisogno di una spinta ad alta velocità per correre veloce, mentre l'altro è un maratoneta che si stanca se lo spingi troppo, ma può mantenere un ritmo costante e più lento in modo efficiente.

In precedenza, i sistemi trattavano l'intero cervello come un'unica unità, costringendo sia lo sprinter che il maratoneta a correre alla stessa identica velocità. Se si accelerava per aiutare lo sprinter, il maratoneta sprecava energia. Se si rallentava per risparmiare il maratoneta, lo sprinter diventava troppo lento. Gli autori di questo articolo hanno scoperto che queste due parti preferiscono velocità diverse a seconda di ciò che il robot sta facendo, di quanto sia lunga la domanda e di quante persone stiano facendo domande contemporaneamente.

Per risolvere questo problema, AFlex agisce come un manager intelligente che può dare allo sprinter e al maratoneta le proprie piste separate e le proprie impostazioni di velocità personali. Utilizza uno "Scheduler Globale" per pianificare il quadro generale, decidendo quanti lavoratori assegnare a ogni compito, e un "Controller Locale" per regolare le loro velocità in tempo reale, secondo dopo secondo. Il sistema utilizza anche una speciale tecnica di pipeline in cui i lavoratori si scambiano appunti mentre stanno ancora lavorando, in modo che nessuno rimanga in attesa. Questo approccio "interleaved" mantiene la catena di montaggio in movimento fluido senza interruzioni.

I ricercatori hanno testato AFlex su potenti chip per computer (GPU NVIDIA A800) utilizzando dati reali da compiti di programmazione e conversazione. Hanno scoperto che, permettendo alle parti Attention e FFN di girare alle proprie velocità uniche e di risparmio energetico, il sistema poteva ridurre l'energia utilizzata per parola generata fino al 49% rispetto ai migliori metodi esistenti che dividevano il lavoro, e del 48% rispetto ai sistemi che cercavano solo di rallentare l'intero chip. Fondamentalmente, il robot rispondeva con la stessa velocità di prima, rispettando tutte le sue promesse di velocità. L'articolo suggerisce che questo approccio di dare a diverse parti del cervello dell'IA velocità differenti è un passo importante verso il rendere l'intelligenza artificiale molto più efficiente dal punto di vista energetico senza sacrificare le prestazioni.

Riepilogo Tecnico: AFlex – Servizio di LLM a Efficienza Energetica tramite Attention–FFN Disaggregata e Scalatura della Frequenza Flessibile

1. Definizione del Problema

Il servizio di Large Language Model (LLM) nei moderni data center affronta un critico compromesso tra il soddisfacimento di rigorosi Obiettivi di Livello di Servizio (SLO) — specificamente il Time to First Token (TTFA) e il Time Per Output Token (TPOT) — e la minimizzazione del consumo energetico. Sebbene la Dynamic Voltage and Frequency Scaling (DVFS) offra un meccanismo per scambiare prestazioni con risparmio energetico, gli approcci esistenti alla gestione dell'energia soffrono di due limitazioni primarie:

Controllo della Frequenza a Grana Grossa: Gli attuali sistemi applicano la scalatura della frequenza a livello di richiesta, di fase di inferenza (prefill vs. decode) o di istanza. Essi non tengono conto dell'eterogeneità a livello di operatore. Nello specifico, i due operatori dominanti nell'inferenza LLM, Attention e Feed-Forward Networks (FFN), esibiscono caratteristiche di calcolo e memoria distinte. L'Attention è spesso limitata dalla memoria (sensibile all'accesso alla KV cache), mentre l'FFN è tipicamente limitata dal calcolo. Di conseguenza, le loro frequenze ottimali per l'efficienza energetica differiscono significativamente e variano dinamicamente in base al carico di lavoro, alla dimensione del batch e alle configurazioni di parallelismo tensoriale (TP).
Inefficienza del Servizio Disaggregato: Sebbene il servizio a Fase-Disaggregata (P/D) separi prefill e decode per ridurre l'interferenza, esso tratta ancora ogni fase come un singolo dominio di frequenza. Inoltre, il servizio Operatore-Disaggregato (A/F), che separa l'esecuzione di Attention e FFN, introduce sfide:
- Complessità dello Spazio di Ricerca: L'ottimizzazione congiunta del provisioning delle risorse (gradi di TP, numero di istanze) e delle frequenze indipendenti per quattro pool di operatori (Prefill-Attention, Prefill-FFN, Decode-Attention, Decode-FFN) crea un enorme spazio di ricerca combinatoria.
- Overhead: La disaggregazione A/F richiede il trasferimento degli stati nascosti tra gli operatori. La riconfigurazione dinamica delle risorse e lo switching frequente della frequenza introducono overhead di comunicazione e di transizione che possono annullare i risparmi energetici se non gestiti con cura.

2. Metodologia: Il Framework AFlex

Per affrontare queste sfide, gli autori presentano AFlex, un framework che ottimizza congiuntamente il provisioning delle risorse e la scalatura della frequenza della GPU per il servizio A/F disaggregato. AFlex si basa su quattro principi di progettazione: consapevolezza dell'operatore, ottimizzazione congiunta consapevole degli SLO, separazione del piano di controllo dal controllo runtime e riconfigurazione consapevole degli overhead.

A. Architettura

AFlex impiega un piano di controllo a due livelli e un piano dati pipelined:

Global Scheduler (Piano di Controllo):
- Profiling & Predizione: Utilizza il profiling offline per addestrare modelli di regressione leggeri (Gradient-Boosted Decision Trees) che predicono la latenza dell'operatore e il consumo energetico in base alla frequenza della GPU, alla dimensione del batch, alla lunghezza della sequenza e al grado di TP.
- Orchestratore delle Risorse: Risolve periodicamente un Programma Lineare Intero (ILP) per determinare il numero ottimale di coppie A/F, i gradi di TP e le frequenze di base. L'ILP minimizza l'energia totale soggetto ai vincoli di memoria della GPU, ai requisiti di throughput e agli SLO di TTFT/TPOT per ogni layer.
- Motore di Riconfigurazione Runtime: Applica nuove configurazioni in modo incrementale. Riutilizza i frammenti di pesi residenti e recupera i frammenti mancanti in modo asincrono per minimizzare le interruzioni, distinguendo tra la pesante riconfigurazione di TP e gli aggiustamenti leggeri della frequenza.
Local DVFS Controller (Piano di Controllo):
- Raffina il piano globale con granularità millesimale.
- Prefill: Seleziona una coppia di frequenze PA/PF fissa prima del lancio del batch in base al budget TTFT rimanente.
- Decode: Utilizza un algoritmo basato su finestra per ammortizzare i costi di switching della frequenza. Regola le frequenze DA/DF solo quando la dimensione del batch cambia significativamente o quando il rischio di violare l'SLO del TPOT è concreto, evitando l'oneroso switch per ogni singola iterazione.
AFD Data Plane:
- Pipeline Interleaved: Avvia l'operatore di Attention del layer successivo non appena il FFN del layer corrente completa l'esecuzione, sovrapponendo i trasferimenti degli stati nascosti al calcolo.
- Microbatching Dinamico & Batching Adattivo: Seleziona dinamicamente la profondità del microbatch ( $M$ ) e le dimensioni del batch delle richieste per bilanciare l'esecuzione A/F. Ad esempio, sotto carico ridotto, può utilizzare $M=1$ per evitare la divisione di piccoli batch; sotto carico elevato, aumenta $M$ per massimizzare la sovrapposizione e ridurre i "pipeline bubble".
- Trasferimento Consapevole del Posizionamento: Ottimizza i trasferimenti degli stati nascosti attraverso gruppi TP eterogenei utilizzando il raggruppamento affine alla NIC per parallelizzare i trasferimenti senza richiedere la replica completa delle attivazioni.

B. Insight Tecnici Chiave

Il design si basa su osservazioni empiriche:

Eterogeneità dei Minimi Energetici: Gli operatori Attention e FFN raggiungono i minimi di energia a frequenze diverse (gap medio di 429 MHz). Una singola frequenza è subottimale per entrambi.
Sensibilità Dinamica: La sensibilità dell'operatore alle variazioni di frequenza cambia con la dimensione del batch e il grado di TP, rendendo necessaria l'adattabilità runtime piuttosto che configurazioni fisse.
Costi di Squilibrio: Il provisioning omogeneo porta a significativi pipeline bubble (19.7–75.7% del tempo di step), causando un sostanziale spreco di energia.

3. Contributi Chiave

Il paper rivendica i seguenti contributi:

Caratterizzazione dell'Eterogeneità a Livello di Operatore: Un'analisi sistematica che rivela come gli operatori A/F abbiano sensibilità alla frequenza e ottimi energetici distinti che variano tra le fasi, i carichi di lavoro e le configurazioni di sistema.
Piano di Controllo a Due Livelli: Un'architettura innovativa che combina il provisioning delle risorse A/F globale (tramite ILP) con l'adattamento DVFS locale per operatore per minimizzare l'energia sotto vincoli stretti.
Data Plane A/F Interleaved: Un design di pipeline che sovrappone comunicazione e calcolo e regola dinamicamente la profondità del microbatch e il batching delle richieste per eliminare i pipeline bubble.
Valutazione Completa: Implementazione e valutazione su un cluster di GPU multi-nodo utilizzando tracce di produzione, dimostrando riduzioni energetiche sostanziali rispetto ai sistemi allo stato dell'arte.

4. Risultati Sperimentali

Gli autori hanno implementato AFlex sopra SGLang e lo hanno valutato su GPU NVIDIA A800 utilizzando i modelli Qwen3-32B (dense) e Mixtral-8×7B (MoE). I carichi di lavoro includevano tracce di produzione (Conversazione, Coding) e carichi sintetici controllati (QA, RAG, Chatbot, Summary).

Metriche di Performance:

Efficienza Energetica: AFlex riduce l'energia per token fino al 49% rispetto al servizio disaggregato allo stato dell'arte (DistServe) e del 48% rispetto ai sistemi di scalatura della frequenza (DynamoLLM).
Conformità agli SLO: AFlex soddisfa costantemente gli SLO P90 di TTFT e TPOT in tutti i carichi testati, mentre alcuni baseline violano gli SLO o richiedono frequenze più elevate per soddisfarli, aumentando il consumo energetico.
Scalabilità: Il vantaggio di risparmio energetico persiste scalando da 1 a 4 nodi. AFlex mantiene almeno un miglioramento del 20.2% rispetto al miglior baseline tra le dimensioni del cluster.
Supporto MoE: AFlex gestisce efficacemente i modelli Mixture-of-Experts, affrontando gli squilibri A/F intra-fase che la sola disaggregazione P/D non può risolvere, ottenendo una riduzione energetica fino al 41.4% rispetto ai baseline.
Overhead: Il solver ILP globale aggiunge un overhead trascurabile (<0.2% della finestra di scheduling di 5 minuti). La riconfigurazione incrementale riduce i tempi di transizione TP del 52–72% rispetto ai metodi base.

5. Significatività e Rivendicazioni

Il paper posiziona AFlex come il primo framework di servizio LLM che combina l'esecuzione disaggregata di Attention-FFN con la scalatura della frequenza indipendente e flessibile per operatore.

Complementarità: Gli autori sostengono che la disaggregazione fine (AFD) e la DVFS fine siano complementari. Mentre l'AFD espone l'eterogeneità delle risorse, la DVFS sfrutta il "margine" risultante per abbassare le frequenze sugli operatori meno sensibili (ad esempio, abbassando la frequenza FFN quando l'Attention è il collo di bottiglia).
Praticità: Decoupling (disaccoppiando) la riconfigurazione lenta delle risorse dal percorso critico dell'inferenza e ammortizzando i costi di switching tramite il controllo basato su finestra, AFlex dimostra che l'ottimizzazione energetica fine è fattibile senza sacrificare gli SLO di latenza.
Impatto: I risultati suggeriscono che andare oltre il controllo a livello di fase o di istanza per arrivare al controllo a livello di operatore è essenziale per la prossima generazione di servizio LLM efficiente dal punto di vista energetico, specialmente man mano che i carichi di lavoro diventano più diversificati e i vincoli hardware si stringono.

Gli autori concludono che AFlex fornisce una soluzione robusta e scalabile per ridurre l'impronta di carbonio dell'inferenza LLM, mantenendo al contempo la reattività richiesta dalle applicazioni interattive.