Riepilogo Tecnico: PARS – Prompt-Aware Ranking Scheduler per il Servizio LLM a Bassa Latenza

Definizione del Problema

Il dispiegamento dei Large Language Models (LLM), in particolare della generazione emergente di modelli capaci di ragionamento (ad es., DeepSeek R1, GPT-o1), affronta una sfida critica nello scheduling dell'inferenza: il Head-of-Line (HOL) blocking. I sistemi di serving tradizionali, come vLLM e Orca, si affidano prevalentemente a politiche First Come, First Serve (FCFS). In un sistema FCFS, i compiti di inferenza a lunga durata (spesso caratterizzati da tracce di ragionamento Chain-of-Thought altamente variabili ed estese) bloccano i compiti più brevi accodati successivamente, portando a picchi significativi di latenza e a una riduzione del throughput.

Sebbene la politica Shortest-Job-First (SJF) sia teoricamente ottimale per minimizzare la latenza media, la sua applicazione agli LLM è ostacolata dalla natura stocastica e autoregressiva della generazione dei token. La lunghezza esatta dell'output non può essere conosciuta prima dell'esecuzione. I tentativi esistenti di approssimare l'SJF tramite la previsione della lunghezza soffrono di tre limitazioni principali:

1. Sensibilità al Rumore: I metodi di ranking pointwise (regressione) e listwise faticano con la variabilità intrinseca degli output degli LLM, dove prompt simili possono produrre lunghezze fluttuanti tra diverse esecuzioni, introducendo segnali di addestramento rumorosi.
2. Complessità del Ragionamento: I predittori standard spesso non riescono a tenere conto dell'intera complessità delle tracce di ragionamento multi-step tipiche dei modelli moderni.
3. Mancanza di Generalizzazione: Molti approcci richiedono il riaddestramento specifico per il modello, rendendoli poco pratici per il dispiegamento di modelli diversificati o proprietari.

Metodologia: Framework PARS

Gli autori introducono PARS (Prompt-Aware Ranking Scheduler), un framework leggero progettato per mitigare l'HOL blocking approssimando lo scheduling SJF attraverso il pairwise learning-to-rank. PARS consiste in due componenti primarie:

1. Predittore Addestrato in Modalità Pairwise

Inveve di prevedere le lunghezze assolute dell'output (pointwise) o classificare intere liste (listwise), PARS si concentra sui confronti a coppie (pairwise) utilizzando una margin ranking loss.

• Obiettivo di Addestramento: Il modello viene addestrato su coppie di prompt $(A, B)$ con etichette binarie che indicano quale prompt si prevede genererà una risposta più lunga.
• Filtraggio del Rumore: Per affrontare la stocasticità, i dati di addestramento vengono filtrati per includere solo coppie di prompt con una differenza significativa nelle lunghezze reali delle risposte (definita da una soglia di varianza relativa $\delta = 0.2$). Ciò assicura che il modello apprenda da coppie "informative" dove l'ordine relativo è robusto rispetto al rumore di campionamento, piuttosto che lottare con confronti quasi identici.
• Architettura: Il predittore utilizza un backbone leggero BERT-base-uncased. Estrae l'embedding del token [CLS] dal prompt e lo passa attraverso uno strato lineare per generare un punteggio scalare che rappresenta il costo atteso della risposta.
• Funzione di Perdita: Il modello è ottimizzato utilizzando la margin ranking loss: $L(s_A, s_B, y) = \max(0, -y \cdot (s_A - s_B) + \text{margin})$, imponendo un margine di separazione tra i punteggi delle coppie classificate correttamente.

2. Scheduler Guidato dal Predittore

Il predittore addestrato è integrato nel sistema di serving vLLM per gestire la Waiting Queue (W) e la Running Queue (R).

• Logica di Scheduling: All'arrivo, le richieste vengono valutate dal predittore. La coda di attesa viene ordinata in base a questi punteggi (ordine crescente della lunghezza prevista) per dare priorità ai compiti più brevi, approssimando efficacemente l'SJF.
• Prevenzione della Starvation: Per evitare che i compiti a lunga durata vengano rimandati indefinitamente, un meccanismo aumenta la priorità di qualsiasi richiesta che ha atteso oltre una soglia configurabile (default: 2 minuti).
• Implementazione: Lo scheduler opera a livello di iterazione, è compatibile con il continuous batching e non richiede modifiche ai backend C++/CUDA sottostanti di vLLM.

Contributi Chiave

1. Approccio Pairwise Innovativo: Il paper propone un metodo di ranking pairwise con margin ranking loss e filtraggio dei dati, che dimostra una maggiore stabilità contro la natura stocastica della generazione degli LLM rispetto ai baseline pointwise e listwise.
2. Design Consapevole del Ragionamento: Il framework include esplicitamente le intere tracce di ragionamento (pensieri intermedi e giustificazioni) nella definizione della lunghezza della risposta, rendendolo adatto ai moderni modelli di ragionamento LLM.
3. Integrazione Senza Soluzioni: PARS è implementato come un modulo open-source all'interno di vLLM (circa 1.000 righe di codice), richiedendo nessuna modifica al motore di inferenza core.
4. Generalizzazione Cross-Model: Gli autori dimostrano che un predittore addestrato su un modello (ad es., GPT-4) può programmare efficacemente i compiti per altri modelli diversi (ad es., Llama 3.1, DeepSeek-R1) senza riaddestramento.

Risultati Sperimentali

Valutazioni estese sono state condotte su molteplici dataset (Alpaca, LMSYS-Chat-1M, MATH-plus, Evolved Codealpaca) e modelli (Llama 3.1, GPT-4, DeepSeek-R1).

• Accuratezza del Predittore: PARS ha raggiunto la più alta accuratezza di ranking Kendall's Tau ($\tau_b$) su tutti i dataset, raggiungendo fino a 0.96 sul dataset Alpaca. Ha superato significativamente i baseline pointwise e listwise, in particolare sui modelli di ragionamento (ad es., un miglioramento di 5.5× rispetto al pointwise SJF su LMSYS-Chat-1M con DeepSeek-R1).
• Riduzione della Latenza: In carichi di lavoro reali, PARS ha ridotto la latenza media per token fino a 15.7× rispetto allo scheduler FCFS predefinito di vLLM su Llama 3.1. In condizioni di carico bursty (2.000 richieste simultanee), ha ottenuto un'accelerazione fino a 7.7× su Llama e oltre 2× su DeepSeek-R1.
• Latenza della Coda (Tail Latency): PARS ha migliorato significativamente la latenza p90, riducendola fino a 12.3× rispetto a FCFS, portando le prestazioni vicine all'idealizzato "Oracle SJF" (che utilizza le lunghezze reali).
• Throughput e Overhead: Il metodo ha mantenuto o migliorato leggermente il throughput del sistema (richieste al secondo) aumentando l'omogeneità del batch. L'overhead di runtime per il punteggio e l'ordinamento è stato trascurabile (circa lo 0.08% del tempo totale di serving), senza aggiungere latenza aggiuntiva all'esecuzione della richiesta.
• Generalizzazione: La variante "Cross-Model PARS", addestrata esclusivamente su dati GPT-4, ha gestito con successo i compiti per Llama e DeepSeek-R1, superando i baseline pointwise specifici per modello e eguagliando gli approcci listwise.

Significato e Rivendicazioni

Il paper sostiene che, con la crescente diffusione degli LLM capaci di ragionamento, la variabilità nei tempi di inferenza renderà l'FCFS sempre più inefficiente. La rilevanza di PARS risiede nella sua capacità di fornire un'alternativa pratica, implementabile e leggera alle soluzioni di scheduling pesanti o specifiche per il modello.

Gli autori affermano che:

• Il ranking pairwise è superiore per lo scheduling degli LLM perché si concentra su confronti relativi robusti piuttosto che su previsioni assolute instabili.
• La generalizzazione è realizzabile senza riaddestramento, consentendo a un singolo predittore di gestire flotte eterogenee di LLM.
• L'overhead minimo rende l'approccio vitale per gli ambienti di produzione dove la reattività è critica.

Il lavoro conclude che, sebbene l'entità dei guadagni dipenda dalla variabilità della lunghezza del compito, PARS offre un meccanismo robusto per catturare i costi di esecuzione relativi, mitigando efficacementamente l'HOL blocking e abilitando il servizio a bassa latenza per la prossima generazione di applicazioni AI. Il software e i dataset sono rilasciati come open-source per facilitarne l'adozione sia nella ricerca che negli utilizzi nel mondo reale.