ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

1. Il Problema: Routing LLM in Ambienti Non Stazionari

Il servizio di produzione di Large Language Models (LLM) si basa sempre più su portafogli multi-modello che offrono un compromesso tra qualità e costo, con un range di costi che può variare fino a 530 volte (da modelli economici come Llama-3.1-8B a modelli frontier come Gemini-2.5-Pro).

Tuttavia, l'ambiente di produzione è non stazionario e presenta tre sfide critiche che i sistemi di routing attuali non gestiscono adeguatamente:

1. Vincoli di Budget in Tempo Reale: I provider devono rispettare budget monetari per richiesta (es. $0.005/req) su flussi di richieste infiniti e sconosciuti, non su set di dati fissi.
2. Non Stazionarietà: I provider aggiornano silenziosamente le API (cambiando la qualità del modello) o modificano i prezzi (es. tagli del 50% sui prezzi di OpenAI). I router statici o quelli con memoria infinita falliscono nell'adattarsi a questi cambiamenti.
3. Gestione del Portafoglio Dinamico: Nuovi modelli devono essere integrati a runtime senza downtime, e i modelli esistenti possono essere rimossi.

I metodi esistenti (classificatori supervisionati offline o ottimizzazione vincolata su set fissi) non riescono ad adattarsi autonomamente a questi shift senza riaddestramento o downtime.

---

2. Metodologia: ParetoBandit

ParetoBandit è un sistema di routing adattivo open-source basato su banditi contestuali consapevoli dei costi. Integra tre meccanismi fondamentali per colmare le lacune sopra descritte:

A. Controllo del Budget in Ciclo Chiuso (Budget Pacer)

Invece di usare penalità offline o vincoli cumulativi su orizzonti noti, ParetoBandit utilizza un pacer di budget primale-duale online:

• Vincolo per richiesta: Impone un tetto di costo per singola richiesta su un flusso aperto.
• Variabile Duale ($\lambda_t$): Aggiorna dinamicamente un moltiplicatore di Lagrange basato sul costo medio osservato (usando una media mobile esponenziale - EMA). Se il costo supera il budget, $\lambda_t$ aumenta, penalizzando i modelli costosi; se è sotto, $\lambda_t$ diminuisce, permettendo di cercare qualità.
• Enforcement a due livelli:
  1. Hard Ceiling: Se $\lambda_t > 0$, esclude i modelli il cui costo supera una soglia dinamica.
  2. Soft Penalty: Applica una penalità proporzionale al costo nel punteggio UCB per ottimizzare la qualità all'interno del budget.

B. Adattamento alla Non Stazionarietà (Geometric Forgetting)

Per gestire i cambiamenti di prezzo e qualità, il sistema non accumula tutti i dati storici (che diventerebbero obsoleti), ma applica un fattore di dimenticanza geometrica ($\gamma$) alle statistiche sufficienti del bandito (matrice $A_a$ e vettore $b_a$):

• Le osservazioni vecchie vengono soppresse esponenzialmente.
• Questo permette al sistema di "dimenticare" rapidamente le performance passate di un modello che ha subito un regresso di qualità o un aumento di prezzo.
• Viene utilizzata un'inflazione della varianza basata sulla "staleness" (inattività) per forzare la riesplorazione di bracci (modelli) non selezionati da tempo.

C. Gestione del Portafoglio a Runtime (Hot-Swap)

Il sistema supporta l'aggiunta e la rimozione di modelli a runtime:

• Warm-up Priors: Utilizza statistiche sufficienti offline per evitare il "cold start" (inizio a caso).
• Forced Exploration: Quando un nuovo modello viene aggiunto, subisce una breve fase di esplorazione forzata (es. 20 richieste) per raccogliere dati iniziali, dopodiché il meccanismo UCB standard prende il sopravvento per scoprire la sua nicchia qualità/costo.

D. Efficienza Computazionale

• Utilizza LinUCB con aggiornamenti Sherman-Morrison ($O(d^2)$) per mantenere l'inverso della matrice di covarianza.
• La latenza di routing end-to-end (incluso embedding e PCA) è di 9.8 ms su CPU, con la decisione di routing vera e propria che richiede solo 22.5 µs.

---

3. Risultati Sperimentali

Il sistema è stato valutato su 1.824 prompt provenienti da 9 benchmark pubblici, utilizzando un portafoglio di 3 modelli (esteso a 4 per i test di onboarding).

Rispetto del Budget

• In condizioni stazionarie, il costo medio per richiesta non supera mai il target di budget di più dello 0.4%.
• Anche con vincoli di budget molto stretti, il sistema mantiene la conformità, distribuendo il traffico tra modelli economici e costosi in base al contesto.

Adattamento ai Shift di Prezzo (Cost Drift)

• In uno scenario simulato dove il prezzo del modello più costoso è stato tagliato del 50% a metà dell'esperimento, ParetoBandit ha rilevato il cambiamento e ha aumentato l'uso di quel modello.
• Risultato: Un aumento della qualità fino a +0.071 rispetto alla baseline, mantenendo comunque il rispetto del budget.
• Al contrario, un "Bandit che dimentica" (senza pacer di budget) ha superato il budget fino a 6.9 volte durante i cambiamenti.

Rilevamento di Regressione Silenziosa della Qualità

• Simulando un degrado della qualità di un modello (senza cambio di prezzo), il sistema ha rilevato il problema attraverso il segnale di reward e ha ridotto l'allocazione al modello degradato, reindirizzando il traffico verso modelli migliori.
• Il sistema ha recuperato le prestazioni originali una volta ripristinata la qualità, mantenendo il budget sotto controllo.

Onboarding di Modelli a Freddo

• Un nuovo modello aggiunto a runtime è stato adottato in modo significativo entro ~142 passi senza violare il tetto di costo.
• Il sistema discrimina attivamente: i modelli costosi vengono limitati dal budget, mentre i modelli di bassa qualità vengono scartati dopo una fase di esplorazione limitata.

---

4. Contributi Chiave

1. Primo sistema di routing LLM a integrare simultaneamente: vincoli di budget in dollari per richiesta su flussi infiniti, adattamento online a shift non stazionari e gestione dinamica del portafoglio modelli a runtime.
2. Meccanismo di Budget Pacer: Sostituisce la sintonizzazione offline delle penalità con un controllo in ciclo chiuso che si autoregola in base al traffico e ai prezzi.
3. Protocollo di Ottimizzazione Iperparametri (Pareto Knee-point): Un metodo per bilanciare l'efficienza stazionaria e la resilienza non stazionaria, permettendo agli operatori di definire un "orizzonte di adattamento" desiderato invece di sintonizzare parametri statistici astratti.
4. Validazione Empirica: Dimostrazione che l'adattamento non richiede downtime e che il sistema è robusto sia ai cambiamenti di prezzo che alla regressione della qualità.

---

5. Significato e Impatto

ParetoBandit rappresenta un passo fondamentale verso il servizio LLM di produzione affidabile e controllato nei costi.

• Operatività: Risolve il problema pratico di come gestire portafogli di modelli eterogenei quando i prezzi e le prestazioni cambiano continuamente.
• Efficienza: La latenza di routing è trascurabile rispetto al tempo di inferenza LLM (meno dello 0.4% del tempo totale), rendendolo adatto a sistemi ad alto throughput.
• Futuro: Il lavoro apre la strada a sistemi di orchestrazione LLM completamente autonomi che possono adattarsi a nuovi provider e condizioni di mercato senza intervento umano, massimizzando la qualità entro i vincoli economici.

In sintesi, ParetoBandit trasforma il routing da una scelta statica o basata su regole fisse a un processo di apprendimento continuo, adattivo e vincolato al budget, essenziale per l'era dei portafogli multi-modello.