UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

Riepilogo Tecnico: UCCI – Incertezza Calibrata per il Routing Ottimale in Costo di Cascata LLM

Enunciato del Problema
I Large Language Models (LLM) offrono elevate prestazioni in compiti di previsione strutturata, ma i costi di inferenza aumentano drasticamente con la dimensione del modello. L'inferenza a cascata – instradare le query semplici a un modello piccolo ed escalare quelle difficili a un modello grande – promette una riduzione dei costi. Tuttavia, i router attualmente implementati si basano spesso su punteggi di confidenza non calibrati (ad esempio, entropia grezza dei token o margini) che sono sensibili alla formulazione del prompt e agli spostamenti del carico di lavoro. Di conseguenza, la sintonizzazione delle soglie è spesso un esercizio manuale, specifico per ogni carico di lavoro, che non generalizza, creando un divario tra la promessa teorica delle cascate e le prestazioni in produzione.

Metodologia
Il documento propone UCCI (Uncertainty-Calibrated Cascade Inference), un framework di routing che tratta la progettazione della cascata come un problema decisionale calibrato piuttosto che come un esercizio di sintonizzazione. La metodologia procede in tre fasi:

1. Estrazione dell'Incertezza a Livello di Token: Per una sequenza generata, il sistema calcola un punteggio di incertezza scalare $u(x)$ basato sul margine tra le probabilità del prossimo token al primo e al secondo posto ($p_{t,1} - p_{t,2}$) su tutti i token. Questo margine viene aggregato per rappresentare l'incertezza complessiva dell'output del modello piccolo.
2. Calibrazione Isotonica: Il punteggio di incertezza grezzo $u(x)$ non è una probabilità. UCCI mappa questo punteggio in una probabilità di errore per query calibrata $\hat{p}(x)$ utilizzando la regressione isotonica su un set di calibrazione tenuto da parte. Questa fase trasforma il segnale non calibrato in una stima affidabile della probabilità che l'output del modello piccolo sia errato ($P(e(x)=1 | u(x))$).
3. Minimizzazione Vincolata del Costo: Una politica di soglia $\pi_\theta$ viene selezionata su un set di validazione. La soglia $\theta^*$ è scelta per minimizzare il costo di inferenza atteso soggetto a un vincolo di accuratezza target ($\tau$). La politica instrada le query con $\hat{p}(x) \leq \theta$ al modello piccolo ed escalare quelle con $\hat{p}(x) > \theta$ al modello grande.

Contributi Teorici
Il documento fornisce due risultati teorici chiave:

• Ottimalità delle Politiche a Soglia: Sotto tre assunzioni esplicite (costo del modello grande > costo del modello piccolo; l'accuratezza del modello grande è invariante rispetto alle query escalate; e accesso alla vera probabilità di errore calibrata), gli autori dimostrano che una politica a soglia sulla probabilità di errore calibrata è ottimale in termini di costo.
• Complessità del Campione: Il documento stabilisce che la regressione isotonica raggiunge un Errore di Calibrazione Atteso (ECE) di $O(n^{-1/3})$ con $n$ esempi di calibrazione, fornendo un limite teorico sull'efficienza dei dati della fase di calibrazione.

Configurazione Sperimentale e Risultati
Il framework è stato valutato su un carico di lavoro di produzione per il Riconoscimento di Entità Nominate (NER) che coinvolge 75.000 query etichettate manualmente da un sistema di gestione fotografica aziendale.

• Modelli: Un modello piccolo da 4 miliardi di parametri ($f_s$) e un modello grande da 12 miliardi di parametri ($f_\ell$), entrambi addestrati con istruzioni e serviti su GPU H100.
• Misurazione del Costo: I costi sono stati derivati dalla latenza end-to-end misurata su GPU H100, producendo un rapporto di costo $c_\ell/c_s \approx 3.02$.
• Baseline: Lo studio ha confrontato UCCI con l'inferenza su singolo modello, la sintonizzazione della soglia basata sull'entropia non calibrata, il routing conformale split e una soglia appresa in stile FrugalGPT.

Risultati Chiave:

• Riduzione dei Costi: A un micro-F1 target di 0.91, UCCI ha ridotto i costi di inferenza del 31% (IC 95%: [27%, 35%]) rispetto all'uso esclusivo del modello grande.
• Qualità della Calibrazione: La regressione isotonica ha ridotto l'Errore di Calibrazione Atteso (ECE) da 0.12 (non calibrato) a 0.03.
• Prestazioni rispetto alle Baseline: Allo stesso punto operativo (F1 = 0.91), UCCI ha raggiunto il costo più basso (2.08 unità normalizzate) rispetto alla sintonizzazione della soglia basata sull'entropia (2.31), alla previsione conformale (2.18) e al routing in stile FrugalGPT (2.24).
• Validazione delle Assunzioni: L'assunzione che l'accuratezza del modello grande rimanga invariante rispetto al routing è stata testata empiricamente; l'accuratezza sulle query escalate (0.928) era quasi identica all'accuratezza globale (0.932), a supporto del framework teorico.

Significato e Affermazioni
Il documento sostiene che il principale valore ingegneristico nei sistemi a cascata risiede nel calibrare il punteggio di routing piuttosto che nel sintonizzare manualmente la soglia finale. Convertendo un segnale rumoroso basato sul margine dei token in una stima probabilistica di errore tramite un piccolo adattamento isotonico, UCCI raggiunge prestazioni di routing quasi ottimali senza architetture complesse di apprendimento per il differimento o dati di preferenza.

Gli autori sottolineano che i loro risultati si basano sul routing end-to-end utilizzando effettivi output dei modelli e latenza hardware misurata, evitando il bias di selezione intrinseco nelle simulazioni basate su accuratezze globali o prezzi nominali delle API. Sebbene il framework sia agnostico rispetto al compito, gli autori notano che i risparmi specifici (31%) e le metriche di calibrazione sono specifici del carico di lavoro. Riconoscono limitazioni riguardanti l'assunzione di invarianza in domini in cui le query "difficili" per il modello piccolo sono sproporzionatamente difficili anche per il modello grande, e notano che la calibrazione statica potrebbe richiedere adattamento per implementazioni in streaming con spostamenti di distribuzione.