CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

Riepilogo Tecnico: CR2 – Instradamento Controllato dal Rischio Consapevole dei Costi per l'Inferenza LLM Dispositivo-Bordo su Reti Wireless

Enunciato del Problema
Mentre i Modelli Linguistici di Grande Dimensione (LLM) migrano dalle nuvole centralizzate agli ambienti mobile-bordo, l'erogazione efficiente richiede un bilanciamento tra latenza, consumo energetico e accuratezza, vincolati dalle risorse limitate del dispositivo e del bordo. Sebbene l'instradamento a livello di query tra modelli leggeri locali e modelli più potenti al bordo offra un meccanismo flessibile per gestire questo compromesso, i metodi di instradamento esistenti sono progettati principalmente per ambienti cloud centralizzati. Questi approcci precedenti ottimizzano i costi a livello di token o i compromessi statici qualità-costi, fallendo nel catturare i sovraccarichi dinamici di latenza ed energia intrinseci alle distribuzioni al bordo wireless.

Esiste un divario critico nella struttura decisionale a due stadi richiesta dai sistemi dispositivo-bordo:

1. Decisione Locale (UE): L'attrezzatura utente (UE) deve decidere se eseguire una query localmente o deferirla al bordo utilizzando solo informazioni disponibili localmente (embedding della query e preferenza di costo), senza accesso ai punteggi del modello al bordo o allo stato reale del bordo.
2. Decisione al Bordo: Solo le query deferite vengono instradate tra i modelli disponibili al bordo in base allo stato completo del sistema.

I metodi esistenti spesso assumono una conoscenza globale degli stati del bordo o trattano l'instradamento come una selezione singola, ignorando il rischio decisionale asimmetrico: un deferimento non necessario comporta latenza di comunicazione e consumo energetico, mentre un'accettazione locale falsa irrimediabilmente preclude modelli migliori al bordo, degradando l'esperienza utente. Inoltre, i router standard non controllano esplicitamente il rischio di accettazione locale falsa sotto informazioni parziali.

Metodologia: Il Framework CR2
Gli autori propongono CR2, un framework di instradamento dispositivo-bordo a due stadi che scompone il problema dell'instradamento in un gate di accettazione locale deployabile e un selettore di stato consapevole al bordo.

1. Modellazione del Sistema e dei Costi:

   • Il sistema modella la latenza end-to-end e il consumo energetico, incorporando condizioni wireless stocastiche (guadagni del canale uplink/downlink), carichi di calcolo (stadi di prefill e decodifica) e profili energetici dispositivo/bordo.
   • Viene definito un costo di distribuzione come somma pesata di latenza ed energia normalizzati, rispetto a un modello di riferimento.
   • L'obiettivo dell'instradamento è formulato come massimizzazione dell'accuratezza soggetta a un budget di costo di distribuzione, parametrizzato da una funzione di utilità scalarizzata $u_m = y_m - \lambda c_m$, dove $\lambda$ è un peso del costo.

2. Architettura a Due Stadi:

   • Stadio 1: Accettazione Locale UE (Gate di Margine): Un modulo leggero sul dispositivo calcola un "margine di utilità" per stimare se l'esecuzione locale è competitiva rispetto alla migliore alternativa al bordo.
     • Utilizza un encoder di query congelato e una testata di punteggio leggera.
     • Prende in input l'embedding della query e il peso del costo specificato dall'operatore $\lambda$.
     • Non accede alle utilità dei modelli al bordo o allo stato di runtime $\xi$ prima di prendere la decisione.
   • Stadio 2: Selettore di Utilità al Bordo: Per le query deferite, il server al bordo seleziona il modello ottimale dal pool al bordo in base alla stima completa dell'utilità (incorporando lo stato di runtime $\xi$).

3. Addestramento e Calibrazione:

   • Distillazione Teacher-Student: Un selettore "teacher" viene addestrato su dati a informazione completa (query + stato + etichette di correttezza) per stimare la correttezza del modello e i margini di utilità. Il gate sul dispositivo viene addestrato per distillare il margine di utilità indotto dal teacher ($\Delta$) tra esecuzione locale e al bordo.
   • Funzioni di Perdita: Il gate è ottimizzato utilizzando una combinazione di:
     • Perdita di Segno: Allineamento del segno del margine previsto con la preferenza teacher locale-vs-bordo.
     • Perdita di Margine: Regressione del margine previsto verso il margine teacher continuo (utilizzando la perdita di Huber).
     • Regolarizzatore di Monotonia: Imposizione che il margine previsto sia non decrescente rispetto al peso del costo $\lambda$, riflettendo la proprietà strutturale secondo cui pesi di costo più alti favoriscono l'esecuzione locale.
   • Controllo del Rischio Conformale (CRC): Per affrontare il rischio asimmetrico di accettazione locale falsa, gli autori introducono una procedura di calibrazione CRC.
     • Per un livello di rischio target $\alpha$, la CRC mappa il punteggio appreso in una soglia di accettazione calibrata $\tau^*(\lambda; \alpha)$.
     • Questo garantisce che il rischio marginale di accettazione falsa (la probabilità di accettare localmente quando un modello al bordo è strettamente migliore) sia limitato da $\alpha$ sotto l'assunzione di scambiabilità tra dati di calibrazione e di test.

Contributi Chiave

1. Framework Vincolato dalla Distribuzione: Il documento stabilisce un framework di instradamento a due stadi che rispetta esplicitamente i vincoli informativi della distribuzione mobile-bordo, separando l'accettazione locale UE dalla selezione del modello al bordo.
2. Algoritmo CR2: Gli autori sviluppano CR2, che presenta:
   • Un gate di margine osservabile dall'UE che distilla margini di utilità a informazione completa in un punteggio deployabile sul dispositivo.
   • Un regolarizzatore di monotonia per garantire decisioni coerenti attraverso diversi punti operativi di peso del costo.
   • Una regola di calibrazione CRC per-$\lambda$ che fornisce un controllo esplicito sul rischio marginale di accettazione falsa senza richiedere punteggi del modello al bordo all'UE.
3. Prestazioni Empiriche: La valutazione su un compito di instradamento derivato da un benchmark (utilizzando modelli Qwen e costi di distribuzione profilati) dimostra che CR2 raggiunge la migliore frontiera di Pareto deployabile accuratezza-costi. Riduce il costo di distribuzione normalizzato fino al 16,9% a parità di accuratezza rispetto a forti baseline a livello di query (KNN, MLP, EmbedLLM, LLM-Rank).

Risultati

• Compromesso Accuratezza-Costo: CR2 supera costantemente le baseline nel piano accuratezza-costi. Nelle regioni operative ingrandite, forma la frontiera più forte tra i metodi deployabili.
• Riduzione dei Costi: A livelli di accuratezza fissi (ad es. 0,81 e 0,82), CR2 riduce il costo di distribuzione normalizzato rispettivamente del 16,9% e del 16,2% rispetto a KNN.
• Controllo del Rischio: Le soglie calibrate CRC controllano con successo il tasso empirico di accettazione marginale falsa, mantenendolo entro i limiti specificati (ad es. $\alpha=0,01$) pur mantenendo un'accuratezza competitiva.
• Efficienza: Il gate di margine sul dispositivo è computazionalmente leggero (circa 105k parametri, 207k FLOPs), significativamente più piccolo dei riferimenti a informazione completa o di altri router parametrici come LLM-Rank.
• Decomposizione dell'Errore: L'analisi mostra che il divario di prestazione rimanente tra il CR2 deployabile e l'oracolo a informazione completa è guidato principalmente da "deferimenti falsi" (sovra-escalation) a costi inferiori, mentre l'accettazione locale falsa rimane bassa (<1,5%).

Significato e Affermazioni
Il documento afferma che CR2 colma il divario tra l'instradamento a livello di query e l'erogazione di LLM al bordo formulando la selezione del modello in un distribuzione dispositivo-bordo a due stadi. Il suo significato risiede in:

• Disaccoppiamento: Il riuscito disaccoppiamento della decisione locale (che deve essere presa con informazioni parziali) dalla decisione al bordo (che ha informazioni complete).
• Controllo del Rischio: Fornire un meccanismo rigoroso e libero dalla distribuzione (tramite CRC) per regolare esplicitamente il rischio di accettazione locale falsa, un requisito critico per un'inferenza al bordo affidabile dove il sovraccarico di comunicazione è costoso.
• Praticità: Dimostrare che un gate leggero basato su encoder congelato può approssimare da vicino un oracolo a informazione completa, abilitando un instradamento efficiente e consapevole dei costi in scenari reali di bordo wireless senza richiedere una coordinazione densa tra livelli o conoscenza globale dello stato sul dispositivo.

Gli autori concludono che CR2 offre una soluzione robusta per l'inferenza collaborativa mobile-bordo, bilanciando i compromessi tra latenza, energia e accuratezza aderendo ai vincoli informativi rigorosi delle distribuzioni al bordo wireless.