Sintesi Tecnica: TMO – Inferenza LLM Collaborativa tra Dispositivo e Cloud con Offloading Three-M

1. Definizione del Problema

L'implementazione dei Large Language Models (LLM) affronta una dicotomia: l'implementazione on-device è limitata dalle risorse computazionali, di memoria ed energetiche, il che spesso ne limita la qualità della risposta, mentre l'implementazione in cloud introduce latenza, costi di comunicazione e commissioni d'uso. Queste sfide sono esacerbate nelle moderne applicazioni caratterizzate da scenari Three-M:

1. Multi-Modal (Multi-modale): I compiti richiedono diverse fonti di dati (ad es., testo, immagini da varie angolazioni della telecamera).
2. Multi-Task (Multi-compito): Le applicazioni spaziano dalla semplice modifica di messaggi al riconoscimento complesso di attività.
3. Multi-Turn (Multi-turno): Le conversazioni comportano dipendenze sequenziali in cui le decisioni precedenti influenzano la disponibilità di risorse e il contesto futuri.

Gli esistenti framework spesso non riescono ad affrontare i complessi compromessi tra qualità della risposta, latenza e costo attraverso queste dimensioni. Nello specifico, faticano con:

• Posizione di Inferenza Ottimale: Decidere se elaborare un compito sul dispositivo o scaricarlo (offload) al cloud.
• Selezione della Modalità: Determinare quali specifiche modalità di dati (ad es., quale vista della telecamera) caricare, bilanciando il guadagno informativo con i costi di trasmissione.
• Vincoli di Risorse: Adattarsi ad arbitri budget di risorse specificati dall'utente (limiti di latenza e costo) senza riaddestramento.
• Incertezza dell'Inferenza: Gestire la natura stocastica degli output degli LLM e la mancanza di metriche di ground-truth per i compiti generativi durante l'addestramento offline.

2. Metodologia: Il Sistema TMO

Gli autori propongono TMO, un sistema di inferenza collaborativa tra dispositivo e cloud che orchestra l'offloading "Three-M". Il cuore di TMO è un motore decisionale basato su Reinforcement Learning a Vincoli di Risorse (RCRL).

A. Architettura del Sistema

• LLM On-Device: Un modello leggero (ad es., Phi-3-mini) ottimizzato per l'elaborazione testuale ad alta velocità di compiti semplici.
• LLM in Cloud: Un modello multi-modale su larga scala (ad es., GPT-4o) capace di gestire compiti complessi e diversi input di dati.
• Motore Decisionale: Ad ogni turno di conversazione $t$, il sistema seleziona un'azione $a_t = (\ell_t, M_t)$, dove $\ell_t$ è l'LLM scelto (dispositivo o cloud) e $M_t$ è il sottoinsieme di modalità da caricare.

B. Formulazione RCRL

Il problema è modellato come un Processo Decisionale di Markov (MDP):

• Stato ($s_t$): Include una finestra scorrevole degli ultimi $\tau$ turni, catturando le precedenti selezioni di LLM, le modalità caricate e le categorie di task. Fondamentalmente, lo stato è aumentato con i budget di risorse rimanenti ($\xi_t$) per abilitare un processo decisionale consapevole delle risorse.
• Azione ($a_t$): Selezione del tipo di LLM e della specifica modalità da caricare.
• Ricompensa ($r_t$): Una metrica composita che bilancia:
  • Punteggio di Risposta ($S_{at}$): Qualità stimata della risposta dell'LLM.
  • Metrica di Associazione ($\Lambda_{at}$): Rilevanza tra il prompt e le modalità selezionate (calcolata tramite CLIP).
  • Latenza ($\psi_{at}$): Tempo di computazione (dispositivo) o tempo di comunicazione + inferenza (cloud).
  • Costo di Utilizzo ($\phi_{at}$): Consumo energetico (dispositivo) o commissioni di servizio (cloud).
  • Penalità di Vincolo: La ricompensa viene impostata a zero se il consumo cumulativo delle risorse supera il budget $\xi_j$ specificato dall'utente.

C. Innovazioni Tecniche Chiave

1. Gestione dell'Incertezza tramite Stima del Vicino Più Prossimo: Per affrontare la natura non deterministica dei giudici LLM e le coppie stato-azione Out-of-Distribution (OOD) durante l'addestramento offline, TMO impiega una strategia di k-nearest neighbor (k-NN). Stima il punteggio della risposta per coppie stato-azione non viste mediando i punteggi delle $k$ coppie storiche più simili, pesati per distanza euclidea.
2. Generalizzazione Consapevole delle Risorse: Per garantire che la policy si generalizzi ad arbitri budget di risorse senza riaddestramento, gli autori:
   • Includono i vettori di budget rimanente direttamente nello spazio degli stati.
   • Addestrano utilizzando budget di risorse randomizzati campionati da distribuzioni (Uniforme, Normale, Ibrida) anziché valori fissi. Ciò evita l'overfitting a specifici vincoli di budget.
3. Associazione Task-Modalità: Il sistema utilizza modelli CLIP pre-addestrati per calcolare i punteggi di similarità tra i prompt testuali e le modalità d'immagine, guidando la selezione delle fonti dati più informative.

3. Il Dataset M4A1

Riconoscendo la mancanza di dataset idonei per questo problema specifico, gli autori hanno curato M4A1, il primo dataset progettato per la valutazione multi-modale, multi-task, multi-turno e multi-LLM.

• Composizione: 21.014 turni di conversazione derivati dal dataset ActionSense (attività in cucina con viste in prima persona, laterali e zenitali) e da un dataset di istruzioni.
• Struttura: Ogni episodio include da 2 a 5 turni, quattro categorie di task (Assistente, Raccomandazione, Query, Modifica Messaggio) e interazioni con quattro ruoli LLM (On-device, Cloud, Reference, Judge).
• Strategia di Generazione: A differenza dei dataset esperti, M4A1 utilizza azioni randomizzate per la selezione di LLM e modalità. Ciò garantisce una copertura uniforme dello spazio stato-azione, rendendo l'estimatore k-NN robusto e a bassa varianza per qualsiasi decisione di policy.

4. Risultati Sperimentali

Gli autori hanno valutato TMO (usando RC-A2C, RC-PPO e RC-DQN) contro diversi baseline:

• Baseline Naive: Solo on-device, solo cloud e selezione casuale.
• LLM-as-Router: Utilizzando vari LLM (Phi-3, LLaMA, Mistral, GPT-4, ecc.) come motori decisionali zero-shot.
• Esplorazione-Decisione SOTA: AIwRG (Active Inference) e PerLLM (basato su Bandit).

Risultati Chiave:

• Prestazioni: TMO (specificamente RC-A2C) ha ottenuto la ricompensa complessiva più alta (0.86) rispetto a tutti i baseline, superando significativamente gli approcci LLM-as-Router che faticavano con le violazioni dei vincoli e la selezione subottimale delle modalità.
• Aderenza ai Vincoli: TMO ha mantenuto violazioni dei vincoli quasi nulle attraverso diversi profili di budget, mentre i baseline hanno spesso superato i limiti di latenza o costo.
• Robustezza:
  • Variazioni di Dispositivo: TMO ha performato in modo coerente su diversi hardware (dal Raspberry Pi all'iPhone 15 Pro), adattando la sua strategia in base alle capacità del dispositivo.
  • Generalizzazione del Budget: L'addestramento con budget randomizzati ha permesso a TMO di generalizzare a vincoli di budget non visti (Uniforme, Normale, Ibrido) senza riaddestramento.
  • Sensibilità alla Latenza: Quando la latenza del cloud è stata artificialmente aumentata (fino a 10x), TMO ha spostato dinamicamente il traffico verso l'LLM on-device per mantenere i vincoli.
• Studi di Ablazione: Rimuovere qualsiasi componente chiave (logica di selezione LLM, selezione modalità, consapevolezza delle risorse o stima dell'incertezza) ha portato a un significativo degrado delle prestazioni, validando la necessità dell'intero framework.

5. Significato e Rivendicazioni

Il paper sostiene che TMO rappresenti un cambiamento fondamentale nelle strategie di implementazione degli LLM, andando oltre l'offloading statico o il routing di singola query. La sua importanza risiede in:

1. Ottimizzazione Olistica: È il primo sistema che ottimizza congiuntamente la selezione dell'LLM, l'offloading dei dati multi-modali e il contesto multi-turno sotto rigorosi vincoli di risorse.
2. Adattabilità Pratica: La rappresentazione dello stato consapevole delle risorse e l'addestramento randomizzato permettono al sistema di adattarsi ad arbitri budget di risorse definiti dall'utente in scenari reali senza riaddestramento.
3. Gestione dell'Incertezza: La strategia di stima del vicino più prossimo proposta fornisce un metodo robusto per addestrare policy di RL su dati di inferenza LLM, affrontando la stocasticità intrinseca e le sfide di valutazione dei modelli generativi.
4. Contributo del Dataset: Il rilascio di M4A1 colma una lacuna critica nella letteratura, fornendo un benchmark standardizzato per valutare l'inferenza collaborativa in ambienti complessi, multi-turno e multi-modali.

Gli autori concludono che, sebbene TMO migliori significativamente il compromesso tra qualità della risposta, latenza e costo, il lavoro futuro si concentrerà sull'incorporare condizioni di runtime dinamiche (ad es., larghezza di banda della rete in tempo reale, livelli di batteria) per abilitare un'adattabilità proattiva.