Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un cuoco molto intelligente (il tuo modello linguistico multimodale, o MLLM) che deve preparare piatti complessi basandosi su ingredienti diversi: testo, immagini, audio e dati vari.

Il problema è che questo cuoco può lavorare in due modi:

In casa tua (On-device): È veloce e privato, ma ha un forno piccolo. Se il piatto è troppo complicato, potrebbe bruciarsi o non uscirne bene.
In un ristorante stellato (Cloud): Ha fornelli enormi e può creare capolavori, ma costa molto (soldi) e ci mette tempo per consegnare il piatto (latenza).

Ogni volta che un cliente fa un ordine (una richiesta), devi decidere: Lo preparo io a casa o lo mando al ristorante?
Ma c'è un vincolo terribile: hai un budget limitato (un po' di soldi e un po' di tempo) per l'intera giornata. Se spendi tutto subito per un piatto facile, non avrai più risorse per i piatti difficili che arriveranno dopo.

Il problema è che non sai mai quanto sarà difficile il prossimo piatto né quanto costerà esattamente cucinarlo al ristorante finché non lo fai. È come giocare a dadi alla cieca.

La Soluzione: M2-CMAB (Il "Manager Intelligente")

Gli autori di questo articolo hanno creato un sistema chiamato M2-CMAB. Immaginalo come un manager di ristorante super-intelligente che usa tre trucchi magici per gestire la giornata senza andare in bancarotta:

1. Il "Previsionista con Occhiali Magici" (Adapter-Augmented Predictor)

Invece di far riaddestrare tutto il cuoco ogni volta (che sarebbe lentissimo e costoso), il manager usa un paio di occhiali speciali (gli "Adapter") che si mettono sopra gli occhi del cuoco.

Come funziona: Il cuoco (il modello di base) rimane congelato e non cambia. Gli occhiali speciali analizzano velocemente l'ordine del cliente (testo + immagine) e dicono al manager: "Ehi, questo piatto sembra facile, fallo a casa" oppure "Questo è un caos, portalo al ristorante".
Il trucco: Gli occhiali sono leggerissimi e si aggiornano in tempo reale mentre lavorano. Non devono riscrivere tutto il cervello del cuoco, solo adattarsi al momento.

2. Il "Guardiano del Portafoglio" (Primal-Dual Constrainer)

Questo è il contabile che tiene d'occhio il budget.

Come funziona: Immagina che ogni volta che spendi soldi o tempo, il Guardiano alzi un po' il "prezzo" di quella risorsa. Se hai speso troppo tempo oggi, domani il Guardiano dirà: "Attenzione, il tempo costa il doppio!".
Il risultato: Questo costringe il sistema a essere parsimonioso. Non spreca risorse per cose banali, perché sa che domani potrebbe averne bisogno per un'emergenza. È come se il portafoglio si stringesse automaticamente quando sei vicino al limite.

3. Il "Scommettitore Calcolato" (Two-Phase Scheduler)

Il manager deve bilanciare due cose: scommettere (provare nuove strategie per imparare) e sfruttare (fare quello che già sa funzionare).

Fase di Apprendimento: All'inizio, il manager prova un po' di tutto per capire quanto costano davvero le cose.
Fase di Decisione: Poi, usa le informazioni raccolte dagli "Occhiali Magici" e il "Guardiano del Portafoglio" per scegliere la mossa migliore. Se il Guardiano dice che il budget è basso, il manager sceglierà opzioni più economiche anche se non sono perfette, per non finire i soldi prima della fine della giornata.

Perché è così speciale?

Fino a oggi, i sistemi facevano scelte "stupide": o spendevano tutto subito (e poi si fermavano), o erano troppo conservativi (e facevano piatti mediocri).

Questo nuovo sistema M2-CMAB ha dimostrato di essere molto meglio:

Risparmia i soldi: Usa il budget in modo intelligente, durando più a lungo.
Migliore qualità: Riesce a preparare piatti migliori (risposte più accurate) rispetto agli altri metodi, anche con lo stesso budget.
Si adatta: Se il cliente cambia idea o arriva un ordine strano, il sistema si adatta al volo senza impazzire.

In sintesi

Immagina di dover gestire una flotta di taxi (alcuni economici e lenti, altri costosi e veloci) in una città caotica con un budget di benzina fisso.

I vecchi metodi erano come guidare a caso o guardare solo il prezzo della benzina.
M2-CMAB è come avere un navigatore che:
1. Capisce subito dove stai andando (analisi del contesto).
2. Sa esattamente quanto ti costerà il viaggio (previsione dei costi).
3. Ti dice quando prendere la strada veloce e quando quella economica per non finire la benzina prima di arrivare a destinazione.

Il risultato? Arrivi a destinazione con più soldi in tasca e un viaggio più piacevole, anche se il traffico è imprevedibile.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Scheduling di Inferenza MLLM con Vincoli Multipli

Il lavoro affronta la sfida fondamentale dello scheduling online delle inferenze per i Modelli Linguistici Multimodali (MLLM). In scenari reali, le richieste di inferenza variano notevolmente nella composizione delle modalità (testo, immagini, audio) e nella difficoltà di ragionamento latente. Allo stesso tempo, i backend di esecuzione (dispositivi locali vs. API cloud) offrono profili di costo e prestazioni eterogenei e non stazionari a causa di jitter di sistema e variazioni di rete.

L'obiettivo è massimizzare la qualità del servizio (QoS), quantificata come ricompensa attesa, rispettando vincoli di budget multi-dimensionali (es. costo monetario, latenza, energia) che sono irreversibili: una volta consumata una risorsa, non può essere recuperata per le richieste future.

Le sfide principali identificate sono:

Rappresentazione del compito: Creare rappresentazioni semantiche fedeli ma rilevanti per lo scheduling, capaci di catturare la difficoltà intrinseca e la composizione multimodale senza overhead computazionale eccessivo.
Decisioni online sotto vincoli: Prendere decisioni istantanee e irreversibili in un ambiente stocastico, bilanciando l'esplorazione (imparare sui costi/ricompense) e lo sfruttamento (massimizzare la ricompensa) senza esaurire prematuramente i budget.

2. Metodologia: Il Framework M2-CMAB

Gli autori propongono M2-CMAB (Multi-modal Multi-constraint Contextual Multi-Armed Bandit), un framework di apprendimento online modellato come un problema di "Bandit Contestuale con Zaini" (Contextual Bandits with Knapsacks - CBwK). Il sistema è composto da tre moduli interconnessi:

A. Predictor (Previsione Ricompensa e Costo)

Per affrontare l'incertezza sui payoff, il sistema utilizza un MLLM con backbone congelato (frozen) per estrarre rappresentazioni del compito.

CLS-Attentive Pooling: Viene introdotto un token [CLS] esplicito all'inizio della sequenza multimodale. I pesi di attenzione di questo token vengono utilizzati per fare un pooling sulle hidden states, generando una rappresentazione compatta del compito ( $z_t^x$ ) che cattura la semantica globale.
Adapter Leggeri: Invece di riaddestrare l'intero modello, vengono utilizzati adapter leggeri (MLP) per stimare la ricompensa e il vettore dei costi per ogni azione specifica. Gli adapter vengono aggiornati online, mentre il backbone rimane congelato per preservare le capacità generative e garantire stabilità.
Obiettivo: Minimizzare l'errore quadratico tra le previsioni e le osservazioni reali, regolarizzato per evitare l'overfitting.

B. Constrainer (Vincoli a Lungo Termine)

Per gestire i budget cumulativi, il sistema utilizza un approccio Primal-Dual basato sulla discesa dello specchio online (Online Mirror Descent - OMD).

Moltiplicatori di Lagrange: I vincoli di budget a lungo termine vengono trasformati in penalità dinamiche tramite moltiplicatori di Lagrange ( $\lambda_t$ ).
Decoupling: Questo approccio disaccoppia i vincoli cumulativi dalle decisioni per-round. Il moltiplicatore $\lambda_t$ viene aggiornato iterativamente: se un vincolo viene violato, $\lambda_t$ aumenta, penalizzando le azioni che consumano quella risorsa nelle decisioni future.

C. Scheduler (Decisione di Scheduling)

Lo scheduler combina le previsioni del Predictor e le penalità del Constrainer per prendere decisioni.

Fase Iniziale: Una fase di esplorazione pura (o semi-esperta) per stimare il raggio ammissibile del dominio dei moltiplicatori di Lagrange ( $\Lambda$ ) e calcolare un limite superiore approssimato della ricompensa ottima ( $\hat{OPT}$ ).
Fase Esplorazione-Sfruttamento: Per ogni round, viene calcolato un punteggio di Lagrangiana per ogni azione: $S_t(a) = \hat{r}_t^a - \langle \hat{\phi}_t^a / \Phi, \lambda_t \rangle$ .
Policy di Campionamento: Viene utilizzata una strategia di campionamento probabilistico che favorisce l'azione con il punteggio più alto, ma mantiene una probabilità di esplorazione per le altre azioni, bilanciata da un iperparametro $\rho$ .

3. Contributi Chiave

Rappresentazione Efficiente degli MLLM: Un metodo innovativo per estrarre rappresentazioni di compiti tramite un backbone congelato e pooling attentivo su [CLS], aggiornato solo tramite adapter leggeri, riducendo drasticamente l'overhead computazionale rispetto al fine-tuning completo.
Controllo dei Vincoli Decoupled: Un meccanismo primal-dual online che gestisce vincoli multidimensionali e irreversibili, adattando dinamicamente le penalità senza richiedere la conoscenza futura delle richieste.
Garanzia di Regret: Viene stabilita una garanzia teorica di regret per il framework M2-CMAB sotto vincoli multidimensionali, dimostrando che l'errore cresce sublinearmente rispetto al tempo.
Benchmark Realistico: Creazione di un benchmark completo con 5 backend eterogenei (locali e cloud), 6 dataset e tracce multimodali miste, superando le limitazioni degli studi precedenti basati su simulazioni semplificate.

4. Risultati Sperimentali

Il framework è stato valutato su un benchmark composto da dataset reali (InfoVQA, GSM8K, CoQA, AI2D, ecc.) e backend misti.

Prestazioni Superiori: M2-CMAB supera costantemente i metodi state-of-the-art (inclusi pianificatori basati su bandit, strategie greedy e policy basate su soglie).
Miglioramento della Ricompensa: Rispetto al miglior baseline, M2-CMAB ottiene un aumento della ricompensa media fino al 14,18% in scenari con budget generosi e mantiene vantaggi significativi anche in condizioni di budget molto ristretti.
Prossimità all'Oracolo: Le prestazioni si avvicinano molto a un "oracolo" (un sistema ideale che conosce a priori ricompense e costi reali), con un divario inferiore all'1,2% anche in scenari estremi.
Robustezza: Il sistema dimostra robustezza rispetto alle variazioni dei budget e alla distribuzione dei dati, mantenendo prestazioni stabili al variare del rapporto tra fase iniziale e fase di sfruttamento.

5. Significato e Impatto

Questo lavoro è significativo perché risolve il collo di bottiglia pratico del deployment di MLLM su larga scala: come allocare dinamicamente risorse computazionali eterogenee per massimizzare la qualità della risposta senza superare i limiti di costo o latenza.

Efficienza Operativa: Permette di utilizzare modelli locali leggeri per compiti semplici e modelli cloud potenti per compiti complessi in modo automatico e ottimizzato.
Scalabilità: L'approccio basato su adapter e backbone congelato rende il sistema scalabile e applicabile in tempo reale su dispositivi edge e server cloud.
Fondamento Teorico: Fornisce solide garanzie matematiche (regret bound) per l'apprendimento online in contesti con vincoli complessi, un'area spesso trascurata nelle applicazioni pratiche di MLLM.

In sintesi, M2-CMAB rappresenta un passo avanti cruciale verso sistemi di inferenza multimodale autonomi, efficienti e rispettosi dei vincoli di risorse, abilitando l'uso pratico di modelli avanzati in ambienti reali con budget limitati.