Riepilogo Tecnico: INAR-VL

Enunciato del Problema

Il dispiegamento di Modelli Vision-Language (VLM) in ambienti edge (ad esempio, dispositivi mobili, robot, telecamere incorporate) affronta un compromesso fondamentale tra latenza/efficienza energetica e accuratezza delle previsioni. L'esecuzione nel cloud offre elevata accuratezza ma comporta significativi ritardi di comunicazione e costi energetici, mentre l'esecuzione esclusivamente edge è più veloce e energeticamente efficiente ma soffre di capacità del modello limitata e ridotta accuratezza, in particolare su input visivamente degradati o compiti di ragionamento complessi.

Gli approcci di instradamento esistenti spesso si basano su decisioni di posizionamento statiche o stime della difficoltà basate solo sul testo, non riuscendo a tenere conto dell'eterogeneità degli input multimodali. Nello specifico, non catturano adeguatamente gli effetti del degrado visivo (ad esempio, sfocatura, illuminazione, artefatti di compressione) che impattano significativamente sulle prestazioni del modello. Inoltre, diverse architetture VLM mostrano punti di forza complementari (ad esempio, alcune eccellono nell'OCR/riconoscimento fine, altre nel ragionamento), ma i sistemi statici non possono sfruttare dinamicamente questa diversità. La sfida consiste nel progettare un sistema di instradamento che prenda decisioni pre-inferenza basate su segnali di input leggeri per ottimizzare la selezione del modello, la risoluzione dell'input e il posizionamento dell'esecuzione (edge vs. cloud) senza incorrere nell'overhead di eseguire VLM costosi per la caratterizzazione.

Metodologia: INAR-VL

INAR-VL è un sistema di instradamento leggero e consapevole dell'input, progettato per un dispiegamento edge-cloud a due livelli. Funziona caratterizzando le richieste in arrivo prima di invocare qualsiasi inferenza pesante VLM.

1. Architettura del Sistema

Il sistema mantiene un pool eterogeneo di quattro VLM: due modelli compatti (Qwen3-VL-2B, SmolVLM-2B) distribuiti sull'edge (8 GB VRAM, precisione INT8) e due modelli più grandi (LLaVA-OV-8B, Qwen3-VL-8B) nel cloud (precisione FP16).

La pipeline di instradamento è composta da:

• Estrazione delle Caratteristiche: Al ricevimento di una coppia (immagine, domanda), il sistema estrae un vettore di caratteristiche a 10 dimensioni prima dell'inferenza:
  • Caratteristiche Visive (4): Sfocatura, esposizione, artefatti JPEG e segnali di dettaglio.
  • Caratteristiche Testuali (6): Lunghezza, densità di entità/numerica, tipo di domanda, complessità del vocabolario, marcatori di ragionamento e marcatori di dipendenza dal contesto.
• Fusione delle Caratteristiche: Questi segnali vengono normalizzati e fusi in un descrittore della richiesta.
• Instradamento basato su Pareto: Il router valuta le configurazioni valide (modello, precisione, risoluzione, posizionamento) per costruire un fronte di Pareto per richiesta. Prevede la qualità della risposta e il costo stimato (latenza, energia, overhead di rete) per ogni candidato.
• Logica Decisionale: Il sistema dà priorità all'esecuzione edge se la qualità prevista è sufficiente. L'offloading al cloud avviene solo se il guadagno di qualità atteso supera una soglia calibrata ($\delta_{min} = 0.03$) e giustifica il costo aggiuntivo.

2. Previsione della Qualità e del Costo

Il sistema utilizza un predittore di qualità calibrato ($\hat{q}$) e un stimatore di costo ($\hat{c}$).

• Previsione della Qualità: La qualità prevista tiene conto dell'accuratezza di base del modello, degli aggiustamenti di precisione, del ridimensionamento della risoluzione e delle penalità per le discrepanze tra le esigenze dell'input (ad esempio, alta sfocatura, alto dettaglio) e i punti di forza del modello (robustezza alla sfocatura, capacità di dettaglio/OCR, capacità di ragionamento).
• Stima del Costo: Combina la latenza (proporzionale alla dimensione del modello e alla risoluzione), l'energia (basata sulla potenza della GPU e sul livello di esecuzione) e i termini di rete (overhead di trasferimento dell'immagine).
• Calibrazione: I parametri vengono calibrati offline utilizzando un dataset tenuto da parte (1.000 campioni per benchmark) per adattare i coefficienti per il ridimensionamento della risoluzione, le penalità di discrepanza e i pesi dei costi. Questa calibrazione è consapevole dell'hardware ma viene eseguita solo una volta per configurazione di dispiegamento.

Contributi Chiave

1. Instradamento Multimodale Consapevole dell'Input: INAR-VL introduce un meccanismo di instradamento che utilizza segnali leggeri sia dalla qualità dell'immagine che dalla complessità del testo per guidare le decisioni, affrontando l'eterogeneità dei carichi di lavoro multimodali che gli approcci basati solo sul testo o statici non colgono.
2. Ottimizzazione Congiunta: A differenza di lavori precedenti che ottimizzano una singola dimensione, INAR-VL ottimizza congiuntamente l'architettura del modello, la risoluzione dell'input e il posizionamento dell'esecuzione (edge vs. cloud) sotto vincoli pratici (memoria, energia, variabilità della rete).
3. Politica Consapevole del Dispiegamento: Il sistema impiega una regola di preferenza edge che bilancia esplicitamente il recupero dell'accuratezza contro i costi di latenza ed energia, assicurando che l'offloading avvenga solo quando vantaggioso.
4. Implementazione Pratica: Il sistema è implementato e valutato su hardware reale (NVIDIA RTX 4060 edge, RTX PRO 6000 cloud) con un overhead di instradamento di soli 10–30 ms.

Risultati Sperimentali

Il sistema è stato valutato su tre benchmark di Visual Question Answering (VQA): VQAv2, TextVQA e GQA, utilizzando 2.000 campioni per dataset.

• Accuratezza vs. Efficienza: INAR-VL ha raggiunto un'accuratezza media del 72,1%, recuperando il 71% del divario di accuratezza tra l'esecuzione solo edge (66,5%) e solo cloud (74,4%).
• Distribuzione dell'Instradamento: Il sistema ha eseguito il 36% delle richieste sull'edge, filtrando efficacemente le query a bassa complessità localmente.
• Guadagni di Prestazione: Rispetto all'esecuzione solo cloud, INAR-VL ha ridotto la latenza media del 24% (da 2408 ms a 1826 ms) e il consumo energetico del 26% (da 26,0 J a 19,2 J).
• Studi di Ablazione:
  • Importanza dei Segnali: Le caratteristiche testuali sono state trovate come segnale dominante; un router solo testo ha raggiunto un'accuratezza del 71,4%, mentre un router solo immagine è sceso al 68,6%.
  • Diversità dei Modelli: L'uso di un pool diversificato di modelli (architetture Qwen e LLaVA) ha migliorato l'accuratezza media di 0,9 punti percentuali rispetto a una strategia di instradamento statico che utilizzava solo modelli Qwen.
• Robustezza: Il sistema ha dimostrato stabilità su diverse larghezze di banda di rete (10–1000 Mbps). Un guardiano di banda (15 Mbps) garantisce l'esecuzione solo edge quando la connettività è scarsa, mantenendo un'accuratezza coerente mentre la latenza scala con la larghezza di banda.

Significato e Affermazioni

Il documento afferma che INAR-VL fornisce una soluzione pratica per il dispiegamento di VLM in ambienti edge con risorse limitate. Modellando esplicitamente i compromessi tra eterogeneità dell'input, capacità del modello e vincoli di dispiegamento, il sistema raggiunge un compromesso latenza-accuratezza-energia superiore rispetto alle baseline statiche.

Gli autori sottolineano che, sebbene il sistema non raggiunga le prestazioni "Oracolo" (90,6% di accuratezza, che seleziona il miglior modello a posteriori), recupera la maggior parte del vantaggio di accuratezza del cloud riducendo significativamente i costi operativi. L'approccio è presentato come agnostico rispetto all'hardware e generalizzabile; nuovi livelli hardware o modelli possono essere integrati ricalibrando le soglie di instradamento senza alterare la metodologia di base. Il lavoro evidenzia che l'instradamento consapevole dell'input è essenziale per i carichi di lavoro multimodali dove il posizionamento statico non riesce ad adattarsi alla variabilità della complessità visiva e testuale.