MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding

1. Il Problema

L'inferenza multimodale in tempo reale su dispositivi edge con risorse limitate (es. droni, veicoli autonomi, dispositivi indossabili) è fondamentale per applicazioni critiche come la guida autonoma e la salute mobile. Tuttavia, i sistemi esistenti affrontano diverse sfide fondamentali:

• Accoppiamento stretto tra sensing e inferenza: L'ottimizzazione isolata della fase di acquisizione dati o dell'esecuzione del modello è inefficace perché condividono le stesse risorse computazionali.
• Dipendenze inter-modalità e latenza asimmetrica: Le diverse modalità (es. video, audio, radar) hanno velocità di elaborazione diverse. Nei sistemi tradizionali, le modalità più veloci devono attendere quelle più lente prima della fusione, creando tempi di attesa inutili e aumentando la latenza end-to-end.
• Esecuzione sequenziale: I sistemi convenzionali attendono che l'intera finestra temporale di dati sia acquisita prima di iniziare l'elaborazione, accumulando ritardi e aumentando l'uso di memoria.
• Dinamicità delle risorse: Le condizioni di runtime (variazioni di carico CPU/GPU, throttling termico, complessità dei dati) rendono difficile mantenere un compromesso ottimale tra accuratezza e latenza.

2. Metodologia: MMEdge

MMEdge è un nuovo framework di inferenza multimodale on-device che risolve questi problemi attraverso tre pilastri principali:

A. Framework di Sensing e Codifica in Pipeline (Pipelined Sensing and Encoding)

Invece di elaborare i dati in modo sequenziale (attesa dell'intera finestra temporale), MMEdge scompone l'intero processo di inferenza in unità di sensing e codifica fine-granularità (es. singoli frame video o chunk audio).

• Esecuzione sovrapposta: La codifica delle caratteristiche (feature encoding) inizia immediatamente non appena arriva un'unità di dati, sovrapponendosi al processo di acquisizione dei dati successivi. Questo elimina i tempi di inattività tra gli intervalli di sensing.
• Modulo di Aggregazione Temporale Leggero: Per mitigare la perdita di accuratezza dovuta alla mancanza di contesto temporale globale (tipica dell'elaborazione frammentata), MMEdge introduce un modulo che cattura le dinamiche temporali tra le unità. Utilizza:
  • Shift temporale alternato: Sposta i canali delle caratteristiche tra unità adiacenti per propagare il contesto.
  • Estrazione di differenze temporali: Calcola le differenze tra le caratteristiche di unità consecutive per catturare variazioni a breve e lungo termine.

B. Ottimizzatore di Configurazione Multimodale Adattiva

Per adattarsi alla variabilità delle risorse e alla complessità dei dati in runtime, il sistema include un ottimizzatore che seleziona dinamicamente la configurazione ottimale per ogni modalità.

• Variabili di ottimizzazione: Granularità dei dati (es. frame rate, dimensione del chunk) e complessità del modello (es. dimensione del backbone ResNet).
• Predittore di accuratezza leggero: Un modello addestrato offline stima l'accuratezza attesa basandosi su indicatori leggeri estratti dai dati (consistenza e complementarità delle modalità) e sulle condizioni di sistema, senza dover eseguire il modello completo.
• Algoritmo Greedy: Durante l'esecuzione, l'ottimizzatore sceglie la configurazione che massimizza l'accuratezza prevista rispettando il vincolo di latenza, utilizzando tabelle di ricerca pre-calcolate per la latenza.

C. Meccanismo di "Speculative Skipping" Cross-Modale

Per ridurre ulteriormente i tempi di attesa causati dalle modalità più lente:

• Classificatore di Gate: Un classificatore leggero valuta, quando le modalità veloci (es. audio) hanno già fornito informazioni sufficienti, se è possibile prendere una decisione affidabile senza attendere il completamento delle modalità lente (es. video).
• Skip speculativo: Se la probabilità di successo supera una soglia, il sistema salta l'elaborazione delle unità rimanenti della modalità lenta, riducendo drasticamente la latenza senza compromettere l'accuratezza.

3. Contributi Chiave

1. Analisi e Scomposizione: Un'analisi approfondita che dimostra come la scomposizione dei task di inferenza in unità fine-granularità possa accelerare l'elaborazione, superando i limiti dei framework sequenziali.
2. Nuovo Framework (MMEdge): L'introduzione di un sistema che integra sensing e codifica in pipeline, mantenendo l'accuratezza tramite aggregazione temporale intelligente.
3. Ottimizzazione Dinamica: Sviluppo di un ottimizzatore adattivo e di un meccanismo di skipping speculativo che rispondono alle dinamiche di sistema e dati in tempo reale.
4. Validazione Reale: Implementazione e test su un banco di prova reale basato su UAV (droni) e su dataset pubblici, dimostrando l'efficacia in scenari con risorse vincolate.

4. Risultati Sperimentali

Il sistema è stato valutato su due dataset pubblici (Lip Reading in the Wild - LRW, e NuScenes-Mini-QA) e su un banco di prova UAV reale per il tracciamento umano.

• Riduzione della Latenza: Su UAV, MMEdge riduce la latenza end-to-end del 75,83% rispetto ai metodi tradizionali, mantenendo prestazioni di task comparabili.
• Trade-off Ottimale: Rispetto alle baseline (inclusi metodi di blocco, non-blocco, gating e imputazione), MMEdge si posiziona costantemente nella regione "alta accuratezza / bassa latenza".
  • Su LRW: Riduce la latenza a ~137 ms (il valore più basso tra tutti i metodi) con una perdita di accuratezza inferiore al 3% rispetto alla baseline migliore.
  • Su UAV: Raggiunge un IoU medio del 70,47% (vicino alla baseline di blocco) riducendo la latenza di oltre l'80%.
• Robustezza: Il sistema mantiene alte prestazioni sotto diverse condizioni di budget di latenza, disponibilità di risorse CPU (dal 50% al 100%) e complessità dei campioni (campioni facili vs difficili).
• Overhead: I moduli aggiuntivi (aggregazione temporale, ottimizzatore, skipping) introducono un overhead di latenza trascurabile (meno di 9 ms ciascuno) e un consumo energetico minimo.

5. Significato e Impatto

MMEdge rappresenta un passo avanti significativo nell'IA on-device multimodale.

• Cambio di Paradigma: Sposta l'attenzione dall'ottimizzazione isolata delle singole fasi (sensing o inferenza) a una co-progettazione unificata che sfrutta le finestre temporali di inattività per l'elaborazione.
• Adattabilità Reale: Dimostra che è possibile gestire la variabilità intrinseca dei dispositivi edge (drone in volo, variazioni termiche) senza sacrificare l'accuratezza, rendendo l'IA multimodale più praticabile per applicazioni critiche in tempo reale.
• Efficienza Energetica e Computazionale: La capacità di saltare l'elaborazione non necessaria e di adattare la complessità del modello in tempo reale contribuisce a un uso più efficiente delle risorse, estendendo la durata della batteria dei dispositivi mobili.

In sintesi, MMEdge offre una soluzione scalabile ed efficiente per l'inferenza multimodale, risolvendo il collo di bottiglia della latenza causato dall'asincronia delle modalità e dalla rigidità dei pipeline tradizionali.