Mobile-VideoGPT: Fast and Accurate Model for Mobile Video Understanding

1. Il Problema

I modelli di comprensione video basati su Large Multimodal Models (LMM) hanno dimostrato capacità eccezionali in compiti come la descrizione video e il question answering visivo. Tuttavia, questi modelli soffrono di tre limitazioni critiche che ne impediscono l'uso pratico sui dispositivi edge (come smartphone, veicoli autonomi o robot):

• Elevati requisiti computazionali: Richiedono un numero enorme di parametri (spesso miliardi) e grandi risorse di memoria.
• Lentezza nell'inferenza: La velocità di generazione (throughput) è insufficiente per applicazioni in tempo reale.
• Inefficienza energetica: Il consumo di risorse li rende inadatti a piattaforme con vincoli energetici e di memoria stretti.

Esiste quindi un bisogno urgente di modelli video efficienti che mantengano alte prestazioni senza superare i limiti delle risorse hardware dei dispositivi periferici.

2. Metodologia: Mobile-VideoGPT

Gli autori propongono Mobile-VideoGPT, un framework multimodale efficiente progettato per operare con meno di un miliardo di parametri. L'architettura si basa su quattro componenti principali:

• Doppio Encoder Visivo (Dual Visual Encoders):

  • Encoder di Immagini: Utilizza un encoder basato su CLIP per catturare dettagli spaziali e semantici da ogni fotogramma.
  • Encoder Video Leggero: Utilizza VideoMamba-M, un encoder ottimizzato per l'efficienza, per estrarre informazioni temporali.
  • Questa combinazione permette di catturare sia i dettagli statici che le dinamiche temporali senza l'overhead di encoder video pesanti.

• Meccanismo di Punteggio dei Fotogrammi Basato sull'Attenzione (Attention-Based Frame-Scoring):

  • Invece di processare tutti i fotogrammi campionati (che è ridondante e costoso), il modello calcola un punteggio di importanza per ogni fotogramma utilizzando un meccanismo di attenzione spaziale.
  • Seleziona dinamicamente solo i K fotogrammi chiave (es. 8 su 16) che contengono le informazioni più salienti, riducendo drasticamente il carico computazionale mantenendo il contesto cruciale.

• Proiettore di Token Efficiente (Efficient Token Projector - ET-Proj):

  • Questo modulo comprime e proietta le caratteristiche visive (sia spaziali che temporali) nello spazio di embedding del linguaggio.
  • L'architettura ET-Proj include:
    1. Una rete feed-forward (FFN) per trasformare le feature.
    2. Un meccanismo di riduzione dei token tramite Adaptive Pooling per diminuire le dimensioni spaziali.
    3. Un codificatore di posizione basato su convoluzioni con connessione residua per preservare le dipendenze spaziali e temporali.
  • Questo processo riduce il numero di token visivi da inviare al modello linguistico, eliminando i token ridondanti.

• Small Language Model (SLM):

  • Il modello utilizza un SLM (basato su Qwen-2.5, varianti da 0.5B o 1.5B parametri) come motore di generazione.
  • L'addestramento avviene in tre fasi: pre-training separato dei proiettori per immagini e video, seguito da instruction tuning con tecniche LoRA (Low-Rank Adaptation) sul modello linguistico, mantenendo gli encoder visivi congelati.

3. Contributi Chiave

1. Modello Leggero per l'Edge: Un modello multimodale ottimizzato specificamente per l'implementazione in tempo reale su dispositivi con risorse limitate (es. NVIDIA Jetson Orin Nano), con un footprint di memoria di soli 1 GB (in FP16) e requisiti VRAM di soli 3 GB.
2. Strategia di Selezione dei Fotogrammi: Una nuova metodologia basata sull'attenzione per selezionare i fotogrammi rappresentativi, bilanciando fedeltà visiva e riduzione del costo computazionale.
3. Proiezione Efficiente dei Token: Un modulo di proiezione che riduce i token visivi preservando le informazioni contestuali essenziali, superando i tradizionali proiettori MLP.
4. Prestazioni Superiori: Nonostante le dimensioni ridotte, il modello supera i modelli State-of-the-Art (SoTA) di dimensioni simili (0.5B parametri) con un miglioramento medio di 6 punti su sei benchmark diversi.

4. Risultati Sperimentali

Il modello è stato valutato su sei benchmark consolidati: ActivityNet-QA, EgoSchema, MLVU, MVBench, NextQA e PerceptionTest.

• Prestazioni di Accuratezza:

  • Mobile-VideoGPT-0.5B supera i modelli SoTA da 0.5B (come LLaVA-OneVision-0.5B) in media di 6 punti.
  • La variante da 1.5B raggiunge prestazioni vicine a modelli molto più grandi (come LLaVA-Mini-8B), superando LLaVA-Mini del 2.1% su ActivityNet-QA.
  • Eccelle in compiti che richiedono ragionamento temporale (es. MVBench), ottenendo punteggi significativamente più alti nella classificazione di direzioni di movimento e localizzazione di azioni.

• Efficienza e Throughput:

  • Su NVIDIA Jetson Orin Nano (dispositivo edge): 7.3 token/secondo.
  • Su NVIDIA RTX A6000 (desktop): 45.9 token/secondo.
  • Rispetto a LLaVA-OneVision-0.5B, il modello è 2 volte più veloce e utilizza il 40% in meno di parametri.
  • Rispetto a LLaVA-Mini-8B, è fino a 9 volte più veloce.

• Qualità delle Risposte:

  • Le analisi qualitative mostrano che il modello genera risposte più accurate, contestualmente fondate e coerenti temporalmente rispetto ai baselines, evitando allucinazioni e catturando dettagli fini (es. punteggi di partite, sequenze di azioni).

5. Significato e Impatto

Mobile-VideoGPT rappresenta un passo significativo verso la democratizzazione dell'intelligenza artificiale video sui dispositivi periferici.

• Sostenibilità: Riduce drasticamente il consumo energetico e le risorse necessarie, rendendo possibile l'esecuzione di modelli video complessi senza dipendere dal cloud.
• Applicabilità Reale: Abilita scenari d'uso in tempo reale come l'assistenza robotica, la guida autonoma e l'interazione uomo-macchina su smartphone, dove la latenza e l'efficienza sono critiche.
• Trade-off Ottimizzato: Dimostra che è possibile ottenere un bilanciamento superiore tra accuratezza ed efficienza, sfidando la convinzione che le alte prestazioni video richiedano necessariamente modelli massicci.

In sintesi, il lavoro fornisce un'architettura scalabile che apre la strada all'adozione diffusa di modelli di comprensione video intelligenti direttamente sui dispositivi degli utenti finali.