Aligned Vector Quantization for Edge-Cloud Collabrative Vision-Language Models

1. Il Problema

I modelli Vision-Language (VLM), come LLaVA, sono fondamentali per sistemi di Visual Question Answering (VQA), ma richiedono enormi risorse computazionali. Di conseguenza, vengono tipicamente eseguiti interamente nel cloud. Questo approccio presenta due limitazioni principali:

1. Sottoutilizzo delle risorse Edge: Ignora la potenza di calcolo disponibile sui dispositivi periferici (edge) dotati di capacità AI.
2. Larghezza di banda e Latenza: Trasmettere immagini grezze al cloud richiede una banda larga significativa. L'uso di compressione standard (es. JPEG) riduce i dati ma degrada drasticamente l'accuratezza del modello, specialmente ad alti tassi di compressione.

L'obiettivo è trovare un equilibrio che permetta l'esecuzione collaborativa (edge-cloud), spostando parte del carico computazionale sull'edge e comprimendo le feature intermedie (anziché le immagini grezze) per minimizzare la trasmissione senza sacrificare l'accuratezza del task VQA.

2. Metodologia: AlignedVQ

Gli autori propongono LLaVA-AlignedVQ, un sistema collaborativo che utilizza un nuovo algoritmo di compressione chiamato Aligned Vector Quantization (AlignedVQ). L'approccio divide l'esecuzione del modello: le prime parti del codificatore visivo girano sull'edge, le feature intermedie vengono compresse e inviate al cloud, dove il resto del modello (codificatore visivo rimanente, adattatore e LLM) completa l'elaborazione.

Le tre innovazioni chiave di AlignedVQ sono:

• Compressione di Feature Normalizzate (Normalized Feature Compression):
  Invece di applicare la Quantizzazione Vettoriale (VQ) su qualsiasi livello, AlignedVQ la inserisce immediatamente dopo i layer di normalizzazione (LayerNorm) all'interno dei blocchi Transformer.

  • Motivazione: Le feature dopo la normalizzazione hanno una distribuzione statistica più strutturata (si trovano su un'ipersfera con bassa variazione del coefficiente di variazione), rendendole molto più adatte alla quantizzazione rispetto alle feature grezze o quelle uscite da layer di attenzione (ATTN) o feed-forward (FFN), che hanno magnitudini altamente variabili.

• Dual Linear Projection (DLP):
  Per mitigare lo spostamento della distribuzione delle feature (feature distribution shift) causato dall'inserimento della VQ in un modello pre-addestrato, viene introdotto un modulo leggero chiamato DLP.

  • Funzionamento: Consiste in due proiezioni lineari apprese (una prima e una dopo la quantizzazione) che agiscono come "adattatori". La proiezione in ingresso modella le feature in una forma più amichevole alla quantizzazione, mentre quella in uscita ripristina le proprietà statistiche attese dai layer successivi del modello pre-addestrato.

• Strategia di Addestramento (Fine-tuning congiunto):
  Per preservare l'accuratezza, il sistema non si limita a comprimere, ma esegue un fine-tuning congiunto di:

  1. Il codebook della VQ.
  2. I parametri del modulo DLP.
  3. I parametri LoRA (Low-Rank Adaptation) all'interno del Large Language Model (LLM).
     Questo processo addestra il modello a gestire le feature compresse, sfruttando l'effetto di "augmentation" dei dati compressi per migliorare la robustezza.

3. Risultati Sperimentali

Il sistema è stato valutato su otto dataset VQA diversi (inclusi VQA-v2, GQA, TextVQA, ecc.) utilizzando LLaVA-1.5 come modello base.

• Compressione dei Dati:
  • AlignedVQ raggiunge un tasso di compressione delle feature intermedie di circa 1365×.
  • Rispetto all'invio di immagini JPEG compressi al 90% (JPEG90), riduce l'overhead di trasmissione del 96,8% (da ~26 KB a ~0,85 KB per campione).
• Accuratezza:
  • Il sistema mantiene un'accuratezza estremamente vicina al modello originale cloud-only. La differenza di accuratezza varia tra -2,23% e +1,6% rispetto al modello LLaVA originale su tutti i dataset.
  • In alcuni casi (es. VQA-v2), AlignedVQ supera leggermente l'accuratezza del modello originale (+0,85%), probabilmente grazie all'effetto di regolarizzazione del fine-tuning su feature compresse.
  • Confrontato con la compressione JPEG, AlignedVQ offre un'accuratezza superiore a parità di dimensione dati o dimensioni molto inferiori a parità di accuratezza.
• Latenza ed Esecuzione:
  • In scenari edge-cloud con larghezza di banda variabile (0,25 - 4 Mbps), AlignedVQ offre un speedup di 2-15× rispetto alla soluzione cloud-only con JPEG90.
  • Anche in condizioni di banda scarsa, supera le soluzioni basate su JPEG-10 (che hanno latenza simile ma accuratezza molto inferiore).
  • L'overhead computazionale locale per la compressione è minimo: circa 4,91 ms per campione, rappresentando solo il 25% del tempo di esecuzione locale.

4. Contributi Chiave

1. Algoritmo AlignedVQ: Un algoritmo di compressione "consapevole del task" che combina quantizzazione vettoriale post-normalizzazione, proiezione lineare duale e fine-tuning LoRA per ottenere alti tassi di compressione con perdita di accuratezza trascurabile.
2. Analisi della Partizione: Dimostrazione che nei modelli Transformer, partizionare il più presto possibile (dopo il primo blocco) è la strategia ottimale per la latenza, grazie alla dimensione costante delle feature intermedie.
3. Sistema Collaborativo: Implementazione e valutazione completa di un sistema VQA edge-cloud che supera i limiti delle soluzioni puramente cloud o basate su compressione di immagini generica.

5. Significato e Impatto

Questo lavoro risolve un collo di bottiglia critico nell'adozione dei VLM su dispositivi periferici. Dimostra che è possibile spostare l'intelligenza artificiale verso l'edge senza dover ridurre drasticamente la qualità del modello o richiedere connessioni internet ad altissima velocità.
La capacità di comprimere le feature intermedie di oltre 1000 volte mantenendo l'accuratezza apre la strada a:

• Applicazioni VQA in tempo reale su dispositivi mobili o IoT con connettività limitata.
• Riduzione dei costi infrastrutturali cloud e del consumo energetico.
• Nuove architetture ibride per modelli multimodali su larga scala.

In sintesi, AlignedVQ rappresenta un passo avanti significativo verso l'efficienza e la scalabilità dei modelli Vision-Language in ambienti reali con risorse vincolate.