Riepilogo Tecnico: GRACE – Allineamento Relazionale con Cancello tramite Distillazione Basata sulla Confidenza per VLM Efficienti

1. Enunciato del Problema

I Modelli Vision-Language (VLM) hanno dimostrato capacità trasformative nelle attività multimodali, ma affrontano sfide significative nel deployment a causa dei loro elevati costi computazionali e di memoria. Sebbene la Quantizzazione Post-Training (PTQ) offra una via semplice per la compressione, spesso provoca un degrado catastrofico dell'accuratezza nei VLM, specialmente a larghezze di bit aggressive come INT4, a causa delle complesse distribuzioni multimodali e delle interazioni cross-modali intrinseche in questi modelli.

La Quantizzazione Consapevole dell'Addestramento (QAT) è un'alternativa più rigorosa che permette ai modelli di adattarsi ai vincoli di bassa precisione durante l'ottimizzazione. Tuttavia, la QAT per i VLM rimane poco esplorata. La QAT standard si basa esclusivamente su perdite di compito, che forniscono una supervisione sparsa insufficiente a guidare il modello su quali informazioni preservare sotto vincoli di bit rigorosi. Inoltre, combinazioni naive di QAT e Distillazione della Conoscenza (KD) spesso non riescono ad affrontare le sfide specifiche dei VLM, come la variabilità dell'affidabilità della supervisione del docente e la perdita di strutture di ragionamento visivo fine.

2. Metodologia: Il Framework GRACE

Gli autori propongono GRACE (Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs), un framework unificato che formula la compressione dei VLM come un problema di Collo di Bottiglia dell'Informazione (IB). Secondo questo principio, la quantizzazione agisce come un vincolo rigido di capacità, mentre la distillazione determina quali informazioni rilevanti per il compito conservare. GRACE integra tre componenti sinergici:

2.1 Distillazione della Conoscenza Decoppiata con Cancello Basato sulla Confidenza (GDKD)

La KD standard tratta tutte le previsioni del docente allo stesso modo, ignorando che le uscite incerte del docente (alta entropia) possono introdurre rumore. GRACE affronta questo problema tramite:

• Distillazione della Conoscenza Decoppiata (DKD): La perdita di distillazione è scomposta in Distillazione della Conoscenza della Classe Target (TCKD) e Distillazione della Conoscenza delle Classi Non-Target (NCKD). La NCKD trasferisce "conoscenza oscura" dalla distribuzione delle classi errate, che è spesso più informativa delle sole probabilità della classe target.
• Cancello Basato sulla Confidenza: Gli autori osservano una forte correlazione positiva tra l'entropia del docente e l'errore di previsione. Introducono un meccanismo di cancellazione in cui il peso di distillazione per ogni token è definito come $g_i = \exp(-\tilde{h}_i)$, dove $\tilde{h}_i$ è l'entropia normalizzata dell'output del docente. Questo sopprime la supervisione dai token incerti (ad alta entropia) e dà priorità alle previsioni confidenti.
• Giustificazione Teorica: Questo cancellamento è dimostrato minimizzare la covarianza tra pesi e perdita, filtrando efficacemente i segnali di supervisione inaffidabili.

2.2 Allineamento del Kernel Centrato Relazionale (RCKA)

La distillazione basata sui logit non riesce a trasferire le superiori capacità di ragionamento visivo dei modelli più grandi, che si manifestano come pattern di attenzione strutturati piuttosto che semplici probabilità di output.

• Struttura dei Token Visivi: GRACE estrae le rappresentazioni dei token visivi dal penultimo strato del backbone LLM (escludendo i token di testo).
• Allineamento del Kernel Centrato (CKA): Invece di allineare le caratteristiche punto per punto, GRACE allinea le matrici di Gram dei token visivi tra docente e studente. Questo trasferisce la struttura relazionale (similarità pairwise) tra i token visivi, permettendo allo studente di apprendere come il docente organizza le informazioni visive in regioni semanticamente coerenti (ad esempio, raggruppando i token del cielo insieme).
• Indipendenza dalla Dimensionalità: Il CKA opera su matrici di Gram $n \times n$, permettendo l'allineamento tra modelli con dimensioni nascoste diverse senza richiedere strati di proiezione.

2.3 Controllore Adattivo del Collo di Bottiglia dell'Informazione

Per bilanciare gli obiettivi concorrenti di prestazioni del compito e ritenzione della conoscenza sotto vincoli di quantizzazione, GRACE impiega un controllore adattivo:

• Ottimizzazione Vincolata: Il problema è formulato come minimizzazione della perdita di compito soggetta a un vincolo sulla perdita di distillazione ($L_{GDKD} \leq \tau$), dove $\tau$ rappresenta il budget di conservazione dell'informazione.
• Ascesa Duale: Il peso di distillazione $\beta$ viene aggiornato dinamicamente tramite ascesa duale proiettata con smoothing a Media Mobile Esponenziale (EMA). Se lo studente fatica a mantenere la conoscenza del docente ($L_{GDKD} > \tau$), $\beta$ aumenta per rafforzare la distillazione; altrimenti, diminuisce per dare priorità alle prestazioni del compito.

2.4 Strategia di Quantizzazione

GRACE impiega la Quantizzazione con Passi Appresi per Gruppo (LSQ). I pesi sono partizionati in piccoli gruppi (dimensione predefinita 128), ciascuno con un parametro di scala indipendente e appreso, ottimizzato congiuntamente ai pesi del modello durante l'addestramento. Questo approccio cattura meglio le distribuzioni eterogenee dei pesi dei VLM rispetto alla quantizzazione per tensore o per canale.

3. Contributi Chiave

1. Unificazione Teorica: Il documento stabilisce una connessione teorica tra Distillazione della Conoscenza e QAT attraverso il principio del Collo di Bottiglia dell'Informazione, inquadrando la quantizzazione come un problema di allocazione della capacità in cui la distillazione guida cosa preservare.
2. Framework GRACE: La proposta di un framework unificato caratterizzato da:
   • Distillazione decoppiata con cancellazione basata sulla confidenza per filtrare la supervisione rumorosa.
   • Allineamento del kernel centrato relazionale per trasferire il ragionamento visivo strutturato.
   • Un controllore IB adattivo per bilanciare dinamicamente fedeltà e capacità.
3. Rivoluzione nelle Prestazioni: Dimostrazione che i VLM quantizzati in INT4 addestrati con GRACE possono superare le linee di base a precisione intera (BF16), un risultato raramente raggiunto in scenari di quantizzazione aggressiva.

4. Risultati Sperimentali

Sono state condotte valutazioni estese su LLaVA-1.5 (docente 13B $\to$ studente 7B) e Qwen2-VL (docente 7B $\to$ studente 2B) su molteplici benchmark (SQA, MMBench, ScienceQA, ecc.).

• Recupero e Superamento dell'Accuratezza:
  • LLaVA-1.5-7B (INT4): Ha raggiunto il 70,1% su ScienceQA, superando la linea di base BF16 (66,8%) e eguagliando le prestazioni del docente da 13B.
  • Qwen2-VL-2B (INT4): Ha raggiunto il 76,9% su MMBench e il 79,1% su ScienceQA, superando significativamente la linea di base BF16 (rispettivamente 72,6% e 73,7%) e i metodi INT4 esistenti come RTN, AWQ e SPEED-Q.
• Confronto con le Linee di Base: GRACE ha costantemente superato la QAT standard, la KD+QAT naive e i metodi PTQ all'avanguardia (GPTQ, AWQ, MBQ) con margini significativi (ad esempio, +4,5% rispetto alla linea di base su Qwen2-VL-2B INT4).
• Guadagni di Efficienza: Quando implementato con kernel INT4 reali su una GPU NVIDIA A100, il modello GRACE ha raggiunto:
  • Un throughput 3,03 volte superiore.
  • Una latenza 3,03 volte inferiore.
  • Una riduzione del 2,18 volte nella memoria GPU di picco.
  • Una riduzione del 3,08 volte nell'archiviazione dei parametri.

5. Significato e Affermazioni

Il documento afferma che GRACE fornisce una base rigorosa per l'ottimizzazione congiunta nella compressione dei VLM. Trattando la quantizzazione come un problema di Collo di Bottiglia dell'Informazione, il framework permette ai modelli di apprendere rappresentazioni intrinsecamente robuste alla compressione aggressiva a basso numero di bit.

Gli autori sottolineano che il loro approccio permette ai modelli INT4 non solo di recuperare, ma di superare le linee di base a precisione intera, validando che un'allocazione rigorosa dell'informazione (tramite cancellazione basata sulla confidenza e allineamento relazionale) è superiore alle combinazioni standard di QAT o distillazione naive. Il lavoro mira a democratizzare l'accesso a VLM di alta qualità consentendo il loro deployment su dispositivi con risorse limitate, con riduzioni significative nei requisiti di memoria e calcolo, mantenendo o migliorando le prestazioni del compito. Gli autori riconoscono le potenziali implicazioni sociali, incluso il rischio di abuso per la generazione di contenuti fuorvianti, ma sostengono che i benefici dell'IA multimodale efficiente e accessibile superano questi rischi se implementata responsabilmente.