🤖 AI

DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

Questo articolo introduce DeVIT, un metodo di accelerazione a basso consumo per i Vision Transformer che sfrutta la località dei valori nei modelli quantizzati per consentire la moltiplicazione di matrici senza l'uso di moltiplicatori attraverso il calcolo differenziale.

Autori originali: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente a riconoscere delle immagini, come individuare un gatto su un albero o un'auto in una strada. Per farlo, usiamo dei programmi informatici speciali simili al cervello, chiamati "Vision Transformers". Questi programmi sono incredibilmente potenti, ma sono anche enormi, voraci bestie. Devono eseguire miliardi di minuscoli calcoli matematici ogni volta che guardano una foto, e consumano enormi quantità di memoria e di batteria. Per questo motivo, è molto difficile inserirli in dispositivi piccoli come telefoni o droni senza che si surriscaldino o rimangano a secco di energia.

Per domare queste bestie voraci, gli scienziati hanno cercato di rendere la matematica più semplice. Un trucco popolare è la "quantizzazione", che è come arrotondare i numeri che il robot utilizza. Invece di usare decimali precisi, il robot usa solo un set limitato di numeri interi, come 0, 1, 2, fino a 255. Questo risparmia spazio, ma non impedisce al robot di fare miliardi di moltiplicazioni. Tuttavia, c'è un bonus nascosto a questo arrotondamento: poiché il robot è costretto a usare solo un set limitato di numeri, finisce per usare spesso gli stessi numeri ripetutamente. È come se uno chef avesse a disposizione solo cinque ingredienti; userebbe lo stesso barattolo di spezie ripetutamente. La grande domanda è: possiamo costruire un robot che si accorga di stare per usare la stessa spezia di nuovo e salti il lavoro, risparmiando energia nel processo?

È esattamente questo ciò che i ricercatori dietro a DeVIT (Delta-coded Vision Transformer) si sono dati da fare per risolvere. Si sono resi conto che, poiché ai "Vision Transformers" è imposto l'uso di un set limitato di numeri, i pesi (i numeri che dicono al robot cosa cercare) spesso si trovano proprio accanto l'uno all'altro in valore. Per esempio, se il robot deve moltiplicare un numero per 5, poi per 6, poi per 7, non ha bisogno di fare tre calcoli separati e difficili. Può semplicemente fare il primo, poi aggiungere un pochino per il successivo, e aggiungere un pochino di più per quello dopo ancora.

Il team di DeVIT ha inventato un modo intelligente di organizzare questi numeri in modo che il robot possa usare questo trucco del "aggiungere un pochino" invece di fare moltiplicazioni complete e pesanti. Prendono i numeri e li ordinano in linea dal più piccolo al più grande e memorizzano solo la differenza tra di essi (il "delta"). Se la differenza è piccola, il robot può semplicemente "spostare" il numero (che è come moltiplicare per 2 o 4) e aggiungerlo, invece di fare una moltiplicazione complessa. Se la differenza è zero (significa che il numero è lo stesso dell'ultimo), il robot non deve fare nulla — riutilizza semplicemente la risposta precedente.

Usando questo metodo, i ricercatori hanno dimostrato di poter ridurre l'entità della matematica che il robot deve fare a solo 0,53 di quanto richiederebbe una versione non ottimizzata. Ciò significa che il robot fa meno della metà del lavoro! Nei loro test, questo nuovo design ha utilizzato 159,57 nJ (nanojoule) di energia per un singolo passaggio di calcolo principale. Questo è circa il 5,5% in meno di energia rispetto ai migliori metodi esistenti basati su "spostamento e addizione" (shift-and-add) con cui l'hanno confrontato.

Tuttavia, c'è un problema. Per far sì che questo funzioni, i ricercatori hanno dovuto ordinare i numeri e memorizzare informazioni extra su dove appartengono, il che occupa un po' di spazio di memoria in più. Inoltre, poiché stanno approssimando le differenze, c'è un piccolo compromesso in termini di precisione. Nei loro esperimenti con diversi modelli, l'accuratezza è scesa di una piccola quantità — a volte fino a 3,11 punti percentuali per la classificazione delle immagini o 2,53 punti mAP per il rilevamento degli oggetti. Sebbene questo sia un piccolo prezzo da pagare per un enorme risparmio energetico, significa che il metodo non è ancora perfetto per ogni singola situazione.

In breve, DeVIT è come dare al robot un foglio di riferimento. Invece di ricalcolare gli stessi problemi matematici da zero ogni volta, guarda la sua lista ordinata di numeri, vede che il successivo è solo un piccolo passo più avanti e prende una scorciatoia. Questo rende il robot più veloce e molto più efficiente dal punto di vista energetico, portandoci un passo più vicini ad avere un'IA potente che possa girare su dispositivi di uso quotidiano senza scaricare la batteria.

Sintesi Tecnica: DeVIT – Accelerazione di Vision Transformer a Basso Consumo Utilizzando la Computazione Delta

Problematica
I Vision Transformer (ViT) hanno raggiunto prestazioni allo stato dell'arte nella visione artificiale sfruttando l'auto-attenzione (self-attention) per modellare dipendenze a lungo raggio. Tuttavia, il loro dispiegamento su dispositivi con risorse limitate è ostacolato da requisiti computazionali e di memoria sostanziali. A differenza delle Reti Neurali Convoluzionali (CNN), i ViT presentano una complessità quadratica nella lunghezza della sequenza per l'auto-attenzione, portando a carichi massicci di moltiplicazioni-accumulazioni (MAC). Ad esempio, un modello ViT-B/16 richiede 17,6 miliardi di MAC per una singola immagine 224×224, superando significativamente i 4,1 miliardi di MAC richiesti da ResNet-50. Sebbene la quantizzazione (ad esempio, a 8 bit) sia un metodo standard per ridurre le dimensioni e la complessità del modello, essa introduce una proprietà secondaria: la località dei valori. Nelle matrici quantizzate a basso bit, i pesi sono limitati a un intervallo ristretto di valori discreti, causando il fatto che molti pesi all'interno di una riga siano identici o molto vicini in valore. Gli acceleratori hardware esistenti spesso non riescono a sfruttare appieno questa località per eliminare le moltiplicazioni ridondanti, in particolare nelle densi operazioni lineari (proiezioni e reti Feed-Forward) che dominano la computazione dei ViT.

Metodologia: DeVIT
Il documento propone DeVIT (Delta-coded Vision Transformer), un metodo di accelerazione che sfrutta la computazione differenziale per sostituire le costose moltiplicazioni con operazioni di shift-and-add (scorrimento e somma). La metodologia principale prevede tre passaggi chiave:

Ordinamento dei Pesi e Codifica Delta:
Invece di memorizzare i valori assoluti dei pesi, DeVIT ordina i pesi all'interno di ogni riga della matrice dei pesi in ordine crescente. Successivamente, memorizza le differenze ( $\Delta W$ ) tra i pesi consecutivi ordinati anziché i pesi stessi.
- Computazione Delta: La moltiplicazione di un elemento di input $a$ con un peso ordinato $W_2$ viene calcolata come $a \times W_2 = (a \times W_1) + (a \times \Delta W)$ , dove $W_1$ è il peso precedente.
- Shift-and-Add: Grazie alla località dei valori, i valori $\Delta W$ sono tipicamente piccoli (spesso 0, 1 o 2). Queste piccole differenze vengono approssimate come potenze di due, permettendo alla moltiplicazione $a \times \Delta W$ di essere sostituita da una semplice operazione di bit-shift.
- Salto del Delta Zero: Quando i pesi consecutivi sono identici, $\Delta W = 0$ . Il sistema salta la computazione per queste istanze e riutilizza il prodotto parziale precedente, eliminando efficacemente le operazioni per i pesi ridondanti.
Dataflow Input-Stationary:
Per consentire il riutilizzo dei risultati delle moltiplicazioni, DeVIT adotta un ordine di esecuzione input-stationary. Gli elementi di input vengono prelevati sequenzialmente e riutilizzati in tutte le computazioni richieste per una specifica riga di pesi. Ciò garantisce che un singolo operando di input sia moltiplicato per una sequenza di pesi ordinati, rendendo fattibile l'approccio differenziale.
Strategia di Partizionamento:
Per gestire le dimensioni dei buffer e il consumo energetico, le matrici dei pesi vengono partizionate in blocchi più piccoli (ad esempio, 64 o 16 elementi) prima dell'ordinamento e della codifica.
- Compromessi: Partizioni più piccole riducono lo spazio di archiviazione richiesto per gli indici di destinazione e i buffer di output, ma aumentano leggermente l'entità dei delta (riducendo la frequenza di delta zero o piccoli).
- Codifica dell'Indice: Ogni delta è accoppiato con un indice che indica la sua posizione originale nella colonna per ripristinare l'ordine corretto dell'output. La codifica utilizza un codice delta a 4 bit (segno + magnitudo a 3 bit per le potenze di due) e un indice a larghezza variabile a seconda della dimensione della partizione.

Contributi Chiave

Accelerazione basata su Delta per i ViT: DeVIT è la prima architettura che adatta la computazione differenziale (precedentemente esplorata nelle CNN come $\Delta$ NN) specificamente per il dataflow denso e basato su token dei Vision Transformer.
Moltiplicazione di Matrici Senza Moltiplicatori: Trasformando le matrici dei pesi in formati codificati con delta, l'approccio converte le dominanti operazioni GEMM (General Matrix Multiply) nei ViT in processi base di shift-and-add, riducendo significativamente la complessità hardware.
Ottimizzazione Consapevole del Sistema: Il documento introduce un dataflow specifico, una strategia di partizionamento e uno schema di gestione degli indici progettati su misura per gli strati di proiezione densa e feed-forward dei ViT, distinguendosi dal lavoro precedente focalizzato sulla sparsità o sui meccanismi di attenzione.
Implementazione Hardware: Gli autori presentano un design RTL sintetizzato in un processo tecnologico a 15 nm, dimostrando la fattibilità pratica dell'approccio.

Risultati Sperimentali
Gli autori hanno valutato DeVIT su diversi benchmark, inclusi ViT-B/16, DeiT, Swin Transformer e DETR-ResNet-50, utilizzando pesi quantizzati a 8 bit.

Carico Computazionale: DeVIT riduce il carico computazionale normalizzato a 0,53 rispetto a un baseline non ottimizzato. Questo è inferiore alla configurazione di attention-skip (0,70) e FC1-skip (0,61) di FACT, sebbene sia leggermente superiore al più aggressivo FC2-skip (0,47) di FACT.
Efficienza Energetica: L'energia misurata per il singolo GEMM di DeVIT è di 159,57 nJ. Questo è circa il 5,5% inferiore alla configurazione a minor consumo ShiftAddLLM (168,84 nJ) inclusa nel confronto.
Accuratezza: Il metodo mantiene un'alta accuratezza con una degradazione minima. Ad esempio, l'accuratezza Top-1 di ViT-B/16 scende dall'83,71% (FP32) all'83,48% (DeVIT $\Delta$ -64). Il calo di accuratezza più grande osservato è stato di 3,11 punti percentuali per la Top-1 di Swin e di 2,53 punti mAP per DETR nella configurazione di partizionamento a 32 elementi.

Significato e Rivendicazioni
Il documento afferma che DeVIT migliora significativamente la praticità di implementazione dei modelli transformer per compiti di elaborazione delle immagini su una gamma più ampia di dispositivi, riducendo sia il carico computazionale che il consumo energetico oltre quanto ottenibile con la sola quantizzazione. Sfruttando la località dei valori attraverso la computazione differenziale, DeVIT semplifica le essenziali operazioni di moltiplicazione di matrici negli strati dei transformer in processi di shift-and-add senza richiedere complessi scheduling dinamici o predizioni per ogni input. Gli autori posizionano DeVIT come un'ottimizzazione complementare consapevole del sistema che mira agli strati lineari densi — il principale collo di bottiglia nei ViT — offrendo un equilibrio tra efficienza hardware, uso della memoria e accuratezza del modello.

Articoli simili