⚡ electrical engineering

FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference

FrequencyFormer è una pipeline sensore-processore co-progettata che sfrutta un tokenizer DCT multi-scala e hardware near-sensor per comprimere i dati visivi nel dominio della frequenza, ottenendo riduzioni significative del volume di dati off-chip e del consumo energetico, abilitando al contempo l'inferenza efficiente di Vision Transformer su sistemi edge.

Autori originali: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una telecamera di sicurezza hi-tech (il sensore) e un cervello super intelligente (il processore) che deve guardare le foto per identificare cosa sta succedendo. Di solito, questi due componenti si trovano su chip separati.

Il problema? Inviare una foto completa ad alta definizione dalla telecamera al cervello è come cercare di spedire per posta un'enciclopedia gigante e pesante solo per mostrare a qualcuno l'immagine di un gatto. Richiede molta energia e larghezza di banda, e rallenta tutto. Anche se il cervello diventa bravissimo a pensare velocemente, passa la maggior parte del tempo ed energia aspettando che arrivi quella pesante "enciclopedia".

FrequencyFormer è un nuovo sistema progettato per risolvere questo collo di bottiglia. Invece di spedire l'intera enciclopedia, riassume la foto in una "cartolina" minuscola ed efficiente proprio alla telecamera, prima di inviarla.

Ecco come funziona, suddiviso in tre semplici passaggi:

1. Il creatore di "Cartoline" (Il Tokenizer)

Invece di inviare ogni singolo pixel dell'immagine, la telecamera utilizza un trucco matematico chiamato DCT (Trasformata Discreta del Coscine).

L'analogia: Pensa a una canzone. Una canzone ha una linea di basso profonda (bassa frequenza) e fischi acuti (alta frequenza). Se volessi descrivere la canzone a un amico, ti interesserebbe soprattutto la melodia principale e il basso; i piccoli fischi acuti spesso non cambiano il modo in cui riconosci la canzone.
Cosa fa: FrequencyFormer guarda l'immagine e separa le parti "importanti" (le forme e i colori principali) dai "piccoli dettagli" (il rumore ad alta frequenza). Elimina i piccoli dettagli e tiene solo l'essenziale "melodia" dell'immagine.
Il risultato: Riduce la dimensione dei dati di 128 volte. Invece di inviare un file enorme, invia una lista minuscola e compressa di numeri che racconta comunque al cervello esattamente cos'è l'immagine.

2. Il "Calcolatore Specializzato" (L'Hardware LUT)

Di solito, i computer eseguono i calcoli moltiplicando i numeri, il che è come usare un martello pesante e dispendioso in termini di energia per rompere una noce.

L'analogia: Immagina di dover risolvere lo stesso problema matematico ripetutamente. Invece di fare il calcolo ogni volta, scrivi le risposte in un grande quaderno (una Look-Up Table o LUT) in anticipo. Quando hai bisogno di una risposta, devi solo sfogliare la pagina e leggerla.
Cosa fa: Poiché il "Creatore di Cartoline" utilizza regole matematiche fisse e immutabili, i ricercatori hanno costruito un chip speciale che non effettua affatto moltiplicazioni. Si limita a consultare risposte pre-calcolate in un piccolo quaderno di memoria molto efficiente dal punto di vista energetico.
Il risultato: Questo rende il chip della telecamera incredibilmente veloce e consuma pochissima batteria, perché non ha bisogno di macchinari pesanti per svolgere il lavoro.

3. Il "Filo che Sussurra" (L'Interfaccia a Bassa Potenza)

Anche con una piccola cartolina, inviarla attraverso un filo richiede solitamente molta "urlata" elettrica per garantire che il messaggio passi senza errori.

L'analogia: Immagina di sussurrare un segreto a un amico. Se sussurri soltanto, lui potrebbe non sentire. Ma se tieni una tazza all'orecchio per catturare meglio il suono, puoi sussurrare molto più piano e lui potrà comunque sentirti chiaramente.
Cosa fa: I ricercatori hanno modificato il ricevitore (l'orecchio) sul lato del processore. Hanno aggiunto un "cattura-suono" (un integratore) che raccoglie il segnale nel tempo. Questo permette alla telecamera di inviare i dati con un segnale elettrico molto più debole e silenzioso.
Il risultato: Il filo utilizza molta meno energia per trasmettere i dati.

Il Quadro Generale

Quando combini queste tre parti:

Comprimere l'immagine in una piccola cartolina (128 volte più piccola).
Calcolare quella cartolina con un sistema a quaderno super-efficiente.
Sussurrare i dati attraverso il filo invece di urlarli.

Il sistema risparmia una quantità enorme di energia. Il documento afferma che, rispetto ai sistemi standard, questa nuova pipeline riduce l'energia necessaria per inviare i dati di circa 230 volte e l'energia totale utilizzata dal lato telecamera di 2,2 volte.

Perché questo è importante?
Permette a IA potenti (come i Vision Transformer) di girare su piccoli dispositivi alimentati a batteria (come telecamere di sicurezza o droni) senza esaurire la batteria o richiedere un computer gigante nelle vicinanze. La cosa migliore? Funziona come un componente "plug-and-play". Puoi inserirlo nei sistemi IA esistenti senza dover ricostruire l'intero cervello, e riconosce comunque oggetti, persone e scene con quasi la stessa precisione del sistema originale e pesante.

Riepilogo Tecnico: FrequencyFormer

1. Definizione del Problema

Il dispiegamento di Vision Transformers (ViT) su sistemi edge-sensore è fondamentalmente limitato non dalla computazione sul dispositivo, ma dai costi di energia e larghezza di banda associati alla trasmissione di dati d'immagine grezzi ad alta dimensionalità dal sensore al processore. Nelle tipiche architetture di visione edge, il fotogramma a risoluzione completa deve attraversare un'interfaccia off-chip (ad esempio, MIPI) prima che inizi qualsiasi inferenza. Man mano che i modelli backbone vengono ottimizzati per il dispiegamento edge (ad esempio, tramite quantizzazione e pruning), l'energia di calcolo diminuisce, causando il predominio dell'energia di comunicazione nel budget energetico totale del sistema.

Gli esistenti paradigmi di calcolo in-sensor e near-sensor tentano di mitigare questo problema eseguendo l'estrazione precoce delle feature al sensore. Tuttavia, gli approcci attuali ottengono solo modesti rapporti di compressione (tipicamente fino a 10×), che spesso non giustificano l'aggiunta di complessità e costi del silicio. Gli autori sostengono che sia necessaria una riduzione più drastica del volume dei dati per alterare fondamentalmente l'equilibrio energetico del sistema.

2. Metodologia

Il documento propone FrequencyFormer, una pipeline co-progettata sensore-processore che sfrutta il dominio della frequenza per ottenere una tokenizzazione ad alta compressione. La pipeline consiste di tre componenti strettamente integrati:

2.1 Tokenizer nel Dominio della Frequenza Multi-Scala

Il primo componente trasforma un input grezzo di 224×224 (convertito in YCbCr) in una sequenza compatta di token di frequenza. Ciò viene ottenuto attraverso tre rami paralleli:

Ramo 1 (Locale, blocchi 8×8): Applica la Trasformata Discreta del Coseno (DCT) per blocchi per catturare texture e bordi fini.
Ramo 2 (Scala media, blocchi 32×32): Applica la DCT per blocchi per catturare pattern strutturali e contorni di oggetti.
Ramo 3 (Globale, immagine intera): Applica la DCT globale per catturare il layout della scena e l'illuminazione.

Tecniche Chiave:

Pruning DCT-Aware della Selezione: Invece di mantenere tutti i coefficienti, il sistema seleziona un sottoinsieme di coefficienti (ad esempio, 14 per i blocchi 8×8) basandosi sull'ordine di scansione zigzag JPEG (da bassa a alta frequenza). Ciò consente di eseguire il pruning della matrice di base DCT $C$ , riducendo la complessità computazionale da $O(N^3)$ a $O((R+S) \cdot N^2)$ .
Quantizzazione Harmonic-Aware (HAQ): Riconoscendo che le armoniche ad alta frequenza contengono meno energia semantica, il sistema assegna larghezze di bit inferiori (ad esempio, INT4) alle righe ad alta frequenza e larghezze di bit superiori (ad esempio, INT8) alle righe a bassa frequenza. Questo è implementato tramite troncamento dei bit senza overhead di archiviazione aggiuntivo.
Fusione Multi-Ramo: Un meccanismo di cross-attention a cascata fonde i token dei tre rami, permettendo ai dettagli locali di prestare attenzione al contesto globale prima di essere proiettati nella dimensione di embedding del backbone.
Compatibilità: Il tokenizer agisce come un sostituto "drop-in" per i normali strati di patch embedding, preservando la compatibilità con i backbone ViT pre-addestrati (ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1).

2.2 Realizzazione Hardware Basata su LUT

Per implementare il tokenizer su un chip logico near-sensor, gli autori sfruttano la natura a coefficienti fissi della DCT.

Accelerazione tramite Look-Up Table (LUT): Poiché i coefficienti DCT sono costanti, le operazioni di moltiplicazione sono sostituite da lookup di memoria precomputati memorizzati in LUT supportate da ROM. Ciò elimina la necessità di moltiplicatori e l'overhead della SRAM.
Strategia Divide-and-Conquer (D&C): Per gestire la crescita esponenziale dello storage delle LUT con la larghezza di bit, il sistema utilizza un approccio D&C, decomponendo le moltiplicazioni ad alta precisione in sotto-LUT a bassa precisione combinate tramite shift-and-add.
Precisione Mista: L'hardware sfrutta lo schema HAQ, utilizzando LUT più piccole per i componenti ad alta frequenza (INT4) e LUT più grandi per quelli a bassa frequenza (INT8), riducendo significativamente area e potenza.

2.3 Interfaccia di Comunicazione a Basso Consumo

La pipeline utilizza un'architettura Mobile Industry Processor Interface (MIPI) modificata, progettata per una complessità asimmetrica.

Ricevitore Integratore (IR): Il ricevitore (Rx) è potenziato con un integratore dinamico che precede il comparatore. Questa integrazione temporale migliora il Rapporto Segnale-Rumore (SNR), consentendo al trasmettitore (Tx) di operare a una tensione di oscillazione significativamente inferiore pur mantenendo un basso Bit Error Rate (BER).
Risparmio Energetico: Questo design sposta la complessità verso il ricevitore (che può essere implementato su un FPGA o un backend custom) per ridurre drasticamente l'energia per bit sul lato trasmettitore del sensore.

3. Contributi Chiave

Tokenizzazione nel Dominio della Frequenza: Un nuovo tokenizer che comprime immagini 224×224 in token di frequenza compatti con una riduzione del volume di dati off-chip fino a 128×, mantenendo al contempo un'accuratezza competitiva.
Acceleratore Near-Sensor Basato su LUT: Una realizzazione hardware che elimina i moltiplicatori cablando i coefficienti DCT in ROM, raggiungendo un'elevata efficienza energetica (28.8 TOPS/W) e consentendo l'operatività a precisione mista senza analisi di sensibilità priva di addestramento.
Comunicazione Co-Progettata: Un'interfaccia MIPI asimmetrica che riduce l'energia di comunicazione per bit di 1.8× attraverso la tecnologia del ricevitore integratore, completando la riduzione della larghezza di banda.
Validazione a Livello di Sistema: Una valutazione completa che dimostra come l'intera pipeline riduca l'energia totale lato sensore di 2.22× e l'energia di comunicazione di ≈230× rispetto alle architetture convenzionali, attraverso compiti di classificazione, rilevamento e segmentazione.

4. Risultati Sperimentali

Gli autori hanno valutato FrequencyFormer su CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW) e COCO (rilevamento/segmentazione).

Accuratezza: Il sistema mantiene un'accuratezza vicina al baseline. Ad esempio, su CIFAR-10 con un backbone ViT-Tiny e una configurazione a 24 canali INT8-HAQ, raggiunge il 92.89% di accuratezza, rispetto al 93.77% del baseline standard FP16 (un calo di <1%).
Efficienza Energetica: La realizzazione basata su LUT raggiunge 28.8 TOPS/W, che è 2.5× superiore rispetto ai lavori in-/near-sensor precedenti (ad esempio, DPCE a 11.49 TOPS/W).
Riduzione della Comunicazione: La combinazione della compressione nel dominio della frequenza (riduzione dei dati di 128×) e dell'interfaccia a basso consumo risulta in una riduzione dell'energia di comunicazione per fotogramma di 230×.
Overhead Hardware: L'implementazione LUT riduce l'overhead di area di circa 29.5× rispetto alle tradizionali matrici LUT e di 1.24× rispetto ai moltiplicatori ad array per precisione uniforme. Con HAQ, il risparmio di area ed energia è ulteriormente potenziato (fino al 45.9% di riduzione dell'area).

5. Significato e Rivendicazioni

Il documento afferma che FrequencyFormer stabilisce la tokenizzazione nel dominio della frequenza come una base valida per il dispiegamento scalabile di ViT in-sensor. Il suo significato primario risiede nel risolvere il "collo di bottiglia della comunicazione" che è stato trascurato a favore dell'ottimizzazione della computazione.

Gli autori sottolineano che, sfruttando la naturale compattezza del dominio della frequenza (tramite DCT) e co-progettando il sensore logico, l'interfaccia di comunicazione e la pipeline del processore, ottengono un sistema in cui l'energia di comunicazione diventa trascurabile (<1% del totale) anziché dominante. Essi asseriscono che questo approccio consente il dispiegamento di backbone ViT allo stato dell'arte alla risoluzione completa (224×224) su dispositivi edge con una degradazione minima dell'accuratezza e un sostanziale risparmio energetico, senza richiedere modifiche agli backbone pre-addestrati. Il lavoro è presentato come un "sostituto drop-in" che colma il divario tra la cattura del sensore e l'inferenza del transformer.