⚡ electrical engineering

FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference

FrequencyFormer is een co-ontworpen sensor-naar-processor-pipeline die een multi-schaal DCT-tokenizer en near-sensor hardware gebruikt om visuele data naar het frequentiedomein te comprimeren, waarbij significante reducties in off-chip datavolume en energieverbruik worden bereikt terwijl efficiënte Vision Transformer-inferentie op edge-systemen mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een high-tech beveiligingscamera (de sensor) hebt en een superintelligent brein (de processor) dat de foto's moet bekijken om te identificeren wat er gebeurt. Meestal zitten deze twee op aparte chips.

Het probleem? Het versturen van een volledige, high-definition foto van de camera naar het brein is alsof je een enorme, zware encyclopedie probeert te posten om iemand slechts één plaatje van een kat te laten zien. Het kost veel energie en bandbreedte, en het vertraagt alles. Zelfs als het brein heel goed wordt in snel denken, brengt het nog steeds het grootste deel van zijn tijd en energie door met wachten tot die zware "encyclopedie" is aangekomen.

FrequencyFormer is een nieuw systeem dat is ontworpen om dit knelpunt op te lossen. In plaats van de hele encyclopedie te versturen, maakt de camera de foto eerst zelf samen tot een kleine, efficiënte "anslagkaart" voordat hij deze verzendt.

Zo werkt het, opgedeeld in drie eenvoudige stappen:

1. De "Aanslagkaart"-maker (De Tokenizer)

In plaats van elke pixel van de afbeelding te versturen, gebruikt de camera een wiskundige truc die DCT (Discrete Cosine Transform) wordt genoemd.

De Analogie: Denk aan een liedje. Een liedje heeft een diepe baslijn (lage frequentie) en hoge piepjes (hoge frequentie). Als je het liedje aan een vriend zou willen beschrijven, geef je meestal vooral om de hoofdmelodie en de bas; de kleine, hoge piepjes veranderen vaak niets aan het feit dat je het liedje herkent.
Wat het doet: FrequencyFormer kijkt naar de afbeelding en scheidt de "belangrijke" delen (de hoofdvormen en kleuren) van de "kleine details" (de hoogfrequente ruis). Het gooit de kleine details weg en houdt alleen de essentiële "melodie" van de afbeelding over.
Het Resultaat: Het verkleint de gegevensomvang met een factor 128. In plaats van een enorm bestand te versturen, stuurt het een kleine, gecomprimeerde lijst met getallen die het brein nog steeds precies vertelt wat de afbeelding is.

2. De "Gespecialiseerde Rekenmachine" (De LUT Hardware)

Normaal gesproken doen computers wiskunde door getallen te vermenigvuldigen, wat is alsof je een zware, energieverslindende hamer gebruikt om een nootje te kraken.

De Analogie: Stel je voor dat je steeds weer dezelfde wiskundige som moet oplossen. In plaats van de wiskunde elke keer opnieuw uit te voeren, schrijf je de antwoorden vooraf op in een groot schrift (een Look-Up Table of LUT). Wanneer je een antwoord nodig hebt, sla je gewoon de pagina op en lees je het af.
Wat het doet: Omdat de "Aanslagkaart-maker" vaste, onveranderlijke wiskundige regels gebruikt, hebben de onderzoekers een speciale chip gebouwd die helemaal geen vermenigvuldigingen uitvoert. Hij zoekt simpelweg de vooraf berekende antwoorden op in een klein, energiezuinig geheugenschrift.
Het Resultaat: Dit maakt de camerachip ongelooflijk snel en verbruikt zeer weinig batterijkracht, omdat hij geen zware machines nodig heeft om het werk te doen.

3. De "Fluisterdraad" (De Low-Power Interface)

Zelfs met een kleine aanslagkaart vereist het versturen ervan over een draad meestal veel elektrische "schreeuwkracht" om ervoor te zorgen dat de boodschap zonder fouten aankomt.

De Analogie: Stel je voor dat je een geheim tegen een vriend fluistert. Als je alleen maar fluistert, hoort hij je misschien niet. Maar als je een beker tegen je oor houdt om het geluid beter op te vangen, kun je veel zachter fluisteren en kan hij je nog steeds duidelijk verstaan.
Wat het doet: De onderzoekers hebben de ontvanger (het oor) aan de kant van de processor aangepast. Ze hebben een "geluidvanger" (een integrator) toegevoegd die het signaal in de loop van de tijd verzamelt. Hierdoor kan de camera de gegevens met een veel zwakker, stiller elektrisch signaal verzenden.
Het Resultaat: De draad verbruikt aanzienlijk minder energie om de gegevens te verzenden.

Het Grotere Plaatje

Wanneer je deze drie onderdelen combineert:

Het comprimeren van de afbeelding tot een kleine aanslagkaart (128x kleiner).
Het berekenen van die aanslagkaart met een superefficiënt schriftensysteem.
Het fluisteren van de gegevens over de draad in plaats van te schreeuwen.

Bespaart het systeem een enorme hoeveelheid energie. Het artikel beweert dat dit nieuwe proces, vergeleken met standaard systemen, de energie die nodig is om gegevens te verzenden met ongeveer 230 keer vermindert en de totale energie die door de kamerzijde wordt gebruikt met 2,2 keer.

Waarom is dit belangrijk?
Het stelt krachtige AI (zoals Vision Transformers) in staat om op kleine, op batterijen werkende apparaten (zoals beveiligingscamera's of drones) te draaien zonder de batterij leeg te trekken of een enorme computer in de buurt nodig te hebben. Het beste eraan? Het werkt als een "plug-and-play"-onderdeel. Je kunt het in bestaande AI-systemen invoegen zonder de hele "hersenen" opnieuw te hoeven bouwen, en het herkent nog steeds objecten, mensen en scènes met bijna dezelfde nauwkeurigheid als het originele, zware systeem.

Technische Samenvatting: FrequencyFormer

1. Probleemstelling

De implementatie van Vision Transformers (ViTs) op sensor-edge systemen wordt fundamenteel beperkt, niet door de rekenkracht op het apparaat zelf, maar door de energie- en bandbreedtekosten die gepaard gaan met het verzenden van hoogdimensionale ruwe beeldgegevens van de sensor naar de processor. In typische edge-visiearchitecturen moet het volledige frame met een hoge resolutie een off-chip interface (bijv. MIPI) passeren voordat de inferentie kan beginnen. Terwijl backbone-modellen worden geoptimaliseerd voor edge-implementatie (bijv. via kwantisatie en pruning), neemt de energie voor berekeningen af, waardoor de communicatie-energie dominant wordt in de totale systeemenergiebudget.

Bestaande in-sensor en near-sensor computing paradigma's proberen dit te verzachten door vroege feature-extractie bij de sensor uit te voeren. Echter, huidige benaderingen bereiken slechts bescheiden compressieverhoudingen (typisch tot 10×), wat vaak niet opweegt tegen de toegevoegde siliciumcomplexiteit en kosten. De auteurs stellen dat een veel drastischere reductie in datavolume vereist is om de energiebalans van het systeem fundamenteel te veranderen.

2. Methodologie

Het paper stelt FrequencyFormer voor, een co-ontworpen sensor-naar-processor pijplijn die het frequentiedomein benut om hoog-gecomprimeerde tokenisatie te bereiken. De pijplijn bestaat uit drie nauw geïntegreerde componenten:

2.1 Multi-Scale Frequency-Domain Tokenizer

De eerste component transformeert een ruwe 224×224 inputafbeelding (geconverteerd naar YCbCr) naar een compacte sequentie van frequentietokens. Dit wordt bereikt via drie parallelle takken:

Tak 1 (Lokaal, 8×8 blokken): Past block-wise Discrete Cosine Transform (DCT) toe om fijne texturen en randen vast te leggen.
Tak 2 (Medium-schaal, 32×32 blokken): Past block-wise DCT toe om structurele patronen en objectgrenzen vast te leggen.
Tak 3 (Globaal, volledige afbeelding): Past globale DCT toe om de scène-indeling en verlichting vast te leggen.

Kerntechnieken:

Selection-Aware DCT Pruning: In plaats van alle coëfficiënten te behouden, selecteert het systeem een subset van coëfficiënten (bijv. 14 voor 8×8 blokken) op basis van de JPEG zigzag scan-volgorde (laag-naar-hoog frequentie). Dit maakt het mogelijk om de DCT basismatrix $C$ te prunen, waardoor de computationele complexiteit wordt verminderd van $O(N^3)$ naar $O((R+S) \cdot N^2)$ .
Harmonic-Aware Quantization (HAQ): In de erkenning dat hoogfrequente harmonischen minder semantische energie bevatten, wijst het systeem lagere bit-breedtes (bijv. INT4) toe aan hoogfrequente rijen en hogere bit-breedtes (bijv. INT8) aan laagfrequente rijen. Dit wordt geïmplementeerd via bit-truncatie zonder extra opslagoverhead.
Multi-Branch Fusion: Een gecascadeerde cross-attention mechanisme fuseert de tokens van de drie takken, waardoor lokale details kunnen attenderen op de globale context voordat ze worden geprojecteerd naar de backbone embedding dimensie.
Compatibiliteit: De tokenizer fungeert als een drop-in vervanging voor standaard patch embedding lagen, waardoor compatibiliteit met vooraf getrainde ViT backbones (ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1) behouden blijft.

2.2 LUT-gebaseerde Hardware Realisatie

Om de tokenizer op een near-sensor logische chip te implementeren, maken de auteurs gebruik van de vaste-coëfficiënt aard van de DCT.

Look-Up Table (LUT) Acceleratie: Omdat DCT-coëfficiënten constanten zijn, worden de vermenigvuldigingsbewerkingen vervangen door vooraf berekende memory lookups opgeslagen in ROM-ondersteunde LUT's. Dit elimineert de noodzaak voor multiplicatoren en SRAM-overhead.
Divide-and-Conquer (D&C) Strategie: Om de exponentiële groei van de opslag van LUT's met de bit-breedte te beheersen, gebruikt het systeem een D&C aanpak, waarbij hoog-precieze vermenigvuldigingen worden gedecomposeerd in laag-precieze sub-LUT's die worden gecombineerd via shift-and-add.
Mixed Precision: De hardware maakt gebruik van het HAQ-schema, waarbij kleinere LUT's worden gebruikt voor hoogfrequente componenten (INT4) en grotere LUT's voor laagfrequente componenten (INT8), wat het oppervlak en het verbruik aanzienlijk vermindert.

2.3 Low-Power Communicatie Interface

De pijplijn maakt gebruik van een aangepaste Mobile Industry Processor Interface (MIPI) architectuur die is ontworpen voor asymmetrische complexiteit.

Integrating Receiver (IR): De ontvanger (Rx) is verbeterd met een dynamische integrator die voorafgaat aan de comparator. Deze temporele integratie verbetert de Signaal-Ruisverhouding (SNR), waardoor de zender (Tx) op een aanzienlijk lagere voltage swing kan werken terwijl een lage Bit Error Rate (BER) behouden blijft.
Energiebesparing: Dit ontwerp verschuift de complexiteit naar de ontvanger (die op een FPGA of custom backend kan worden geïmplementeerd) om de energie per bit aan de sensor-zijde van de zender drastisch te verlagen.

3. Belangrijkste Bijdragen

Frequency-Domain Tokenization: Een nieuwe tokenizer die 224×224 afbeeldingen comprimeert tot compacte frequentietokens met een reductie in off-chip datavolume van wel 128×, terwijl competitieve nauwkeurigheid behouden blijft.
LUT-gebaseerde Near-Sensor Accelerator: Een hardware realisatie die multiplicatoren elimineert door DCT-coëfficiënten hardwired in ROM, wat een hoge energie-efficiëntie (28.8 TOPS/W) bereikt en mixed-precision operaties mogelijk maakt zonder training-free sensitiviteitsanalyse.
Co-Designed Communicatie: Een asymmetrische MIPI interface die de communicatie-energie per bit met 1.8× vermindert door de integrating receiver technologie, wat de bandbreedte-reductie complementeert.
Systeem-niveau Validatie: Een uitgebreide evaluatie die aantoont dat de volledige pijplijn de totale sensor-zijde energie met 2.22× vermindert en de communicatie-energie met ≈230× vergeleken met conventionele architecturen, over classificatie-, detectie- en segmentatietaken.

4. Experimentele Resultaten

De auteurs evalueerden FrequencyFormer op CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW) en COCO (detectie/segmentatie).

Nauwkeurigheid: Het systeem behoudt een bijna-baseline nauwkeurigheid. Bijvoorbeeld, op CIFAR-10 met een ViT-Tiny backbone en een 24-kanaals INT8-HAQ configuratie, bereikt het 92.89% nauwkeurigheid, vergeleken met 93.77% voor de standaard FP16 baseline (een daling van <1%).
Energie-efficiëntie: De LUT-gebaseerde realisatie bereikt 28.8 TOPS/W, wat 2.5× hoger is dan eerdere in-/near-sensor werken (bijv. DPCE op 11.49 TOPS/W).
Communicatie Reductie: De combinatie van frequentiedomein compressie (128× datareductie) en de low-power interface resulteert in een 230× reductie in communicatie-energie per frame.
Hardware Overhead: De LUT-implementatie vermindert de oppervlakte-overhead met ongeveer 29.5× vergeleken met traditionele LUT arrays en 1.24× vergeleken met array multipliers voor uniforme precisie. Met HAQ worden de oppervlakte en energiebesparingen verder versterkt (tot 45.9% oppervlakte reductie).

5. Betekenis en Claims

Het paper claimt dat FrequencyFormer frequency-domain tokenization vestigt als een levensvatbare basis voor schaalbare in-sensor ViT deployment. De primaire betekenis ligt in het adresseren van de "communicatie-bottleneck" die over het hoofd is gezien ten gunste van optimalisatie van de rekenkracht.

De auteurs benadrukken dat door het benutten van de natuurlijke compactheid van het frequentiedomein (via DCT) en het co-ontwerpen van de sensorlogica, de communicatie-interface en de processorpijplijn, zij een systeem bereiken waarbij de communicatie-energie verwaarloosbaar (<1% van het totaal) is in plaats van dominant. Zij stellen dat deze aanpak de deployment van state-of-the-art ViT backbones op volledige resolutie (224×224) op edge-apparaten mogelijk maakt met minimale nauwkeurigheidsdegradatie en substantiële energiebesparingen, zonder dat er architecturale wijzigingen aan de vooraf getrainde backbones nodig zijn. Het werk wordt gepresenteerd als een "drop-in replacement" die de kloof tussen sensor capture en transformer inferentie overbrugt.