⚡ electrical engineering

FrequencyFormer: A Co-Designed Sensor-to-Processor Pipeline for Frequency-Domain Vision Transformer Inference

FrequencyFormer est un pipeline capteur-processeur co-conçu qui exploite un tokenizer DCT multi-échelle et un matériel proche du capteur pour compresser les données visuelles dans le domaine fréquentiel, réalisant ainsi des réductions significatives du volume de données hors puce et de la consommation d'énergie tout en permettant une inférence efficace de Vision Transformer sur les systèmes de bord.

Auteurs originaux : Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chengwei Zhou, Ovishake Sen, Xuming Chen, Rishith Paramasivam, Shaahin Angizi, Swarup Bhunia, Baibhab Chatterjee, Gourav Datta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une caméra de sécurité de haute technologie (le capteur) et un cerveau super intelligent (le processeur) qui doit regarder les photos pour identifier ce qui se passe. Habituellement, ces deux éléments sont sur des puces séparées.

Le problème ? Envoyer une photo haute définition complète de la caméra vers le cerveau, c'est comme essayer d'envoyer par la poste une encyclopédie géante et lourde juste pour montrer à quelqu'un une simple photo de chat. Cela consomme beaucoup d'énergie et de bande passante, et cela ralentit tout. Même si le cerveau devient très doué pour réfléchir rapidement, il passe la majeure partie de son temps et de son énergie à attendre l'arrivée de cette lourde « encyclopédie ».

FrequencyFormer est un nouveau système conçu pour résoudre ce goulot d'étranglement. Au lieu d'envoyer l'encyclopédie entière, il résume la photo en une petite « carte postale » efficace, directement au niveau de la caméra, avant de l'envoyer.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. Le créateur de « cartes postales » (Le Tokeniseur)

Au lieu d'envoyer chaque pixel de l'image, la caméra utilise un tour mathématique appelé DCT (Transformée en Cosinus Discret).

L'analogie : Pensez à une chanson. Une chanson possède une ligne de basse profonde (basse fréquence) et des petits cris aigus (haute fréquence). Si vous vouliez décrire la chanson à un ami, vous vous soucieriez principalement de la mélodie principale et de la basse ; les minuscules cris aigus ne changent généralement pas la façon dont vous reconnaissez la chanson.
Ce qu'il fait : FrequencyFormer regarde l'image et sépare les parties « importantes » (les formes et couleurs principales) des « petits détails » (le bruit à haute fréquence). Il jette les petits détails et ne garde que l'« essence mélodique » de l'image.
Le résultat : Il réduit la taille des données de 128 fois. Au lieu d'envoyer un fichier massif, il envoie une liste de chiffres compressée et minuscule qui indique toujours au cerveau exactement ce qu'est l'image.

2. Le « calculateur spécialisé » (Le matériel LUT)

Habituellement, les ordinateurs font des mathématiques en multipliant des nombres, ce qui revient à utiliser un marteau lourd et gourmand en énergie pour casser une noix.

L'analogie : Imaginez que vous deviez résoudre le même problème mathématique encore et encore. Au lieu de faire le calcul à chaque fois, vous écrivez les réponses à l'avance dans un grand cahier (une Table de Recherche ou LUT). Quand vous avez besoin d'une réponse, vous tournez simplement la page et vous la lisez.
Ce qu'elle fait : Comme le « Créateur de cartes postales » utilise des règles mathématiques fixes et immuables, les chercheurs ont construit une puce spéciale qui ne fait aucune multiplication du tout. Elle se contente de chercher des réponses précalculées dans un petit carnet de notes de mémoire très économe en énergie.
Le résultat : Cela rend la puce de la caméra incroyablement rapide et consomme très peu de batterie, car elle n'a pas besoin de machinerie lourde pour effectuer le travail.

3. Le « fil de chuchotement » (L'interface à faible consommation)

Même avec une petite carte postale, envoyer celle-ci à travers un fil nécessite généralement beaucoup de « cris » électriques pour s'assurer que le message passe sans erreurs.

L'analogie : Imaginez que vous chuchotez un secret à un ami. Si vous vous contentez de chuchoter, il pourrait ne pas vous entendre. Mais si vous placez une coupe contre votre oreille pour mieux capter le son, vous pouvez chuchoter beaucoup plus doucement et il pourra quand même vous entendre clairement.
Ce qu'il fait : Les chercheurs ont modifié le récepteur (l'oreille) du côté du processeur. Ils ont ajouté un « capteur de son » (un intégrateur) qui rassemble le signal au fil du temps. Cela permet à la caméra d'envoyer les données avec un signal électrique beaucoup plus faible et plus discret.
Le résultat : Le fil utilise nettement moins d'énergie pour transmettre les données.

La vue d'ensemble

Lorsque vous combinez ces trois parties :

Compresser l'image en une petite carte postale (128 fois plus petite).
Calculer cette carte postale avec un système de carnet de notes super efficace.
Chuchoter les données à travers le fil au lieu de crier.

Le système économise une quantité massive d'énergie. L'article affirme que, comparé aux systèmes standards, ce nouveau pipeline réduit l'énergie nécessaire pour envoyer les données d'environ 230 fois et l'énergie totale utilisée par le côté caméra de 2,2 fois.

Pourquoi est-ce important ?
Cela permet à des IA puissantes (comme les Vision Transformers) de fonctionner sur de petits appareils alimentés par batterie (comme des caméras de sécurité ou des drones) sans vider la batterie ou nécessiter un ordinateur géant à proximité. Le meilleur dans tout ça ? Cela fonctionne comme une pièce « plug-and-play ». Vous pouvez l'intégrer dans des systèmes d'IA existants sans avoir à reconstruire tout le cerveau, et il reconnaît toujours les objets, les personnes et les scènes avec presque la même précision que le système lourd d'origine.

Résumé Technique : FrequencyFormer

1. Énoncé du Problème

Le déploiement des Vision Transformers (ViT) sur les systèmes de bord (edge) dotés de capteurs est fondamentalement limité non pas par le calcul sur l'appareil, mais par les coûts d'énergie et de bande passante associés à la transmission de données d'images brutes à haute dimension du capteur vers le processeur. Dans les architectures de vision en bord typiques, l'image à pleine résolution doit traverser une interface hors puce (par exemple, MIPI) avant qu'un quelconque inférence ne commence. À mesure que les modèles de backbone sont optimisés pour le déploiement en bord (par exemple, via la quantification et l'élagage), l'énergie de calcul diminue, ce qui fait que l'énergie de communication devient dominante dans le budget énergétique total du système.

Les paradigmes existants de calcul dans le capteur ou à proximité du capteur tentent d'atténuer cela en effectuant l'extraction de caractéristiques précoce au niveau du capteur. Cependant, les approches actuelles n'atteignent que des taux de compression modestes (typiquement jusqu'à 10×), ce qui échoue souvent à justifier la complexité et le coût supplémentaires du silicium. Les auteurs soutiennent qu'une réduction plus radicale du volume de données est nécessaire pour modifier fondamentalement l'équilibre énergétique du système.

2. Méthodologie

Le document propose FrequencyFormer, un pipeline co-conçu du capteur au processeur qui exploite le domaine fréquentiel pour parvenir à une tokenisation à haute compression. Le pipeline se compose de trois composants étroitement intégrés :

2.1 Tokeniseur en Domaine Fréquentiel Multi-Échelle

Le premier composant transforme une image brute de 224×224 (convertie en YCbCr) en une séquence compacte de tokens de fréquence. Ceci est réalisé via trois branches parallèles :

Branche 1 (Locale, blocs de 8×8) : Applique la Transformée en Cosinus Discrète (DCT) par bloc pour capturer les textures et les bords fins.
Branche 2 (Échelle moyenne, blocs de 32×32) : Applique la DCT par bloc pour capturer les motifs structurels et les contours d'objets.
Branche 3 (Globale, image complète) : Applique la DCT globale pour capturer la disposition de la scène et l'illumination.

Techniques Clés :

Élagage DCT sensible à la sélection : Au lieu de conserver tous les coefficients, le système sélectionne un sous-ensemble de coefficients (par exemple, 14 pour les blocs 8×8) basé sur l'ordre de balayage zigzag JPEG (fréquence basse vers haute). Cela permet d'élaguer la matrice de base DCT $C$ , réduisant la complexité de calcul de $O(N^3)$ à $O((R+S) \cdot N^2)$ .
Quantification Sensible aux Harmoniques (HAQ) : Reconnaissant que les harmoniques de haute fréquence contiennent moins d'énergie sémantique, le système assigne des largeurs de bits inférieures (par exemple, INT4) aux lignes de haute fréquence et des largeurs de bits supérieures (par exemple, INT8) aux lignes de basse fréquence. Ceci est implémenté via une troncature de bits sans surcharge de stockage supplémentaire.
Fusion Multi-Branches : Un mécanisme d'attention croisée en cascade fusionne les tokens des trois branches, permettant aux détails locaux d'être attentifs au contexte global avant d'être projetés vers la dimension d'embedding du backbone.
Compatibilité : Le tokeniseur agit comme un remplacement direct (drop-in replacement) pour les couches standard d'embedding de patch, préservant la compatibilité avec les backbones ViT pré-entraînés (ViT-Tiny, ViT-Base, Swin-Tiny, EfficientFormer-L1).

2.2 Réalisation Matérielle Basée sur des LUT

Pour implémenter le tokeniseur sur une puce logique à proximité du capteur, les auteurs exploitent la nature à coefficients fixes de la DCT.

Accélération par Table de Correspondance (LUT) : Puisque les coefficients DCT sont des constantes, les opérations de multiplication sont remplacées par des recherches en mémoire précalculées stockées dans des LUT indexées par ROM. Cela élimine le besoin de multiplicateurs et la surcharge de SRAM.
Stratégie Diviser pour Régner (D&C) : Pour gérer la croissance exponentielle du stockage des LUT avec la largeur de bits, le système utilise une approche D&C, décomposant les multiplications de haute précision en sous-LUT de faible précision combinées via des opérations de décalage et d'addition (shift-and-add).
Précision Mixte : Le matériel exploite le schéma HAQ, utilisant des LUT plus petites pour les composantes de haute fréquence (INT4) et des LUT plus grandes pour les composantes de basse fréquence (INT8), réduisant considérablement la surface et la puissance.

2.3 Interface de Communication Basse Consommation

Le pipeline utilise une architecture MIPI (Mobile Industry Processor Interface) modifiée, conçue pour une complexité asymétrique.

Récepteur Intégrateur (IR) : Le récepteur (Rx) est amélioré par un intégrateur dynamique précédant le comparateur. Cette intégration temporelle améliore le rapport signal sur bruit (SNR), permettant au transmetteur (Tx) de fonctionner à une oscillation de tension nettement plus faible tout en maintenant un taux d'erreur binaire (BER) bas.
Économies d'Énergie : Cette conception déplace la complexité vers le récepteur (qui peut être implémenté sur un FPGA ou un backend personnalisé) pour réduire drastiquement l'énergie par bit du côté du transmetteur du capteur.

3. Contributions Clés

Tokenisation en Domaine Fréquentiel : Un nouveau tokeniseur qui compresse les images 224×224 en tokens de fréquence compacts avec une réduction allant jusqu'à 128× du volume de données hors puce, tout en maintenant une précision compétitive.
Accélérateur Proche du Capteur Basé sur LUT : Une réalisation matérielle qui élimine les multiplicateurs en câblant les coefficients DCT dans une ROM, atteignant une grande efficacité énergétique (28,8 TOPS/W) et permettant une opération à précision mixte sans analyse de sensibilité sans entraînement préalable.
Communication Co-conçue : Une interface MIPI asymétrique qui réduit l'énergie de communication par bit de 1,8× grâce à la technologie de récepteur intégrateur, complétant la réduction de la bande passante.
Validation au Niveau Système : Une évaluation complète démontrant que le pipeline complet réduit l'énergie totale du côté du capteur de 2,22× et l'énergie de communication d'environ 230× par rapport aux architectures conventionnelles, à travers des tâches de classification, de détection et de segmentation.

4. Résultats Expérimentaux

Les auteurs ont évalué FrequencyFormer sur CIFAR-10, Tiny-ImageNet, Visual Wake Words (VWW) et COCO (détection/segmentation).

Précision : Le système maintient une précision proche de la référence (baseline). Par exemple, sur CIFAR-10 avec un backbone ViT-Tiny et une configuration INT8-HAQ à 24 canaux, il atteint une précision de 92,89 %, contre 93,77 % pour la référence standard FP16 (une baisse de <1 %).
Efficacité Énergétique : La réalisation basée sur LUT atteint 28,8 TOPS/W, ce qui est 2,5× supérieur aux travaux précédents en de/proche-capteur (ex: DPCE à 11,49 TOPS/W).
Réduction de la Communication : La combinaison de la compression en domaine fréquentiel (réduction de données de 128×) et de l'interface basse consommation entraîne une réduction de l'énergie de communication de 230× par trame.
Surcharge Matérielle : L'implémentation LUT réduit la surcharge de surface d'environ 29,5× par rapport aux tableaux LUT traditionnels et de 1,24× par rapport aux multiplicateurs de tableaux pour une précision uniforme. Avec HAQ, les économies de surface et d'énergie sont encore renforcées (jusqu'à 45,9 % de réduction de surface).

5. Signification et Revendications

L'article affirme que FrequencyFormer établit la tokenisation en domaine fréquentiel comme une base viable pour le déploiement scalable des ViT dans les capteurs. Sa principale importance réside dans le fait qu'elle traite le "goulot d'étranglement de la communication" qui a été négligé au profit de l'optimisation du calcul.

Les auteurs soulignent qu'en exploitant la compacité naturelle du domaine fréquentiel (via la DCT) et en co-concevant la logique du capteur, l'interface de communication et le pipeline du processeur, ils parviennent à un système où l'énergie de communication devient négligeable (<1 % du total) plutôt que dominante. Ils affirment que cette approche permet le déploiement de backbones ViT de pointe à pleine résolution (224×224) sur des appareils en bord avec une dégradation minimale de la précision et des économies d'énergie substantielles, sans nécessiter de changements architecturaux pour les backbones pré-entraînés. Le travail est présenté comme un "remplacement direct" qui comble le fossé entre la capture par le capteur et l'inférence par transformeur.