🤖 AI

CPUBone: Efficient Vision Backbone Design for Devices with Low Parallelization Capabilities

Le papier présente CPUBone, une nouvelle famille de modèles de vision optimisés pour les processeurs CPU qui, en adaptant les convolutions pour maximiser l'efficacité matérielle plutôt que le parallélisme, atteint des compromis vitesse-précision supérieurs sur des appareils à faible capacité de parallélisation.

Auteurs originaux : Moritz Nottebaum, Matteo Dunnhofer, Christian Micheloni

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Moritz Nottebaum, Matteo Dunnhofer, Christian Micheloni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Des Chefs Cuisiniers et des Cuisines Différentes

Imaginez que vous voulez préparer un grand repas (un modèle d'intelligence artificielle qui reconnaît des images).

Les GPU (Cartes graphiques) sont comme une cuisine de restaurant avec 100 chefs. Ils peuvent couper des légumes, faire sauter des poêles et servir des plats tous en même temps, très vite. Les chercheurs ont passé les dernières années à créer des recettes (modèles) optimisées pour ces cuisines géantes.
Les CPU (Le processeur de votre téléphone ou ordinateur) sont comme un seul chef très intelligent, mais qui travaille seul. Il est brillant, mais il ne peut pas faire 100 choses à la fois. Si vous lui donnez une recette conçue pour 100 chefs, il va s'épuiser, tout mélanger et mettre une éternité à cuisiner.

Le problème : La plupart des modèles d'IA actuels sont conçus pour les "100 chefs" (GPU). Quand on les fait tourner sur un "seul chef" (CPU), ils sont lents et inefficaces, même si la recette semble simple en théorie.

💡 La Solution : CPUBone, le "Couteau Suisse" pour Chefs Solo

Les auteurs de cet article ont créé CPUBone. C'est une nouvelle famille de recettes (architectures de modèles) conçue spécifiquement pour le "seul chef" (le CPU).

Leur philosophie est simple : Ne pas seulement réduire la quantité de travail, mais rendre le travail plus fluide pour celui qui le fait seul.

Pour y arriver, ils ont appliqué deux astuces de cuisine très intelligentes :

1. La Technique du "Groupe de 2" (Grouped Convolutions)

L'analogie : Imaginez que le chef doit mélanger 10 ingrédients dans un bol.
- Méthode classique : Il prend tous les 10 ingrédients, les mélange ensemble, puis les verse. C'est lourd.
- Méthode CPUBone : Il divise les ingrédients en 2 petits groupes. Il mélange le premier groupe, puis le second.
Pourquoi ça marche ? Cela réduit la quantité de travail (moins de mouvements de bras), mais le chef reste dans son rythme naturel. Il ne se sent pas étouffé par une tâche trop massive qu'il ne peut pas paralléliser.

2. La Technique du "Petit Couteau" (Réduire la taille du noyau)

L'analogie : Imaginez que le chef doit couper des légumes.
- Méthode classique : Il utilise un énorme couteau de chef (3x3) qui demande beaucoup de force et de précision pour chaque coup.
- Méthode CPUBone : Il utilise un petit couteau plus agile (2x2).
Pourquoi ça marche ? Le petit couteau demande moins d'effort par coup. Sur un CPU (le chef seul), cela permet de faire plus de coups par seconde. Sur une cuisine géante (GPU), le gros couteau était plus rapide car on pouvait le lancer à 100 personnes en même temps, mais pour un seul chef, le petit couteau est plus efficace.

🚀 Les Résultats : Plus Vite, Mieux, Partout

Grâce à ces astuces, CPUBone a prouvé qu'il est le roi de la vitesse sur les appareils du quotidien :

Sur le terrain (Tests réels) : Ils ont testé leurs modèles sur de vrais appareils : un Raspberry Pi (un petit ordinateur de poche), un téléphone Pixel et un processeur Intel.
Le verdict : CPUBone est beaucoup plus rapide que les autres modèles célèbres (comme MobileNet ou RepViT) tout en étant aussi précis, voire plus.
- Exemple : Si un autre modèle met 10 secondes pour identifier un chat sur un téléphone, CPUBone le fait en 3 secondes, avec la même fiabilité.
Polyvalence : Ce n'est pas juste pour dire "c'est un chat". CPUBone fonctionne aussi très bien pour des tâches plus complexes comme repérer des voitures dans une vidéo (détection d'objets) ou comprendre le plan d'une pièce (segmentation sémantique).

🏆 En Résumé

Les chercheurs ont réalisé que ce qui est rapide pour une super-cuisine (GPU) n'est pas forcément rapide pour une cuisine de maison (CPU).

Au lieu de forcer les recettes de la super-cuisine sur la cuisine de maison, ils ont inventé CPUBone : une nouvelle façon de cuisiner qui respecte le rythme d'un seul chef. Le résultat ? Une intelligence artificielle qui tourne comme sur des roulettes sur votre téléphone, votre voiture connectée ou votre petit ordinateur, sans avoir besoin d'une carte graphique géante.

C'est comme passer d'un camion de livraison lourd et lent à une moto agile et rapide pour livrer le même colis dans la ville. 🏍️💨

1. Problématique

La conception récente des architectures de "backbone" (épine dorsale) pour la vision par ordinateur s'est principalement concentrée sur l'optimisation de l'efficacité pour des plateformes matérielles à forte capacité de parallélisme (GPU, accélérateurs IA embarqués comme les NVIDIA Jetson, et smartphones modernes).

Cependant, les CPU (Centres de Traitement) restent largement utilisés dans de nombreux scénarios pratiques et contraints en ressources. Contrairement aux GPU, les CPU offrent un parallélisme limité. Par conséquent, les modèles optimisés pour le haut parallélisme échouent souvent à transférer leur efficacité aux systèmes basés sur CPU. Le problème principal réside dans le fait que le simple nombre d'opérations (MAC - Multiply-Accumulate) ne suffit pas à prédire la performance réelle sur CPU. Une architecture peut avoir peu de MACs mais une exécution lente si elle ne maintient pas un débit élevé de MAC par seconde (MACpS), qui est la métrique clé de l'efficacité matérielle sur CPU.

2. Méthodologie et Stratégies de Conception

Les auteurs proposent une nouvelle philosophie de conception qui équilibre la réduction du nombre d'opérations (MACs) et le maintien d'une exécution matérielle efficace (haut MACpS) sur CPU.

A. Analyse des Stratégies d'Optimisation

L'étude se concentre sur deux modifications apportées aux blocs de convolution standards (spécifiquement les blocs Mobile Inverted Bottleneck ou MBConv) :

Regroupement des convolutions (Grouping) : Au lieu d'une convolution standard (groupes = 1) ou d'une convolution profonde (Depthwise, groupes = $C_{in}$ $C_{in}$ ), les auteurs proposent d'utiliser 2 groupes.
- Impact théorique : Réduit le nombre de MACs de moitié par rapport à une convolution non regroupée.
- Analyse empirique : Sur CPU, le regroupement en 2 groupes préserve un MACpS élevé (similaire ou légèrement inférieur à la version non regroupée), contrairement aux convolutions profondes qui souffrent d'un faible MACpS.
Réduction de la taille du noyau (Kernel Size) : Remplacement des noyaux $3 \times 3$ $3 \times 3$ par des noyaux $2 \times 2$ .
- Impact théorique : Réduit le coût computationnel d'environ 56% (car $4/9$ de la taille).
- Analyse empirique : Sur CPU, cette réduction ne dégrade pas le MACpS et améliore même l'efficacité pour certaines variantes fusionnées. Sur GPU, cette réduction dégrade au contraire les performances, confirmant que cette stratégie est spécifique aux CPU.

B. Architecture CPUBone

Sur la base de ces observations, les auteurs introduisent CPUBone, une nouvelle famille de modèles de vision.

Blocs de base : Utilisation de deux variantes modifiées du bloc MBConv :
- GrMBConv : MBConv avec regroupement (2 groupes).
- GrFuMBConv : MBConv fusionné (Fused) avec regroupement (2 groupes).
Stratégie d'hybridation :
- Les versions fusionnées (GrFuMBConv) sont utilisées pour les couches avec moins de 256 canaux (où elles offrent un MACpS très élevé).
- Les versions non fusionnées (GrMBConv) sont utilisées pour les couches avec 256 canaux ou plus.
- La taille du noyau est réduite à $2 \times 2$ uniquement dans les deux dernières étapes de l'architecture (là où la majeure partie du calcul est concentrée), tandis que les premières étapes conservent des noyaux plus grands pour maintenir un champ réceptif suffisant et la précision.
Attention : L'attention LowFormer est intégrée, mais la convolution transposée est remplacée par un upsampling par plus proche voisin pour réduire la latence.

3. Résultats Expérimentaux

Les expériences ont été menées sur une variété de dispositifs CPU (Raspberry Pi 5, Google Pixel 4, Snapdragon 8 Elite, Intel Xeon) et comparées à des modèles de l'état de l'art (MobileNet, EfficientNet, RepViT, FasterNet, etc.).

A. Classification d'Images (ImageNet-1K)

Performance Latence-Précision (SAT) : CPUBone atteint des compromis État-de-l'Art (SOTA) sur tous les CPU testés.
- Exemple : CPUBone-B0 est plus rapide que presque tous les modèles avec une précision inférieure ou égale. Par rapport à EffFormerV2-S0, il est 50% plus rapide sur Raspberry Pi 5 avec une précision similaire.
- Exemple : CPUBone-B3 est considérablement plus rapide que RepViT-M2.3 sur tous les CPU tout en étant 0,6% plus précis.
Comparaison GPU vs CPU : Les modèles CPUBone sont optimisés pour CPU. Sur GPU, leur avantage en MACpS s'effondre (comme prévu), mais ils restent compétitifs en raison de leur faible nombre total de MACs.

B. Tâches en Aval (Downstream Tasks)

L'efficacité se transfère efficacement à d'autres tâches :

Détection d'objets (COCO) : CPUBone surpasse les modèles comparables avec une précision similaire (AP) et est jusqu'à 4 fois plus rapide sur CPU.
Segmentation Sémantique (ADE20K) : CPUBone obtient un meilleur mIoU (mean Intersection over Union) avec une latence nettement inférieure (jusqu'à 3 fois plus rapide) par rapport aux backbones concurrents.

C. Étude Ablative

Les tests confirment que le choix de 2 groupes est le meilleur compromis entre réduction des MACs et maintien du MACpS. L'utilisation de 4 ou 8 groupes réduit la précision et dégrade l'efficacité matérielle sur CPU. L'utilisation de noyaux $3 \times 3$ au lieu de $2 \times 2$ augmente la latence sans gain significatif de précision sur CPU.

4. Contributions Clés

Deux nouvelles variantes de blocs MBConv : GrFuMBConv et GrMBConv, conçues spécifiquement pour réduire les MACs tout en préservant un haut débit MACpS sur CPU.
Analyse approfondie de l'efficacité matérielle : Une démonstration expérimentale montrant que la réduction de la taille du noyau et le regroupement (grouping) bénéficient spécifiquement aux CPU, contrairement aux GPU.
Famille de modèles CPUBone : Une série de modèles (B0 à B3) qui établissent de nouveaux records de compromis vitesse-précision sur une large gamme de dispositifs CPU, tout en restant performants pour la détection et la segmentation.

5. Signification et Impact

Ce travail comble un vide important dans la recherche sur l'efficacité des modèles de vision. Alors que la plupart des travaux visent à exploiter le parallélisme massif des GPU ou des NPU, CPUBone démontre qu'une conception spécifique pour les architectures séquentielles limitées en parallélisme (CPU) est non seulement possible, mais supérieure pour ces plateformes.

Cela ouvre la voie à un déploiement plus efficace de l'IA sur des dispositifs edge standards (PC, serveurs legacy, microcontrôleurs puissants) sans nécessiter de matériel d'accélération spécialisé, rendant l'inférence de vision par ordinateur plus accessible et économe en énergie dans des environnements contraints.