CPUBone: Efficient Vision Backbone Design for Devices with Low Parallelization Capabilities

Probleemstelling

Recent onderzoek naar visuele backbone-architecturen (zoals voor beeldherkenning) richt zich voornamelijk op het optimaliseren van efficiëntie voor hardwareplatforms met hoge parallelle verwerkingscapaciteiten, zoals GPU's, mobiele telefoons en AI-versnellers (bijv. NVIDIA Jetson). Echter, Central Processing Units (CPUs) worden nog steeds veel gebruikt in praktische, hulpbronnenbeperkte scenario's, maar hebben fundamenteel andere architecturale beperkingen.

De belangrijkste uitdagingen voor CPUs zijn:

1. Beperkte parallelisatie: CPUs kunnen operaties niet op dezelfde manier paralleliseren als GPU's.
2. MAC-bottleneck: Modellen die zijn geoptimaliseerd voor hoge paralleliteit (vaak met veel Multiply-Accumulate operaties of MACs) presteren slecht op CPU's. De uitvoeringstijd wordt beperkt door de beperkte concurrentie, ondanks dat het totale aantal MACs laag kan lijken.
3. Onvoldoende metrics: Het gebruik van het totale aantal MACs als enige maatstaf voor efficiëntie is misleidend voor CPU's. Een betere metric is MACpS (MACs per seconde), wat de daadwerkelijke hardware-efficiëntie en uitvoeringssnelheid weergeeft. Bestaande modellen vertalen hun efficiëntie vaak niet naar CPU-systemen.

Methodologie

De auteurs stellen een nieuwe ontwerpfilosofie voor die een balans zoekt tussen het aantal operaties (MACs) en hardware-efficiënte uitvoering (hoge MACpS) op CPU's. Ze onderzoeken twee specifieke modificaties aan standaard convoluties:

1. Groepering van convoluties (Grouping):

   • In plaats van standaard convoluties (groups=1) of dieptewijze convoluties (groups=Cin), gebruiken ze groups = 2.
   • Dit reduceert het aantal MACs aanzienlijk (ongeveer de helft voor de eerste convolutie in een MBConv-block) zonder de hardware-efficiëntie (MACpS) significant te verlagen op CPU's.
   • Ze introduceren twee varianten van de Mobile Inverted Bottleneck (MBConv) block:
     • GrMBConv: Een gegroepeerde versie van de standaard MBConv.
     • GrFuMBConv: Een gegroepeerde versie van de Fused MBConv (FuMBConv).

2. Verkleining van kernel-grootte:

   • Het reduceren van de kernel-grootte van de gebruikelijke 3×3 naar 2×2.
   • Dit verlaagt het rekenkundige aantal MACs met ongeveer 56% (van 9 naar 4 per pixel), terwijl de hardware-efficiëntie op CPU's behouden blijft of zelfs verbetert.

CPUBone Architectuur:
Op basis van deze inzichten introduceren ze CPUBone, een familie van visuele backbone-modellen.

• De architectuur is geïnspireerd op LowFormer, maar past de micro-architectuur strikt aan voor CPU's.
• Strategie: Ze gebruiken GrFuMBConv (gegroepeerde, gefuseerde) blokken voor kanalen < 256 en GrMBConv voor kanalen ≥ 256.
• De kernel-grootte wordt gereduceerd naar 2×2 in de laatste twee stadia van het netwerk (waar de meeste berekening plaatsvindt).
• Transpose-convoluties in de attention-mechanismen worden vervangen door nearest neighbour upsampling om latency te verminderen.

Belangrijkste Bijdragen

1. Nieuwe MBConv-varianten: Introductie van GrMBConv en GrFuMBConv, die zowel een lager MAC-aantal bereiken als een hoge hardware-efficiëntie (MACpS) behouden op CPU's.
2. Hardware-efficiëntie analyse: Een uitgebreide analyse die aantoont dat het verkleinen van kernels en het gebruik van groups=2 de MACpS op CPU's niet verslechtert (in tegenstelling tot dieptewijze convoluties of kernel-verkleining op GPU's, waar dit juist prestatieverlies geeft).
3. CPUBone Familie: Een nieuwe reeks modellen (B0 tot B3) die state-of-the-art prestaties levert op het gebied van snelheid-accuracy trade-offs (SAT) op diverse CPU-platforms.
4. Validatie op downstream taken: Bewijs dat de efficiëntie van CPUBone effectief wordt overgedragen naar taken zoals objectdetectie en semantische segmentatie.

Resultaten

De auteurs hebben hun modellen getest op diverse CPU-apparaten (Raspberry Pi 5, Google Pixel 4/7 Pro, Intel Xeon) en vergeleken met de nieuwste state-of-the-art modellen (zoals FasterNet, RepViT, MobileNetV4, LowFormer).

• ImageNet Classificatie:
  • CPUBone-modellen bereiken een State-of-the-Art (SOTA) snelheid-accuracy trade-off.
  • Bijvoorbeeld: CPUBone-B0 is aanzienlijk sneller dan vergelijkbare modellen (bijv. 50% sneller op Raspberry Pi 5 dan EffFormerV2-S0) met vergelijkbare of betere nauwkeurigheid.
  • CPUBone-B3 is sneller dan RepViT-M2.3 op alle drie de CPU-platforms, terwijl het 0,6% nauwkeuriger is.
• Downstream Taken:
  • Semantische Segmentatie (ADE20K): CPUBone bereikt hogere mIoU-scores met aanzienlijk lagere latentie (tot 3x sneller) dan concurrenten.
  • Objectdetectie (COCO): CPUBone overtreft vergelijkbare modellen in AP (Average Precision) en is tot 4x sneller.
• Hardware-efficiëntie (MACpS):
  • Experimenten tonen aan dat GrFuMBConv op CPU's zelfs een iets hogere MACpS heeft dan de niet-gegropeerde versie, terwijl het 45% minder MACs uitvoert.
  • Op GPU's werkt deze strategie anders (kernel-verkleining en groepering verlagen daar vaak de MACpS), wat de CPU-specifieke aard van CPUBone benadrukt.

Betekenis en Impact

Dit paper is significant omdat het een lang over het hoofd gezien probleem aanpakt: het optimaliseren van diepe leermodellen voor CPU-only omgevingen. Veel bestaande "efficiënte" modellen zijn eigenlijk geoptimaliseerd voor GPU's of mobiele NPU's en presteren suboptimaal op standaard CPU's.

CPUBone biedt een praktische oplossing voor toepassingen waar GPU's of speciale acceleratoren niet beschikbaar zijn (bijv. in IoT-apparaten, oude hardware, of serveromgevingen met beperkte GPU-toegang). Het bewijst dat door het aanpassen van de micro-architectuur (groepering en kernel-grootte) in plaats van alleen het verminderen van het modelgrootte, men modellen kan bouwen die zowel accuraat als extreem snel zijn op de meest voorkomende verwerkingsunit ter wereld: de CPU.