CPUBone: 低並列化能力を持つデバイス向けの効率的なビジョンバックボーン設計

技術的サマリー（日本語）

1. 背景と課題 (Problem)

近年のビジョンバックボーンアーキテクチャの研究は、GPU やモバイル AI アクセラレータ（NVIDIA Jetson など）といった高並列処理能力を持つハードウェアの最適化に焦点が当てられてきました。しかし、実世界の多くのリソース制約のあるシナリオ（組み込みシステムや汎用サーバーなど）では、依然としてCPUが広く使用されています。

CPU は GPU と異なり、並列化能力が限られており、設計哲学が根本的に異なります。

• 既存モデルの限界: 高並列化向けに最適化されたモデルは、CPU 上では大量の乗算・加算（MACs）が並列実行されず、メモリアクセスや直列処理のボトルネックにより、推論遅延（Latency）が増大します。
• 評価指標の不足: 従来の効率性評価は MAC 数（計算量）に依存しがちですが、CPU 環境では「1 秒あたりに処理できる MAC 数（MACpS: MACs per second）」というハードウェア効率が実際の速度を決定づけます。
• 課題: 既存の軽量モデル（Depthwise Convolution を多用するものなど）は MAC 数は少ないものの、CPU 上での MACpS が低く、結果として遅い推論速度となることがあります。

2. 提案手法と方法論 (Methodology)

著者らは、CPU 上で高い MACpS を維持しつつ、計算量（MACs）を削減するための新しい設計戦略を提案し、これに基づいて新しいビジョンバックボーンファミリーCPUBoneを開発しました。

2.1. 主要な設計戦略

標準的な畳み込み（Convolution）に対して、以下の 2 つの修正を適用しました。

1. グループ化畳み込み（Grouped Convolutions）:

   • 畳み込みの groups パラメータを 2 に設定します（通常は 1）。
   • これにより、計算量（MACs）を理論上約半分（50%）に削減できます。
   • MBConv ブロックの改良: MobileNetV2 の MBConv ブロックと、Fused MBConv（FuMBConv）の 2 種類に対して適用し、それぞれGrMBConvとGrFuMBConvと名付けました。
   • 知見: 実験により、CPU 上ではグループ化しても MACpS が大きく低下せず（場合によっては向上）、MAC 削減による遅延改善効果が維持されることが確認されました。特に、チャネル数が 256 未満の層では「Fused」バージョンが、256 以上では「Unfused」バージョンが効率的であることが判明しました。

2. カーネルサイズの縮小（Kernel Size Reduction）:

   • 一般的な 3x3 カーネルを2x2に縮小します。
   • これにより、カーネル部分の計算量が約 56%（9 分の 4 へ）削減されます。
   • 知見: CPU 上では、2x2 カーネル化しても MACpS が維持、あるいは向上し、遅延が大幅に改善されました。一方、GPU 上では並列化の観点から 2x2 カーネルは効率が低下するため、CPU 専用設計として有効であることが示されました。

2.2. CPUBone アーキテクチャ

上記の知見に基づき、LowFormer アーキテクチャを基盤とした CPUBone を設計しました。

• 構造: 最終 2 つのステージ（計算の大部分を担う部分）で、チャネル数が 256 未満の層には GrFuMBConv（2x2 カーネル）、256 以上の層には GrMBConv（2x2 カーネル）を適用。
• アテンション機構: LowFormer Attention 内の転置畳み込みを削除し、ニアレストネイバー補間（Nearest Neighbour Upsampling）に置き換えることで、CPU での効率をさらに向上させました。
• モデルサイズ: B0, B1, B2, B3 の 4 つのバリエーションを提供。

3. 主要な貢献 (Key Contributions)

1. 2 つの新しい MBConv 変種の提案:
   • GrFuMBConv（グループ化・Fused）とGrMBConv（グループ化）の導入。これらは MAC 数の削減と CPU 上の高いハードウェア効率（高 MACpS）を両立します。
2. ハードウェア効率の包括的分析:
   • CPU（Raspberry Pi 5, Pixel 4, Snapdragon 8）と GPU（TITAN RTX）における、グループ化とカーネルサイズ縮小の影響を詳細に分析。
   • 「グループ化と 2x2 カーネル化は CPU では有効だが、GPU では逆効果になる場合がある」という重要な知見を提供しました。
3. CPUBone の提案:
   • CPU 推論に特化した新しいビジョンバックボーンファミリー。
   • 物体検出やセマンティックセグメンテーションなどの下流タスクへも効率が転移することを実証しました。

4. 実験結果 (Results)

ImageNet-1K 分類タスクおよび下流タスク（COCO 物体検出、ADE20K セマンティックセグメンテーション）において、広範な CPU デバイスで評価を行いました。

• ImageNet 分類:

  • CPUBone-B0は、同程度の精度を持つ他のモデル（EffFormerV2, FasterNet など）と比較して、Raspberry Pi 5 上で約 30-50%、Pixel 7 Pro で 70-300% 高速でした。
  • CPUBone-B3は、RepViT-M2.3 よりも 3 つの CPU デバイスすべてで高速であり、かつ ImageNet 精度が 0.6% 高い結果を達成しました。
  • 全体的に、CPUBone は広範なモデルサイズと CPU プラットフォームにおいて、Speed-Accuracy Trade-off (SAT) で最先端（SOTA）の性能を示しました。

• 下流タスク:

  • セマンティックセグメンテーション: 同程度の mIoU を達成するモデルと比較して、最大 3 倍高速でした。
  • 物体検出: 同程度の AP（Average Precision）を持つモデルと比較して、最大 4 倍高速でした。

• アブレーション研究:

  • グループ数を 4 や 8 に増やすと、計算量は減るものの精度が低下し、ハードウェア効率（MACpS）も悪化しました（特に ARM CPU で顕著）。
  • 転置畳み込みを使用すると精度はわずかに向上しますが、CPU 遅延が大幅に増加しました。
  • これらの結果から、提案された「グループ数=2」と「2x2 カーネル」の組み合わせが CPU にとって最適なバランスであることが確認されました。

5. 意義と結論 (Significance)

本論文は、**「CPU 向けに特化したビジョンモデル設計」**という重要なニッチ領域に貢献しています。

• パラダイムシフト: 単に MAC 数を減らすだけでなく、「CPU 上で 1 秒間にどれだけ MAC を処理できるか（MACpS）」を重視した設計哲学の重要性を再確認させました。
• 実用性: モバイルデバイスやエッジデバイス、リソース制約のあるサーバー環境など、GPU や NPU が利用できない環境での AI 推論を大幅に高速化します。
• 設計指針: 高並列化デバイス（GPU）向けに最適化された設計（Depthwise Conv や大きなカーネル）が、CPU では必ずしも有効ではないことを示し、ハードウェア特性に応じたマイクロアーキテクチャ設計の必要性を浮き彫りにしました。

CPUBone は、コードとモデルが公開されており、CPU 環境における効率的なビジョン認識の実用化を大きく前進させるものです。