Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

本論文は、さまざまなエッジデバイスにおける最先端の物体検出モデルをベンチマークし、精度、推論速度、エネルギー効率の間のトレードオフを分析するとともに、リアルタイムアプリケーションにおける最適なモデルとデバイスの組み合わせを選択するための実践的な指針を提供する。

要約

小さな店舗用のセキュリティカメラシステムを構築しようとしているが、巨大で高価なクラウドサーバーに接続できないと想像してください。その代わりに、カメラはクラウドにデータを送るのではなく、小型のバッテリー駆動コンピュータを使ってその場で「思考」し、侵入者を検知する必要があります。これがエッジコンピューティングの世界です。つまり、データをクラウドに送るのではなく、現地で重労働をこなすのです。

この論文は、小型コンピュータの車レビューのようなものです。ただし、走行速度をテストする代わりに、著者たちは異なる種類の AI ソフトウェアを使用して、物体（人、車、動物など）を「視覚」で捉え、識別する能力をテストしました。

以下に、彼らの実験をわかりやすく解説します。

挑戦者たち：「脳」(AI モデル)

研究者たちは、物体を検知するように設計された 3 つの異なる AI「脳」ファミリーをテストしました。これらを異なる種類の探偵だと考えてください。

1. YOLOv8 (You Only Look Once)：これらは高性能な探偵です。
   • 「Medium」バージョン：非常に正確ですが、考えるのに時間がかかり、すぐに疲れてしまう（バッテリーを大量に消費する）ベテラン探偵です。
   • 「Nano」および「Small」バージョン：より速く、エネルギーを少なく使いますが、いくつかの細部を見逃す可能性があるジュニア探偵です。
2. SSD (Single Shot Detector)：これらはスプリンターです。
   • 非常に速く、エネルギー消費も非常に少ないですが、トリッキーな物体や小さな物体の検知にはあまり得意ではありません。素早いパトロールを行うが、忍び寄る泥棒を見逃す可能性のある警備員のようなものです。
3. EfficientDet Lite：これらはバランス型の探偵です。速度と精度の中間を探そうとします。

競技場：「筋肉」(エッジデバイス)

著者たちは、これらの探偵を「脳」の体となるさまざまな種類の小型コンピュータでテストしました。

• Raspberry Pi (モデル 3、4、5)：これらはコンピューティング界の「スイスアーミーナイフ」のようなものです。安価で、小さく、人気があります。著者たちは、単体でテストするだけでなく、TPUと呼ばれる特別な USB スティックを接続してテストしました。この TPU は思考を速めるためのターボチャージャーとして機能します。
• NVIDIA Jetson Orin Nano：これはグループ内の「スポーツカー」です。より高価で強力であり、重い AI タスクのために特別に設計されています。

競技結果：速度、バッテリー、精度

研究者たちは、数千枚の写真から物体を識別するよう各コンピュータに命じるマラソンを行いました。彼らは以下の 3 つを測定しました。

1. 物体を検知するまでの時間（推論時間）。
2. 写真 1 枚あたりのバッテリー消費量（エネルギー消費）。
3. 実際に見つけた物体の数（精度/mAP）。

彼らが発見したことは以下の通りです。

• 「速くて倹約的」な勝者：SSDモデルは、速度とバッテリー寿命において明確な勝者でした。彼らは非常に少ない食料で速く走るマラソンランナーのようですが、すべての細部を捉えるのに最も優れていたわけではありません。
• 「正確だが食欲旺盛」な勝者：YOLOv8 Mediumモデルは最も正確な探偵であり、最も多くの物体を正しく発見しました。しかし、それは遅く、バッテリーを大量に消費しました。燃費の悪い高級車のようなものです。
• 「ターボチャージャー」効果：Raspberry Pi にTPU アクセラレータ（USB スティック）を追加すると、自転車にジェットエンジンを搭載したようなものでした。
  • SSDおよびEfficientDetモデルの場合、TPU は精度を損なうことなく、これらを驚くほど速く、効率的にしました。
  • しかし、YOLOv8モデルの場合、TPU はそれらが収まるように「脳」を縮小させる（モデルを圧縮する）ことを強いました。これにより速度は向上しましたが、精度は低下しました。まるで、より速く走るために目隠しを強いられたベテラン探偵のようです。
• 「スポーツカー」チャンピオン：Jetson Orin Nanoは総合的なチャンピオンでした。重いYOLOv8モデルにとって、最も速く、最もエネルギー効率が良いものでした。大きな正確なモデルを処理しても、速度が落ちたり、バッテリーを急速に消耗したりすることはありませんでした。

大きな教訓

「完璧な」選択は一つだけではありません。必要なものによって異なります。

• 最大限の速度とバッテリー寿命が必要なら（数時間飛行するドローンのような場合）、TPU を搭載した Raspberry Pi上のSSD モデルを選ぶべきです。
• 最大限の精度が必要なら（すべての歩行者を必ず見なければならない自動運転車のよう）で、強力なデバイスを持っているなら、YOLOv8を実行するJetson Orin Nanoが最善の選択です。
• 予算が限られており、バランスが必要なら、EfficientDetを搭載したRaspberry Pi 4 または 5が堅実な中間地点となります。

要約すると、この論文は、スマートなローカル AI を構築することがバランスの取れた行為であることを教えてくれます。コンピュータをどの程度速くしたいか、どの程度のバッテリーを節約できるか、そしてどの程度賢くする必要があるかの間で選択を迫られます。無料のランチはありませんが、これらのトレードオフを知ることで、特定の任務に最適なシステムを構築できるようになります。

技術概要

以下は、論文「エッジコンピューティングデバイスにおける物体検出のための深層学習モデルのベンチマーク」の詳細な技術的サマリーです。

1. 問題定義

自律走行車やリアルタイム監視などの現代のアプリケーションでは、リソース制約のあるエッジデバイスに深層学習の物体検出アルゴリズムを配備する必要があります。クラウドコンピューティングは高いパフォーマンスを提供しますが、遅延や依存関係の問題をもたらします。エッジコンピューティングはこれを解決しますが、以下のような重大な課題を提示します：

• リソース制約: エッジデバイス（例：Raspberry Pi、Jetson）は、CPU/GPU の性能、メモリ、バッテリー寿命が限られています。
• トレードオフのジレンマ: 異なるモデルやハードウェア構成における精度（mAP）、推論速度（レイテンシ）、およびエネルギー効率の間のトレードオフに関する包括的な理解が不足しています。
• 文献のギャップ: 既存の研究は特定のモデルに焦点を当てることが多く、YOLOv8 などの広範な現代のモデルや、TPU や新しい Jetson モジュールを含む多様なハードウェア全体にわたって、エネルギー消費、推論時間、精度を同時に評価するものが不足しています。

2. 手法

実験設定

著者は、以下の要素を含む包括的なベンチマーク研究を実施しました：

• エッジデバイス:
  • Raspberry Pi シリーズ: Pi 3 Model B+、Pi 4 Model B、および Pi 5。
  • アクセラレータ: Pi モデルに接続された Google Coral USB アクセラレータ（Edge TPU）。
  • 高性能エッジ: NVIDIA Jetson Orin Nano（RAM 4 GB）。
• 物体検出モデル:
  • YOLOv8: Nano、Small、Medium バリエーション。
  • EfficientDet Lite: Lite0、Lite1、Lite2。
  • SSD: SSD MobileNet V1 および SSDLite MobileDet。
• フレームワークと配備:
  • PyTorch: Pi 上でのネイティブ YOLOv8 配備に使用。
  • TensorFlow Lite (TFLite): TPU 搭載 Pi 上のモデルに使用（TPU の制約に適合させるため、モデルを 640x640 から 320x320 の入力解像度に圧縮）。
  • TensorRT: Jetson Orin Nano 上のモデルの最適化に使用。
  • Web サービス: モデルを Flask-API Web サービスとして配備し、現実世界の要求処理をシミュレート。

評価指標

本研究では、以下の 3 つの重要な指標を測定しました：

1. 推論時間: 画像を処理するのにかかる時間（前処理・後処理を除く）、ミリ秒単位で測定。
2. エネルギー消費: 要求あたりのエネルギー（ベースエネルギーを除く）として計算。
   • 式：$E_{excR} = \frac{TE - BE}{NR}$
   • ここで $TE$は総エネルギー、$BE$はベースエネルギー（アイドル時）、$NR$ は要求数。
3. 精度: FiftyOne ツールを使用して、COCO 検証データセット（5,000 画像）上で評価された平均平均精度（mAP）。

自動化

• Locust: スループットとエネルギーを測定するため、5 分間隔で API エンドポイントに自動的かつ逐次的な HTTP 要求を生成するために使用。
• パワーメータ: Bluetooth 接続を備えた UM25C USB パワーメータがリアルタイムのエネルギー消費を測定。

3. 主な貢献

1. 包括的なベンチマーク: Pi 3/4/5、TPU、Jetson Orin Nano など多様なハードウェア全体にわたる最先端モデル（YOLOv8、EfficientDet Lite、SSD）のユニークな評価。
2. 包括的な指標: 精度、レイテンシ、およびエネルギー効率（要求あたり）の同時測定により、パフォーマンスの多次元的な視点を提供。
3. フレームワークの最適化: 異なる配備フレームワーク（PyTorch、TFLite、TensorRT）および TPU ハードウェア上の入力解像度の圧縮が及ぼす影響を実証。
4. 実践的ガイダンス: 特定のアプリケーションの制約（例：バッテリー寿命対リアルタイム速度）に基づいて、最適なモデル - デバイスペアを選択するための実行可能な洞察を提供。

4. 主要な結果

エネルギー消費

• 最も効率的: SSD MobileNet V1 は、すべてのデバイスで要求あたりのエネルギー消費が最も少なかった。
• 最も非効率的: YOLOv8 Medium はエネルギー消費が最も高かった。
• デバイスの性能:
  • Jetson Orin Nano は、アイドル時の消費電力が最も高かったにもかかわらず、要求処理において最もエネルギー効率の良いデバイスであった。
  • TPU の影響: TPU を追加すると、すべてのモデルの要求あたりのエネルギー消費が減少したが、デバイスのベースアイドルエネルギー消費は増加した（Pi モデルによって 9% から 46%）。
  • 世代間の差: Pi 4 と Pi 5 は Pi 3 よりもエネルギー効率が高かった。

推論時間（速度）

• 最速モデル: SSD MobileNet V1 は、すべてのプラットフォームで最速のモデルであった。
• 最遅モデル: YOLOv8 Medium は一貫して最遅であった。
• ハードウェアアクセラレーション:
  • TPU: 推論時間を大幅に短縮（例：Pi 3+TPU 上の SSD_v1 は 427ms から 61ms に低下）。
  • Jetson Orin Nano: 絶対的な推論時間を最も低く達成（例：YOLOv8 Nano で 16ms）、TPU 加速された Pi さえも凌駕。

精度（mAP）

• 最高精度: YOLOv8 Medium は、標準的な Pi 上で最高 mAP（44）を達成。
• 最低精度: SSD MobileNet V1 は最低 mAP（19）であった。
• TPU の精度への影響:
  • EfficientDet と SSD: TPU 上で配備された場合、精度は安定していた。
  • YOLOv8: 必要なモデル圧縮（入力解像度を 640x640 から 320x320 に削減）により、TPU 搭載 Pi 上では精度が大幅に低下（例：YOLOv8 Nano は mAP 31 から 16 に低下）。
• Jetson の影響: Jetson Orin Nano は YOLOv8 に対して高い精度を維持したが、Pi と比較して SSD および EfficientDet モデルでは mAP がわずかに低下した。

トレードオフ分析（パレートフロンティア）

• SSD モデル: エネルギーと時間の間に線形相関を示す。Jetson Orin Nano と Pi 5+TPU が「パレートフロンティア」（最良のバランス）を形成。
• YOLOv8: Jetson Orin Nano が優位な選択肢として浮上し、TPU で見られる精度のペナルティなしに、速度、エネルギー、精度の最良のバランスを提供。

5. 意義と結論

本論文は、「唯一の最良の構成」は存在せず、選択は特定のアプリケーション要件に依存すると結論付けている：

• 最大精度の場合: Jetson Orin Nano 上の YOLOv8 Medium が最適である。
• 最大速度/エネルギー効率の場合: Jetson Orin Nano 上の SSD MobileNet V1 または TPU 搭載 Pi 5 が推奨される。
• 重要な洞察: エッジ TPU は速度を劇的に向上させ、要求あたりのエネルギーを削減する一方で、入力解像度の制約により YOLOv8 のような複雑なモデルの精度を著しく低下させる可能性がある。したがって、高精度な YOLOv8 配備においては、TPU ベースのセットアップよりも GPU ベースのエッジデバイス（Jetson）が優れている。

本研究は、エッジ AI ソリューションを開発する研究者やエンジニアにとって重要な参考資料を提供し、現実世界の制約を満たすために、ハードウェアの能力、モデルアーキテクチャ、配備フレームワークのバランスを取る必要性を浮き彫りにしている。