Benchmarking Deep Learning Models for Object Detection on Edge Computing Devices

본 논문은 다양한 엣지 디바이스 across 에서 최첨단 객체 탐지 모델을 벤치마크하여 정확도, 추론 속도, 에너지 효율성 간의 트레이드오프를 분석하고, 궁극적으로 실시간 애플리케이션을 위한 최적의 모델-디바이스 조합 선택에 대한 실용적인 지침을 제공합니다.

핵심

작은 가게에 보안 카메라 시스템을 구축하려는데 거대하고 비싼 클라우드 서버에 연결할 수 없다고 상상해 보세요. 대신 카메라가 현장에 있는 작고 배터리로 작동하는 컴퓨터를 이용해 "생각"하며 침입자를 즉시 탐지해야 합니다. 이것이 바로 에지 컴퓨팅의 세계입니다. 데이터를 클라우드로 보내는 대신 로컬에서 중대한 작업을 처리하는 것이죠.

이 논문은 작은 컴퓨터에 대한 자동차 리뷰와 같습니다. 다만 자동차의 주행 속도를 테스트하는 대신, 저자들은 다양한 유형의 AI 소프트웨어를 사용해 이러한 컴퓨터가 사람, 자동차, 동물과 같은 물체를 얼마나 잘 "보고" 식별할 수 있는지 테스트했습니다.

다음은 그들의 실험을 쉽게 정리한 내용입니다:

경쟁자들: "두뇌"(AI 모델)

연구진은 물체 탐지를 위해 설계된 세 가지 다른 AI "두뇌" 계열을 테스트했습니다. 이를 서로 다른 유형의 탐정으로 생각해보세요:

1. YOLOv8(You Only Look Once): 이들은 고성능 탐정들입니다.
   • "Medium" 버전: 매우 정확하지만 생각하는 데 시간이 오래 걸리고 금방 지쳐버립니다(배터리를 많이 소모함). 이는 베테랑 탐정에 비유할 수 있습니다.
   • "Nano" 및 "Small" 버전: 더 빠르고 에너지를 적게 쓰지만 몇 가지 세부 사항을 놓칠 수 있는 주니어 탐정들입니다.
2. SSD(Single Shot Detector): 이들은 스프린터들입니다.
   • 매우 빠르고 에너지를 거의 쓰지 않지만, 까다롭거나 작은 물체를 탐지하는 능력은 떨어집니다. 이는 신속한 순찰을 돌지만 교묘한 도둑을 놓칠 수 있는 보안 요원과 같습니다.
3. EfficientDet Lite: 이들은 균형 잡힌 탐정들입니다. 속도와 정확도 사이에서 중간 지점을 찾으려 노력합니다.

레이스 트랙: "근육"(에지 장치)

저자들은 이러한 탐정들을 두뇌의 몸체가 되는 다양한 유형의 작은 컴퓨터에서 테스트했습니다:

• 라즈베리 파이 (모델 3, 4, 5): 이들은 컴퓨팅 세계의 "스위스 아미 나이프"와 같습니다. 저렴하고 작으며 인기가 많습니다. 저자들은 이를 자체적으로 테스트했을 뿐만 아니라, 더 빠르게 생각하도록 도와주는 터보차저 역할을 하는 특수 USB 스틱(TPU)을 연결하여 테스트했습니다.
• NVIDIA Jetson Orin Nano: 이 그룹의 "스포츠카"입니다. 더 비싸고 강력하며, 무거운 AI 작업에 특화되어 있습니다.

레이스 결과: 속도, 배터리, 정확도

연구진은 각 컴퓨터가 수천 장의 사진에서 물체를 식별하도록 요구하는 마라톤을 진행했습니다. 그들은 세 가지 항목을 측정했습니다:

1. 물체를 탐지하는 데 걸린 시간 (추론 시간).
2. 사진 한 장당 소모된 배터리 양 (에너지 소비).
3. 정확히 찾아낸 물체의 수 (정확도/mAP).

다음은 그들이 발견한 내용입니다:

• "빠르고 절약형" 우승자: SSD 모델이 속도와 배터리 수명 측면에서 명백한 우승자였습니다. 이들은 적게 먹고 빠르게 달리는 마라토너와 같았지만, 모든 세부 사항을 찾아내는 데는 가장 뛰어났지 않았습니다.
• "정확하지만 배고픈" 우승자: YOLOv8 Medium 모델이 가장 정확한 탐정이었으며, 가장 많은 물체를 올바르게 찾아냈습니다. 하지만 이는 느리고 배터리를 많이 소모했습니다. 연비가 나쁜 고급 자동차와 같습니다.
• "터보차저" 효과: TPU 가속기(USB 스틱)를 라즈베리 파이에 추가했을 때, 이는 자전거에 제트 엔진을 달아주는 것과 같았습니다.
  • SSD 및 EfficientDet 모델의 경우, TPU 는 정확도를 해치지 않으면서 속도와 효율성을 극적으로 높여주었습니다.
  • 그러나, YOLOv8 모델의 경우 TPU 가 "두뇌"를 줄이도록(모델을 압축) 강요했습니다. 이는 속도를 높였지만 정확도를 떨어뜨렸습니다. 이는 더 빠르게 달리기 위해 눈가리개를 해야 하는 베테랑 탐정과 같습니다.
• "스포츠카" 챔피언: Jetson Orin Nano가 전체 챔피언이었습니다. 무거운 YOLOv8 모델에 대해 가장 빠르고 에너지 효율이 좋았습니다. 속도가 느려지거나 배터리가 너무 빨리 방전되지 않으면서도 크고 정확한 모델을 처리할 수 있었습니다.

핵심 교훈

단 하나의 "완벽한" 선택지는 없습니다. 필요한 것에 따라 다릅니다:

• 최대 속도와 배터리 수명(수 시간 비행하는 드론과 같은 경우)이 필요하다면 TPU 가 장착된 라즈베리 파이에서 SSD 모델을 선택해야 합니다.
• 최대 정확도(모든 보행자를 반드시 알아봐야 하는 자율주행차와 같은 경우)가 필요하고 강력한 장치를 보유하고 있다면, YOLOv8을 실행하는 Jetson Orin Nano가 최선의 선택입니다.
• 예산이 제한적이고 균형이 필요하다면 EfficientDet을 실행하는 라즈베리 파이 4 또는 5가 견고한 중간 지점이 됩니다.

요약하자면, 이 논문은 스마트한 로컬 AI 를 구축하는 것이 균형 잡기 작업임을 가르쳐 줍니다. 컴퓨터가 얼마나 빠르기를 원하는지, 얼마나 많은 배터리를 쓸 수 있는지, 그리고 얼마나 똑똑해야 하는지 사이에서 선택해야 합니다. 공짜 점심은 없지만, 이러한 절충안을 알면 특정 작업에 맞는 시스템을 구축하는 데 도움이 됩니다.

기술 요약

"에지 컴퓨팅 장치에서의 객체 감지를 위한 딥러닝 모델 벤치마킹" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

자율 주행 차량 및 실시간 감시와 같은 현대 애플리케이션은 리소스가 제한된 에지 장치에 딥러닝 객체 감지 알고리즘을 배포해야 합니다. 클라우드 컴퓨팅은 높은 성능을 제공하지만, 지연 시간과 종속성 문제를 초래합니다. 에지 컴퓨팅은 이를 해결하지만 다음과 같은 중대한 과제를 제시합니다:

• 리소스 제약: 에지 장치 (예: Raspberry Pi, Jetson) 는 CPU/GPU 성능, 메모리, 배터리 수명이 제한적입니다.
• 트레이드오프 딜레마: 다양한 모델과 하드웨어 구성 간의 정확도 (mAP), 추론 속도 (지연 시간), 에너지 효율성 사이의 트레이드오프에 대한 포괄적인 이해가 부족합니다.
• 문헌의 공백: 기존 연구들은 종종 특정 모델에 초점을 맞추거나, YOLOv8 과 같은 다양한 현대 모델과 TPU 및 최신 Jetson 모듈을 포함한 다양한 하드웨어에 걸쳐 에너지 소비, 추론 시간, 정확도를 동시에 평가하지 못합니다.

2. 방법론

실험 설정

저자들은 다음과 같은 포괄적인 벤치마킹 연구를 수행했습니다:

• 에지 장치:
  • Raspberry Pi 시리즈: Pi 3 Model B+, Pi 4 Model B, Pi 5.
  • 가속기: Pi 모델에 연결된 Google Coral USB 가속기 (Edge TPU).
  • 고성능 에지: NVIDIA Jetson Orin Nano (4 GB RAM).
• 객체 감지 모델:
  • YOLOv8: Nano, Small, Medium 변형.
  • EfficientDet Lite: Lite0, Lite1, Lite2.
  • SSD: SSD MobileNet V1 및 SSDLite MobileDet.
• 프레임워크 및 배포:
  • PyTorch: Pis 에서 네이티브 YOLOv8 배포에 사용.
  • TensorFlow Lite (TFLite): TPU 가 장착된 Pis 에서 모델 배포에 사용 (TPU 제약에 맞추기 위해 모델 입력 해상도를 640x640 에서 320x320 으로 압축).
  • TensorRT: Jetson Orin Nano 에서 모델 최적화에 사용.
  • 웹 서비스: 실제 요청 처리를 시뮬레이션하기 위해 모델을 Flask-API 웹 서비스로 배포.

평가 지표

본 연구는 세 가지 중요한 지표를 측정했습니다:

1. 추론 시간: 이미지 처리에 소요된 시간 (전처리/후처리 제외), 밀리초 단위로 측정.
2. 에너지 소비: **요청당 에너지 (기저 에너지 제외)**로 계산.
   • 공식: $E_{excR} = \frac{TE - BE}{NR}$
   • 여기서 $TE$는 총 에너지,$BE$는 기저 에너지 (유휴 상태),$NR$은 요청 수입니다.
3. 정확도: FiftyOne 도구를 사용하여 COCO 검증 데이터셋 (5,000 개 이미지) 에서 평가된 평균 정밀도 (mAP).

자동화

• Locust: 처리량과 에너지를 측정하기 위해 5 분 간격으로 API 엔드포인트에 자동화된 순차적 HTTP 요청을 생성하는 데 사용.
• 전력 미터: Bluetooth 연결이 가능한 UM25C USB 전력 미터가 실시간 에너지 소비를 측정.

3. 주요 기여

1. 포괄적인 벤치마킹: Pi 3/4/5, TPU, Jetson Orin Nano 등 다양한 하드웨어에 걸쳐 최신 모델 (YOLOv8, EfficientDet Lite, SSD) 을 평가한 독보적인 연구.
2. 종합적 지표: 정확도, 지연 시간, 에너지 효율성 (요청당) 을 동시에 측정하여 성능에 대한 다차원적 관점 제공.
3. 프레임워크 최적화: 다양한 배포 프레임워크 (PyTorch, TFLite, TensorRT) 와 TPU 하드웨어에서의 입력 해상도 압축이 미치는 영향 입증.
4. 실용적 지침: 배터리 수 대 실시간 속도 등 특정 애플리케이션 제약 조건에 따라 최적의 모델 - 장치 쌍을 선택할 수 있는 실행 가능한 통찰력 제공.

4. 주요 결과

에너지 소비

• 가장 효율적: SSD MobileNet V1이 모든 장치에서 요청당 가장 적은 에너지를 소비했습니다.
• 가장 비효율적: YOLOv8 Medium이 가장 높은 에너지 소비를 보였습니다.
• 장치 성능:
  • Jetson Orin Nano: 유휴 전력 소비가 가장 높았음에도 불구하고 요청 처리에 있어 가장 에너지 효율적인 장치였습니다.
  • TPU 영향: TPU 를 추가하면 모든 모델의 요청당 에너지 소비가 감소했지만, Pi 모델에 따라 9% 에서 46% 까지 장치의 기본 유휴 에너지 소비는 증가했습니다.
  • 세대 간 차이: Pi 4 와 Pi 5 가 Pi 3 보다 에너지 효율성이 더 높았습니다.

추론 시간 (속도)

• 가장 빠른 모델: SSD MobileNet V1이 모든 플랫폼에서 가장 빠른 모델이었습니다.
• 가장 느린 모델: YOLOv8 Medium이 일관되게 가장 느렸습니다.
• 하드웨어 가속:
  • TPU: 추론 시간을 크게 단축했습니다 (예: Pi 3+TPU 의 SSD_v1 은 427ms 에서 61ms 로 감소).
  • Jetson Orin Nano: 절대적인 추론 시간을 가장 낮게 달성했습니다 (예: YOLOv8 Nano 는 16ms), TPU 가속 Pi 를 능가했습니다.

정확도 (mAP)

• 가장 높은 정확도: YOLOv8 Medium이 표준 Pi 에서 가장 높은 mAP(44) 를 달성했습니다.
• 가장 낮은 정확도: SSD MobileNet V1이 가장 낮은 mAP(19) 를 보였습니다.
• TPU 의 정확도 영향:
  • EfficientDet 및 SSD: TPU 에 배포되었을 때 정확도가 안정적으로 유지되었습니다.
  • YOLOv8: 필요한 모델 압축 (입력 해상도를 640x640 에서 320x320 으로 축소) 으로 인해 TPU 가 장착된 Pi 에서 정확도가 크게 하락했습니다 (예: YOLOv8 Nano 는 31 mAP 에서 16 mAP 로 감소).
• Jetson 영향: Jetson Orin Nano 는 YOLOv8 에 대해 높은 정확도를 유지했지만, Pi 에 비해 SSD 및 EfficientDet 모델의 mAP 는 약간 감소했습니다.

트레이드오프 분석 (파레토 프론트)

• SSD 모델: 에너지와 시간 사이에 선형 상관관계를 보입니다. Jetson Orin Nano 와 Pi 5+TPU 가 "파레토 프론트" (최적의 균형) 를 형성했습니다.
• YOLOv8: Jetson Orin Nano 가 TPU 에서 발생하는 정확도 감면 없이 속도, 에너지, 정확도의 최상의 균형을 제공하여 최상의 선택지로 부상했습니다.

5. 중요성 및 결론

이 논문은 단일한 "최고"의 구성은 없으며 선택은 특정 애플리케이션 요구 사항에 달려 있다고 결론지었습니다:

• 최대 정확도를 위해: Jetson Orin Nano에서의 YOLOv8 Medium이 최적의 선택입니다.
• 최대 속도/에너지 효율성을 위해: Jetson Orin Nano 또는 TPU 가 장착된 Pi 5에서의 SSD MobileNet V1이 선호됩니다.
• 중요한 통찰력: 에지 TPU 는 속도를 획기적으로 향상시키고 요청당 에너지를 줄이지만, 입력 해상도 제약으로 인해 YOLOv8 과 같은 복잡한 모델의 정확도를 심각하게 저하시킬 수 있습니다. 따라서 고정확도 YOLOv8 배포의 경우, TPU 기반 설정보다 GPU 기반 에지 장치 (Jetson) 가 우월합니다.

이 연구는 실제 제약 조건을 충족하기 위해 하드웨어 기능, 모델 아키텍처, 배포 프레임워크 간의 균형을 맞추는 필요성을 강조하며, 에지 AI 솔루션을 개발하는 연구자 및 엔지니어에게 중요한 참고 자료가 됩니다.