기술 요약: XiYOLO: 반복적 아키텍처 탐색 및 스케일링을 통한 에너지 인식 객체 감지

문제 제기

이종 엣지 장치 (예: UAV, UGV, 모바일 로봇) 에서의 객체 감지는 신뢰할 수 있는 인식 필요성과 에너지, 지연 시간, 메모리에 대한 엄격한 제약 조건 사이의 치명적인 충돌에 직면해 있습니다. 더 큰 감지기는 종종 정확도를 향상시키지만, 시스템 수명을 제한하는 과도한 에너지 비용을 초래합니다. 반면, 더 작은 모델은 효율적이지만 견고성이 부족할 수 있습니다.

기존의 에너지 인식 신경 아키텍처 탐색 (NAS) 방법들은 종종 제한된 배포 환경이나 단일 최종 모델을 대상으로 하며, 확장 가능한 감지기 군을 대상으로 하지 않습니다. 주요 병목 현상은 '실제' 에너지를 최적화하는 데 있는 어려움입니다. FLOPs, MACs, 또는 파라미터 수와 같은 표준 프록시들은 메모리 이동, 연산자 구성, 플랫폼별 실행 동작에 크게 의존하는 에너지 소비를 정확하게 예측하지 못합니다. 또한, 넓은 탐색 공간에 걸쳐 포괄적인 하드웨어 에너지 측정을 수행하는 것은 비용이 많이 들고 종종 비현실적입니다.

방법론

저자들은 다양한 배포 예산에 걸쳐 감지기 군을 확장할 수 있는 단일 에너지 효율적 기본 아키텍처를 식별하도록 설계된 에너지 적응형 프레임워크인 XiYOLO를 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소로 구성됩니다:

1. 에너지 인식 탐색 공간 (XiResOFA)

이 프레임워크는 Once-for-All (OFA) 탐색과 호환되는 탄력적 아키텍처 선택을 표준 잔여 병목 설계에 추가한 새로운 탐색 블록인 XiResOFA를 도입합니다. 각 블록은 튜플 $(r, k, t)$로 매개변수화됩니다:

• 압축 비율 ($r$): 채널 너비를 제어하기 위해 $\{1, 0.5, 0.25\}$ 중에서 선택 가능.
• 커널 크기 ($k$): 수용 영역을 조정하기 위해 $\{1, 3, 5\}$ 중에서 선택 가능.
• 어텐션 유형 ($t$): '라이트'와 '풀' 어텐션 메커니즘 사이에서 선택 가능.

이러한 선택들은 백본, 특징 피라미드 네트워크 (FPN), 그리고 경로 집계 네트워크 (PAN) 에 일관되게 적용되어, 아키텍처 결정이 감지 품질과 하드웨어 에너지 모두에 직접적이고 해석 가능한 관계를 갖는 일관된 탐색 공간을 생성합니다.

2. 2 단계 에너지 추정

하드웨어 에너지 데이터의 부족을 해결하기 위해, 저자들은 2 단계 에너지 근사 모델을 개발했습니다:

• 1 단계 (일반적 사전 지식): 사전 훈련된 예측기 $f_{base}(a)$는 아키텍처만을 기반으로 에너지를 추정하여 전이 가능한 구조 수준의 에너지 패턴을 포착합니다.
• 2 단계 (장치별 잔차): 경량 잔차 모델 $r(a, h)$은 사전 지식을 특정 하드웨어 목표 ($h$) 에 맞게 조정하며, 백엔드 구현 및 메모리 계층 구조를 고려합니다.
  최종 추정치는 $\hat{E}(a, h) = f_{base}(a) + r(a, h)$입니다. 이 접근 방식은 포괄적인 프로파일링 대신 2~20 개의 측정 샘플만을 사용하여 새 장치를 위한 시스템 보정을 가능하게 합니다 (퓨샷 적응).

3. 반복적 아키텍처 탐색

백본, FPN, PAN 에 대한 단일 모놀리식 결합 탐색 대신, 이 프레임워크는 반복적 탐색 전략을 사용합니다. 다른 구성 요소들의 현재 선택에 조건을 부여하면서 각 구성 요소를 점진적으로 정제합니다:

1. 현재 FPN/PAN 을 기반으로 백본 최적화.
2. 새로운 백본과 현재 PAN 을 기반으로 FPN 최적화.
3. 새로운 백본과 FPN 을 기반으로 PAN 최적화.
   이 단계별 정제는 조합적 복잡성을 줄이면서 구성 요소들이 에너지 예산에 공동 적응할 수 있도록 합니다.

4. 복합 스케일링

단일 최적화된 기본 아키텍처 ($a^*$) 가 식별되면, 프레임워크는 배포 가능한 변형 (나노, 소형, 중형) 군을 생성하기 위해 복합 스케일링을 적용합니다. 이는 아키텍처 발견을 배포 적응과 분리하여, 각 지점마다 별도의 탐색을 요구하지 않고도 다양한 운영 체제에 맞는 모델을 생성할 수 있게 합니다.

주요 기여

• XiYOLO 프레임워크: 고립된 모델을 탐색하는 것이 아니라 확장 가능한 기본 감지기를 설계하는 문제로 문제를 공식화한 에너지 적응형 인식에 대한 새로운 접근법.
• XiResOFA 탐색 공간: 제어 가능한 압축, 커널 크기, 어텐션을 갖춘 블록 설계로 해석 가능한 정확도–에너지 트레이드오프를 가능하게 함.
• 반복적 탐색 전략: 백본, FPN, PAN 에 대한 점진적 탐색 방법으로, 전역 결합 탐색보다 고품질 기본 아키텍처를 더 효율적으로 식별함.
• 2 단계 에너지 추정기: 일반적 아키텍처 예측기와 하드웨어별 잔차를 결합한 모델로, 희소한 하드웨어 측정 하에서 에너지 인식 탐색을 위한 샘플 효율성을 크게 향상시킴.

실험 결과

실험은 PascalVOC 및 COCO 데이터셋에서 수행되었으며, ModalAI Sentinel 개발 드론 (Qualcomm Adreno 650 GPU 및 15 TOPS NPU 탑재) 에서 실제 장치 배포가 이루어졌습니다.

• PascalVOC 성능: 중형 XiYOLO 모델은 86.15 mAP50을 달성하여 YOLOv12m 보다 +0.07 mAP50 을 상회했습니다. 중요하게도, YOLOv12m 대비 GPU 에서 20.6%, **NPU 에서 35.9%**의 에너지 소비를 감소시켰습니다. 소형 규모에서는 84.38 mAP50 을 달성하면서 GPU 에서 47.0%, NPU 에서 45.7% 의 에너지 감소를 이루었습니다.
• COCO 성능: 중형 모델은 YOLOv12m 대비 GPU 에서 24.5%, **NPU 에서 38.8%**의 에너지 감소와 함께 경쟁력 있는 정확도 (50.71 mAP50-95) 를 유지했습니다. 소형 규모에서는 GPU 에서 최대 53.7%, NPU 에서 **51.6%**까지 에너지가 감소했습니다.
• 배포 효율성: 시간에 따른 누적 에너지 벤치마크는 XiYOLO 변형이 GPU 와 NPU 모두에서 YOLO 베이스라인보다 일관되게 적은 에너지를 누적함을 보여주었으며, 중형 규모에서 가장 큰 이점을 보였습니다.
• 추정기 효율성: HW-NAS-Bench 에서 2~20 개의 퓨샷 샘플에 걸쳐 2 단계 추정기는 결합 예측기보다 낮은 테스트 RMSE 를 달성하여, 새로운 하드웨어에 적응하는 데 있어 우수한 샘플 효율성을 입증했습니다.
• 탐색 공간 분석: XiResOFA 공간에서 무작위로 샘플링된 모델들은 YOLOv12 베이스라인 대비 평균 21.1% 의 에너지 감소를 보여주었습니다. 반복적 탐색 공간은 전역 탐색 공간 대비 평균 약 3.5% 의 예측 mAP50 향상을 보였습니다.

중요성 및 주장

이 논문은 XiYOLO 가 단일 효율적 모델을 탐색하는 것이 아니라 이종 하드웨어 제약에 부합하는 예산 적응형 운영 지점을 탐색하는 것으로 엣지 감지기 설계를 성공적으로 다루었다고 주장합니다. 해석 가능한 탐색 공간과 희소 데이터 에너지 추정기를 결합함으로써, 이 프레임워크는 기존 YOLO 베이스라인보다 강력한 정확도–에너지 트레이드오프를 달성합니다.

저자들은 희소한 하드웨어 측정 하에서 해석 가능한 정확도–에너지 트레이드오프를 가능하게 하는 그들의 접근 방식을 강조하며, 이는 정확한 에너지 데이터가 부족한 플랫폼 간 에너지 인식 설계를 전이 가능하게 만듭니다. 결과는 단일 기본 아키텍처를 탐색하고 이를 확장하는 것이 다양한 엣지 장치에서 잘 작동하는 감지기 군을 생성하기 위한 실현 가능한 전략임을 시사하며, 탐지 품질을 희생하지 않고 구조물 검사 및 수색 구조와 같은 응용 분야의 시스템 수명을 연장합니다.

이 논문은 탐색이 YOLOv12 에서 파생된 군으로 제한되고, 최종 모델이 다점 탐색이 아닌 탐색 후 스케일링을 통해 얻어지며, 평가가 특정 GPU 및 NPU 설정으로 제한된다는 한계를 인정합니다. 그럼에도 불구하고, 이 작업은 에너지 인식 아키텍처 탐색이 이종 엣지 배포를 위해 정확하고 에너지 효율적인 감지기 설계를 생성할 수 있음을 보여줍니다.