Multiscale Real-Time Object Detection in the NMS-Free Era: A Comparative Performance Evaluation of YOLOv8 and YOLO26

기술 요약: NMS 없는 시대의 멀티스케일 실시간 객체 감지

문제 제기
실시간 객체 감지 파이프라인은 오랫동안 중복된 바운딩 박스 예측을 필터링하기 위한 중요한 후처리 단계로서 비최대 억제 (NMS) 에 의존해 왔습니다. 중복 제거에 효과적이지만, NMS 는 세 가지 주요 한계를 도입합니다: (1) 장면 밀도에 따라 확장되는 지연 시간 변동으로 엣지 하드웨어에서 동기화된 실행을 방해함; (2) 배포마다 Intersection-over-IoU(IoU) 임계값을 수동으로 조정해야 하는 하이퍼파라미터 민감성; (3) 순차적 필터링이 병렬 실행 그래프를 방해하는 정수 연산 가속기와的不호환성.

최근 Ultralytics 가 2026 년 초에 소개한 YOLO26 과 같은 최신 아키텍처는 이러한 문제를 해결하기 위해 네이티브 엔드투엔드 NMS 없는 설계를 제안하지만, YOLOv8 과 같은 기존 NMS 기반 모델에 대한 경험적 성능은 아직 충분히 탐구되지 않았습니다. 기존 벤치마크인 MS COCO 는 주로 중대형 객체에 중점을 두어 항공 감시에서의 소형 객체 충실도나 레거시 분류 체계 전반에 걸친 일반화 같은 특정 실패 모드를 스트레스 테스트하지 못합니다.

방법론
본 연구는 나노, 소형, 중형, 대형, 엑스트라라이트 등 다섯 가지 모델 스케일에 걸쳐 YOLOv8 과 YOLO26 을 포괄적으로 비교 평가합니다. 평가는 서로 다른 감지 능력을 스트레스 테스트하기 위해 두 가지 고유한 데이터셋을 활용합니다:

• Pascal VOC: 상대적으로 크고 잘 중심 잡힌 인스턴스를 가진 일반 객체 감지를 위한 기초 벤치마크.
• VisDrone2019-DET: 밀집된 장면과 심각한 소형 객체 문제 (객체의 75% 가 2,000 픽셀 미만 차지) 로 특징지어지는 UAV 촬영 데이터셋.

방법론은 NVIDIA RTX 6000 Ada GPU 에서 동일한 구성 (640×640 입력, 배치 크기 16, 100 에포크) 을 사용하여 이러한 데이터셋에서 두 모델 계열을 학습 및 미세 조정하는 것을 포함합니다. 성능은 다음을 통해 평가됩니다:

1. 감지 정확도: 정밀도, 재현율, F1 점수, mAP@50, mAP@50:95.
2. 연산 효율성: 모델 크기, 파라미터 수, GFLOPs, CPU/GPU 지연 시간.
3. 아키텍처 분석: 손실 함수, 라벨 할당 전략, 후처리 파이프라인의 나란한 비교.

주요 아키텍처 차이점
본 논문은 두 모델 계열 간의 근본적인 차이를 강조합니다:

• YOLOv8: 바운딩 박스 회귀를 위해 Distribution Focal Loss(DFL) 를 사용하는 디커플된 헤드를 활용하며, 후처리를 위해 NMS 에 의존합니다. 라벨 할당을 위해 Task Alignment Learning(TAL) 을 사용합니다.
• YOLO26: NMS 와 DFL 을 제거한 네이티브 엔드투엔드 아키텍처를 채택합니다. 주요 혁신 사항은 다음과 같습니다:
  • 1 대 1 라벨 할당: 후처리 없이 결정론적이고 중복되지 않는 예측을 강제합니다.
  • 직접 회귀: 엣지 하드웨어에서의 양자화 오버헤드를 줄이기 위해 DFL 을 직접 좌표 회귀로 대체합니다.
  • 소형 대상 인식 라벨 할당 (STAL): 그래디언트 소실을 방지하기 위해 미세한 객체의 IoU 임계값을 낮추는 동적 할당 기준.
  • 점진적 손실 균형 (ProgLoss): 훈련 중 의미론적 학습에서 기하학적 정밀도로 초점을 이동시키는 시간 의존적 손실 변조 전략.
  • MuSGD 옵티마이저: 경량 백본을 안정화하도록 설계된 스펙트럼 정규화 옵티마이저 변형.

주요 결과

• Pascal VOC 성능: YOLO26 은 대부분의 스케일에서 YOLOv8 일관된 우위를 보이며, 더 높은 정밀도, 재현율, F1 점수, mAP 지표를 달성합니다. YOLO26 엑스트라라이트 (x) 변형은 전체적으로 가장 높은 정확도를 달성하지만, 대형 (l) 변형 대비 마진적 이득은 가장 높은 스케일에서 체감 수익 감소를 시사합니다.
• VisDrone 성능: 두 모델 모두 밀집된 소형 표적으로 인해 VisDrone 데이터셋에서 상당히 어려움을 겪습니다. YOLO26 이 여전히 엑스트라라이트 스케일에서 최고 점수를 달성하지만, Pascal VOC 에 비해 YOLO26 과 YOLOv8 간의 성능 격차는 크게 좁혀집니다. 두 아키텍처 모두 항공 소형 객체의 정밀한 위치 파악에 어려움을 겪습니다.
• 효율성 및 지연 시간:
  • 모델 복잡도: YOLO26 은 동등한 YOLOv8 스케일에 비해 일반적으로 더 낮은 파라미터 수, 더 작은 모델 크기, 감소된 GFLOPs 를 보입니다.
  • 지연 시간: NMS 없는 설계가 보편적으로 더 낮은 지연 시간을 제공한다는 가정과 달리, YOLOv8 은 GPU 하드웨어에서 동등한 스케일에서 여전히 경쟁력 있으며 경우에 따라 더 빠릅니다. CPU 에서는 두 계열 모두 스케일이 커질수록 지연 시간이 급격히 증가합니다.
  • 배포: YOLO26 의 DFL 제거는 INT8 양자화 및 엣지 배포에 유익한 것으로 지적되며, 연산자 다양성과 추론 오버헤드를 줄입니다.

의의 및 주장
본 논문은 감지기 선택이 아키텍처의 참신함만으로 결정되는 것이 아니라 데이터셋 특성, 객체 스케일, 하드웨어 제약에 크게 의존한다고 주장합니다.

• 맥락적 우위성: YOLO26 은 일반 객체 감지 (Pascal VOC) 와 결정론적 지연 시간이 필요한 엣지 배포 시나리오에 대해 우수한 성능과 모델 소형화를 제공합니다.
• NMS 없는 설계의 한계: 이 연구는 새로운 아키텍처가 보편적으로 이전 세대를 지배한다는 가정에 도전합니다. 구체적으로, NMS 없는 설계는 YOLOv8 이 여전히 경쟁력 있는 GPU 바운드 환경에서 보편적인 배포 우위를 보장하지 않습니다.
• 소형 객체 문제: 결과는 최첨단 NMS 없는 아키텍처조차 항공 이미지에서 밀집된 소형 객체 감지에 어려움을 겪음을 강조하며, 추가적인 데이터셋별 최적화 없이는 아키텍처 변경만으로는 '소형 객체' 문제를 완전히 해결할 수 없음을 시사합니다.

본 연구는 YOLO26 이 정확도와 모델 크기 제약에 특히 적합하여 YOLOv8 의 강력한 대안임을 나타내지만, 실제 세계 배포를 위한 최적의 선택은 특정 데이터 분포와 하드웨어 환경에 대한 세밀한 평가가 필요하다고 결론 내립니다.