YOLO26: An Analysis of NMS-Free End to End Framework for Real-Time Object Detection

논문 요약: YOLO26 - 실시간 객체 감지를 위한 NMS 제거 엔드 - 투 - 엔드 프레임워크 분석

1. 문제 제기 (Problem Statement)

기존의 YOLO(You Only Look Once) 시리즈를 포함한 실시간 객체 감지 모델들은 추론 후 처리 단계에서 최대값 억제 (Non-Maximum Suppression, NMS) 알고리즘을 필수적으로 사용했습니다. NMS 는 중복된 바운딩 박스를 제거하는 데 유용하지만, 다음과 같은 치명적인 한계를 가지고 있습니다.

• 지연 시간 (Latency) 변동성: NMS 는 시퀀셜 (순차적) 프로세스이므로, 장면 내 객체의 밀도에 따라 처리 시간이 달라집니다. 이는 실시간 시스템, 특히 자율 주행이나 의료 모니터링과 같은 안전 필수 (Safety-critical) 애플리케이션에서 예측 불가능한 지연을 초래합니다.
• Export Gap (수출 간극): 최근 모델 (YOLOv8~v13) 이 도입한 분산 초점 손실 (Distribution Focal Loss, DFL) 은 정확도를 높이지만, Softmax 연산과 이산화된 빈 (bin) 처리를 필요로 합니다. 이는 GPU 환경에서는 효율적이지만, 정수 연산 기반의 엣지 하드웨어 (NPU, DSP, CPU) 에서는 양자화 (Quantization) 가 어렵고 주요 병목 현상이 되어 실제 추론 속도가 이론적 성능보다 크게 떨어지는 'Export Gap'을 유발합니다.

2. 방법론 및 핵심 아키텍처 (Methodology & Architecture)

YOLO26 은 NMS 와 DFL 을 완전히 제거하고, 네이티브 엔드 - 투 - 엔드 (End-to-End) 학습 전략을 채택하여 위 문제들을 해결합니다.

• NMS-Free 엔드 - 투 - 엔드 아키텍처:

  • 기존 NMS 를 제거하고, 1 대 1 라벨 할당 (One-to-One Label Assignment) 전략을 도입하여 모델이 학습 단계에서 각 객체 인스턴스에 대해 단일한 결정적인 바운딩 박스를 직접 출력하도록 설계되었습니다.
  • 이는 추론을 다단계 필터링 작업에서 입력 - 출력의 직접적인 결정적 매핑으로 변환하여, 객체 수에 관계없이 일정한 지연 시간 (Deterministic Latency) 을 보장합니다.

• DFL-Free 직접 회귀 (Direct Regression) 헤드:

  • DFL 모듈을 제거하고 직접 회귀 (Direct Regression) 전략을 사용하여 Softmax 연산의 계산 부하를 없앴습니다.
  • 대신, 분류 (Classification) 와 회귀 (Regression) 를 분리한 Decoupled Head 구조를 유지하며, 엣지 하드웨어에 최적화된 선형 매핑을 통해 높은 정밀도를 유지합니다.

• 고급 학습 동역학 (Advanced Training Dynamics):

  • MuSGD 옵티마이저: LLM(대규모 언어 모델) 훈련에서 영감을 받은 Muon 옵티마이저와 기존 SGD 를 결합한 하이브리드 옵티마이저입니다. 가중치 행렬의 직교화 (Orthogonalization) 를 통해 그래디언트 변동을 줄이고 수렴 속도를 높입니다.
  • STAL (Small-Target-Aware Label Assignment): 작은 객체 (이미지 면적의 1% 미만) 가 IoU 임계값 때문에 학습에서 누락되는 문제를 해결하기 위해, 객체 크기에 따라 동적으로 임계값을 조정하는 라벨 할당 전략을 도입했습니다.
  • ProgLoss (Progressive Loss Balancing): 학습 초기에는 분류 손실 (Semantic grounding) 에, 후기에는 회귀 손실 (Geometric refinement) 에 가중치를 두는 동적 손실 가중치 스케줄링을 적용하여 학습 안정성을 확보했습니다.

• YOLOE-26 (오픈 보카불러리):

  • 텍스트 프롬프트나 시각적 프롬프트를 통해 임의의 객체를 감지할 수 있는 오픈 보카불러리 모듈을 통합했습니다. 추론 시 추가적인 오버헤드 없이 프롬프트 기반 감지가 가능합니다.

3. 주요 기여 (Key Contributions)

1. NMS 제거 아키텍처의 정립: 비미분 가능 (Non-differentiable) 인 후처리를 제거하고 순수 엔드 - 투 - 엔드 학습을 통해 결정적 지연 시간을 달성했습니다.
2. 엣지 최적화 (Edge Optimization): DFL 제거를 통해 엣지 하드웨어에서의 'Export Gap'을 해소하고, CPU/NPU 환경에서 43% 이상의 추론 속도 향상을 달성했습니다.
3. 다중 태스크 통합: 객체 감지, 인스턴스 분할, 포즈 추정, 회전된 박스 감지 (OBB), 오픈 보카불러리 감지 등을 단일 아키텍처에서 지원하며, 모든 태스크가 NMS-Free 파이프라인을 공유합니다.
4. 성능 벤치마크: COCO val2017 및 DOTAv1 등 다양한 데이터셋에서 기존 YOLO 시리즈 (v5~v13) 와 최신 트랜스포머 기반 모델 (RT-DETR 등) 을 압도하는 파레토 프론트 (Pareto Front) 를 입증했습니다.

4. 실험 결과 (Results)

• 속도 - 정확도 트레이드오프: COCO 데이터셋에서 YOLO26 은 모든 모델 스케일 (Nano ~ Extra-Large) 에서 기존 모델들보다 우월한 성능을 보였습니다.
  • YOLO26n: T4 GPU 에서 약 1.7ms의 지연 시간과 40.9 mAP를 달성하여 엣지 배포에 최적화되었습니다.
  • YOLO26x: 57.5 mAP의 높은 정확도를 유지하면서도 실시간 성능을 유지하며, Transformer 기반의 무거운 모델들을 능가합니다.
• 다중 태스크 성능: 분할 (Segmentation), 포즈 추정 (Pose Estimation), OBB 감지 등에서도 NMS-Free 구조가 유효함을 입증했습니다. 특히 YOLO26n-seg 는 2.1ms 지연 시간에 33.9 mAP(mask) 를 기록했습니다.
• 오픈 보카불러리: YOLOE-26 은 프롬프트 기반 감지에서 높은 유연성을 보여주며, 프롬프트 없는 (Zero-shot) 모드에서도 경쟁력 있는 성능을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 YOLO26 이 실시간 객체 감지 분야에서 NMS 와 DFL 과 같은 휴리스틱 후처리를 제거하고, 하드웨어 인식 (Hardware-aware) 엔드 - 투 - 엔드 학습으로 전환함으로써 새로운 표준을 제시했음을 강조합니다.

• 안전 필수 애플리케이션: 예측 가능한 지연 시간 (Deterministic Latency) 을 제공하여 자율 주행, 로봇 공학, 의료 영상 분석 등 타이밍이 중요한 분야에서 신뢰성을 높였습니다.
• 엣지 AI 의 진화: 이론적 성능과 실제 배포 성능 간의 간극 (Export Gap) 을 해소하여, 저전력 엣지 장치에서도 고성능 AI 를 실행 가능하게 만들었습니다.
• 미래 지향성: 설명 가능성 (Explainability) 과 시공간적 인식 (Spatiotemporal Perception) 을 위한 기반을 마련하여, 차세대 엣지 AI 의 핵심 아키텍처로 자리 잡을 것으로 기대됩니다.

결론적으로 YOLO26 은 단순한 모델 개선을 넘어, 표현 학습 (Representation Learning) 과 휴리스틱 후처리를 분리하여 하드웨어 효율성과 실시간성을 극대화한 패러다임의 전환을 의미합니다.