기술 요약: Ultralytics YOLO26

1. 문제 정의

실시간 비전 분야에서 YOLO 제품군이 광범위하게 산업적으로 채택되고 있음에도 불구하고, 현재의 탐지기들은 최적의 정확도, 효율성 및 배포 유연성을 저해하는 네 가지 구체적인 한계에 직면해 있습니다:

1. NMS 의존성 및 최적화되지 않은 학습: 대부분의 CNN 기반 탐지기는 추론 시 비최대 억제(Non-Maximum Suppression, NMS)에 의존합니다. YOLOv10은 NMS가 없는 추론을 가능하게 하는 듀얼 헤드 설계를 도입했지만, 학습 전 과정에서 밀집형(one-to-many) 브랜치와 추론용(one-to-one) 브랜치에 동일한 손실 가중치를 적용합니다. 이는 타겟팅된 감독(targeted supervision)을 통해 달성할 수 있는 수준에 비해 중요한 one-to-one 브랜치가 충분히 최적화되지 못하게 만듭니다.
2. DFL 파라미터 비대화 및 범위 제한: YOLOv8부터 채택된 분포 포컬 로스(Distribution Focal Loss, DFL) 모듈은 바운딩 박스 회귀를 4개의 스칼라에서 $4K$개의 로짓(통상 $K=16$)으로 확장합니다. 이는 모델 파라미터를 팽창시키며(예: YOLO11n의 경우 파라미터 12% 증가), 고해Resolution에서의 대형 객체에 대해 제한적인 회귀 범위 $((K-1) \times \text{stride})$를 부과합니다.
3. 긴 학습 일정: 표준 SGD 기반 레시피는 경쟁력 있는 COCO 정확도에 도달하기 위해 약 600 에포크(epoch)가 필요하며, 이는 빠른 반복을 비용이 많이 들게 만듭니다. Muon 옵티마이저는 거대 언어 모델(LLM) 학습에서 효율성 향상을 보여주었으나, 객체 탐지에는 아직 적용되지 않았습니다.
4. 소형 객체를 위한 제로 할당(Zero-Assignment): 태스크 정렬 학습(Task-Aligned Learning, TAL) 라벨 할당 전략은 그라운드 트루스(ground-truth) 박스 내의 기하학적 포함 관계에 의존합니다. 매우 작은 객체의 경우, 피처 맵의 다운샘플링으로 인해 박스 내부에 유효한 앵커 중심점이 하나도 남지 않을 수 있으며, 이는 양수 할당(positive assignment)의 부재와 이 타겟들에 대한 그래디언트 신호의 완전한 결여로 이어집니다.

2. 방법론

YOLO26은 YOLO11의 토대 위에 구축된 조정된 아키텍처와 학습 파이프라인을 통해 이러한 한계들을 해결합니다.

2.1. 아키텍처: 듀얼 헤드 NMS-Free 설계

YOLO26은 엔드 투 엔드(end-to-end) 추론과 전통적인 밀집 예측을 모두 지원하기 위해 듀얼 헤드 설계를 채택합니다:

• One-to-One 헤드 (기본값): NMS 없이 고정된 크기의 예측 세트(이미지당 최대 300개)를 생성합니다. 이는 엄격한 one-to-one 라벨 할당(topk=7 적용 후 topk2=1 적용)을 사용하여 각 그라운드 트루스 인스턴스당 단일 매칭된 예측을 학습합니다.
• One-to-Many 헤드: 최대 정확도가 우선시되는 시나리오를 위해 풍부한 감독($topk=10$)을 갖춘 표준 밀집 예측을 유지합니다.
• DFL 제거: 분포 포컬 로스(DFL) 모듈을 완전히 제거했습니다. 회귀는 제약 없는 범위를 가진 직접적인 4-스칼라 출력을 통해 수행되며, 이를 통해 헤드 파라미터와 FLOPs를 크게 줄였습니다.

2.2. 학습 파이프라인

정확도와 수렴을 개선하기 위해 세 가지 상호 보완적인 기술이 공동으로 적용됩니다:

1. MuSGD 옵티마이저: Muon(LLM 학습용)과 표준 SGD-모멘텀을 결합한 하이브리드 옵티마이저입니다. Muon은 업데이트 컨디셔닝을 개선하기 위해 모멘텀 업데이트 후 경량 직교화(Newton–Schulz 반복법 사용)를 적용합니다. MuSGD는 다차원 파라미터(컨볼루션, 선형 가중치)에는 이를 적용하고, 1차원 파라미터(바이어스, 스케일)에는 순수 SGD를 사용합니다.
2. 점진적 손실(Progressive Loss): 두 브랜치 간의 최적화 비대칭을 해결하는 커리큘럼 스타일의 재가중치 전략입니다. 밀집형(one-to-many) 브랜치의 손실 가중치는 0.8에서 0.1로 선형적으로 감소하는 반면, one-to-one 브랜치의 가중치는 0.2에서 0.9로 증가합니다. 이는 학습이 진행됨에 따라 감독의 중점을 추론 시점의 헤드로 전환합니다.
3. STAL (Small-Target-Aware Label Assignment): 소형 객체에 대한 제로 양수 할당을 방지하기 위해, STAL은 후보 선택 기하학과 회귀 기하학을 분리합니다. 후보 필터링 중에, 그라운드 트루스 박스의 차원이 최소 스트라이드보다 작을 경우 그 차원을 참조 크기($s_{ref}$, 통상 다음 피라미드 스트라이드)로 클램핑(clamping)합니다. 이는 최종 회귀 및 스코어링을 위한 원래의 박스 기하학을 보존하면서 소형 타겟에 대한 앵커 커버리지를 보장합니다.

2.3. 태스크별 확장

탐지 외에도 YOLO26은 다른 태스크를 위한 특화된 설계를 도입했습니다:

• 인스턴스 세그멘테이션: 마스크 품질을 개선하기 위해 멀티 스케일 프로토타입 경로(여러 피라미드 레벨의 피처 융합)와 보조 세만틱 세그멘테이션 손실(학습 전용)을 사용하며, 추론 시의 오버헤드는 발생시키지 않습니다.
• 포즈 추정(Pose Estimation): 표준 좌표 회귀를 잔차 로그 가능도 추정(Residual Log-Likelihood Estimation, RLE)으로 대체합니다. 이는 노멀라이징 플로우(normalizing flow)를 사용하여 개별 관절의 불확실성을 모델링함으로써, 모호하거나 가려진 키포인트의 가중치를 낮춥니다.
• 회전 바운딩 박스 (OBB): 경계 불연속성을 해결하기 위해 "롱 엣지(long-edge)" 각도 정의($[-45^\circ, 135^\circ)$)를 채택합니다. 또한 각도 모호성을 처리하기 위해 정사각형 객체에 특화된 종횡비 인식 각도 손실을 도입합니다.
• 오픈 보카블러리 (YOLOE-26): 더 강력한 백본, 업그레이드된 텍스트 인코더(MobileCLIP2), 어노테이션을 정제하기 위한 의사 라벨(pseudo-label) 데이터 엔진, 그리고 디커플드 세그멘테이션 학습을 사용하여 오픈 보카블러리 시나리오로 확장합니다.

3. 주요 결과

YOLO26은 5가지 스케일(n/s/m/l/x)에 걸쳐 있으며, COCO val2017 벤치마크에서 최첨단(SOTA) 정확도-지연 시간 트레이드오프를 달 achieves 합니다.

• 탐지 성능: YOLO26은 COCO에서 40.9–57.5 mAP를 달성하며, T4 TensorRT FP16 지연 시간은 1.7 ms (n)에서 11.8 ms (x) 사이입니다. 이는 이전 YOLO 버전(YOLO11, YOLOv10 등) 및 기타 실시간 탐지기들보다 파레토 프런트(Pareto front)를 앞당깁니다.
  • YOLO11과 비교하여, YOLO26은 모든 스케일에서 COCO AP를 1.6–2.8 포인트 개선했습니다.
  • DFL을 제거하는 것만으로도 나노 모델의 파라미터를 12%, FLOPs를 20% 줄였으며, 새로운 학습 파이프라인을 통해 정확도를 회복하고 오히려 향상시켰습니다.
• 소형 객체 탐지: STAL은 소형 객체 탐지(APS)를 유의미하게 개선하여, 표준 TAL에서 놓쳤던 탐지들을 회복했습니다.
• 태스크별 이득:
  • 세그멘테이션: YOLO11 대비 최대 +3.7 mask AP 개선.
  • 포즈 추정: YOLO11 대비 최대 +7.2 pose AP 개선.
  • OBB 탐지: DOTA-v1.0에서 최대 +3.4 mAP 개선.
• 오픈 보카블러리 (YOLOE-26): YOLOE-26x 모델은 텍스트 프롬프팅 하에서 LVIS minival에서 40.6 AP에 도달하여 DetCLIP-T를 +6.2 AP 차이로 능가합니다.
• 효율성: 이 아키텍처는 이전 버전(YOLO26n vs. YOLO11n) 대비 최대 43% 빠른 CPU 추론을 달성하며, 19개의 비-PyTorch 타겟(TensorRT, ONNX, CoreML 등)으로의 익스포트를 지원합니다.

4. 의의 및 주장

본 논문은 YOLO26이 YOLO 계보의 구조적, 학습적 비효력을 직접적으로 해결함으로써 실시간 비전의 통합된 진보를 나타낸다고 주장합니다. 주요 의의는 다음과 같습니다:

1. NMS-Free 엔드 투 엔드의 생존 가능성: 듀얼 헤드 아키텍처와 점진적 손실(Progressive Loss)이 NMS 기반 방식에 필적하는 NMS-free 추론 정확도를 달성할 수 있음을 입증하여, 배포 파이프라인을 단순화했습니다.
2. 단순화를 통한 효율성: 복잡한 DFL 모듈을 제거하는 것이 성능 저하를 일으키는 것이 아니라, 오히려 제약 없는 회귀 및 개선된 학습 전략과 결방될 때 성능을 향상시킨다는 것을 증명하였으며, 결과적으로 엣지 디바이스에 적합한 더 가벼운 모델을 만들어냈습니다.
3. 최적화와 라벨링의 시너지: 고급 옵티마이저(MuSGD)를 커리큘럼 기반 손실 가중치(Progressive Loss) 및 견고한 라벨 할당(STAL)과 결합하는 것이 모델 크기를 키우지 않고도 수렴을 가속화하고 소형 객체 탐지를 개선하는 시너지 효과를 창출함을 확립했습니다.
4. 통합 멀티 태스크 프레임워크: 탐지, 세그멘테이션, 포즈, 분류 및 OBB 탐지를 지원하며 모든 태스크에서 일관된 이득을 제공하는 단일 파이프라인과 함께, 강력한 오픈 보카블러리 확장 기능을 제공합니다.

저자들은 YOLO26이 강력한 최적화 동작뿐만 아니라 이질적인 하드웨어 전반에 걸친 실용적인 추론 통합을 위해 설계되었으며, YOLO 제품군을 산업 표준으로 만든 배포 범용성을 유지하고 있음을 강조합니다.