기술 요약: AnyDepth-DETR/-YOLO

문제 정의

현대적인 객체 탐지기는 일반적으로 단일 운영 지점을 위해 최적화된 정적 고정 깊이 네트워크입니다. 이러한 경직성으로 인해 서로 다른 배포 시나리오 (예: 다양한 자원 예산 또는 지연 시간 요구 사항) 에 대해 별도의 모델을 훈련해야 하므로 단일 네트워크가 이질적인 요구 사항을 충족하기 어렵습니다. 이미지 분류에서는 조기 종료 (early exiting) 와 너비 적응과 같은 적응형 계산 방법이 효과적이었으나, 객체 탐지로 이전될 때는 성능이 저하됩니다. 단일 전역 출력을 생성하는 분류기와 달리, 탐지기는 계층적 다중 스케일 특징에 의존하는 밀접하게 결합된 백본 - 넥 - 헤드 파이프라인에 의존합니다. 단계를 무리하게 건너뛰거나 채널을 가지치기하면 이러한 의존성이 깨져 특징의 품질과 국소화 정확도가 저하됩니다. 기존 연구는 강건한 탐지에 필요한 완전한 다중 스케일 특징 계층을 유지하면서 객체 탐지에서 깊이 제어 계산을 달성하지 못했습니다.

방법론

저자들은 추론 시 재훈련 없이 네트워크 깊이를 제어함으로써 단일 네트워크가 정확도 - 효율성 트레이드오프의 연속적인 범위를 spanning 할 수 있게 하는 AnyDepth 프레임워크를 제안합니다. 핵심 설계 원칙은 단계별 모듈성으로, 모든 단계 경계에서 더 가벼운 서브네트워크의 출력이 더 충만한 서브네트워크의 출력과 호환 가능하도록 보장하는 것입니다.

1. 아키텍처 분해

백본과 넥의 각 단계는 두 개의 경로로 나뉩니다:

• 필수 경로 (Essential Path): 항상 실행되어 주어진 스케일에서 핵심 특징 표현을 학습합니다.
• 정제 경로 (Refinement Path): 생략 가능하며, 추가 계산 자원이 있을 때 추가적인 정제를 제공합니다.

이 분해는 기존 조기 종료 방식이 전체 단계를 폐기하는 것과 달리 모든 깊이 구성에서 모든 계층적 단계를 보존합니다.

• 잔차 단계 (예: RT-DETR): 정제 경로는 순수하게 가산적 ($x_{full} = x_{ess} + \Delta$) 으로, 텐서 모양을 공유하고 아키텍처 충돌을 방지합니다.
• CSP 스타일 단계 (예: YOLO): 연결 너비가 실행된 블록 수에 의존하므로, 저자들은 스위치 가능한 집계 레이어를 도입했습니다. 정제 경로를 건너뛸 때 필수 경로에 전용 가중치 행렬을 사용하여 전체 경로 집계기와의 기울기 흐름을 완전히 분리하여 충돌하는 기울기를 방지합니다.
• 스위치 가능한 배치 정규화: 필수 경로 블록은 각 모드에 적합한 출력 분포를 조정하기 위해 두 개의 독립적인 BN 레이어 (하나는 전체 경로 실행용, 하나는 필수 전용용) 를 사용하여 단계 경계에서의 호환성을 보장합니다.

2. 훈련 전략: 자기 증류 (Self-Distillation)

모든 가능한 서브네트워크를 공동으로 최적화하면 충돌하는 기울기 신호가 발생합니다. 이를 해결하기 위해 프레임워크는 두 가지 극단만 훈련합니다:

• 슈퍼넷 (Super-net): 모든 전체 경로를 실행합니다.
• 베이스넷 (Base-net): 필수 경로만 실행합니다.

이들은 자기 증류를 통해 공동으로 훈련되며, 여기서 슈퍼넷은 베이스넷을 위한 온라인 교사 역할을 합니다. 손실 함수는 정답 감독과 증류 손실을 결합합니다:

• 예측 수준 정렬: 분류 로짓에 대한 KL 발산 및 회귀 박스에 대한 IoU/엣지 손실.
• 특징 수준 정렬: 명시적 손실로 모든 단계 경계에서 필수 경로와 전체 경로 간의 전역 평균 풀링 (GAP) 채널 기술자를 정렬하여, 어떤 경로를 선택하든 하위 단계가 호환 가능한 입력을 받도록 강제합니다.

할당 충돌 해결:
슈퍼넷과 베이스넷이 서로 다른 예측으로 인해 동일한 정답 객체에 대해 서로 다른 앵커/쿼리를 할당할 수 있다는 점이 중요한 과제입니다.

• AnyDepth-DETR 의 경우: 지식 증류 (KD) 적용 전에 베이스넷의 목표 일치 순서와 정렬되도록 슈퍼넷의 전경 쿼리를 재배열합니다.
• AnyDepth-YOLO 의 경우: 두 네트워크가 동일한 앵커를 서로 다른 GT 객체에 할당하는 충돌하는 앵커 할당을 식별하여 증류 세트에서 제외하고, KD 를 명확한 목표에만 제한합니다.

주요 기여

1. Any-Depth 프레임워크: 단일 모델이 추론 시 깊이를 동적으로 조정하여 연속적인 정확도 - 효율성 스펙트럼을 커버할 수 있게 하는 새로운 아키텍처 및 훈련 방법.
2. 단계별 모듈성: 필수/정제 경로 분해 및 특정 아키텍처 적응 (스위치 가능한 집계 및 BN) 을 통해 깊이 구성 간 특징 호환성을 보장하는 설계 원칙.
3. 충돌 해결을 통한 자기 증류: 특징 및 예측 정렬을 통해 모듈성을 강제하면서 극단적인 서브네트워크만 최적화하는 훈련 전략으로, DETR 및 YOLO 계열에 내재된 목표 할당 불일치를 특히 해결함.
4. 최첨단 실시간 탐지기에 대한 최초 적용: RT-DETR 및 YOLOv12에 프레임워크를 구현하여 이러한 복잡한 아키텍처에서도 효과적인 자기 증류가 가능함을 입증함.

실험 결과

COCO 벤치마크에서 평가:

• 전체 깊이 성능: 슈퍼넷 구성은 RT-DETR 의 경우 0.09% 미만, YOLOv12 의 경우 약 3% 의 미미한 파라미터 오버헤드로 각각의 최첨단 (SOTA) 베이스라인과 일치하거나 능가합니다.
• 효율성 향상:
  • AnyDepth-DETR (R-101): 전체 모델 대비 2.0 AP 감소 비용으로 1.82 배 속도 향상 달성.
  • AnyDepth-YOLO (L): 1.8 AP 감소로 1.57 배 속도 향상 달성.
• 일반화: 직접적인 감독 없이 필수 경로와 전체 경로를 혼합한 중간 서브네트워크도 잘 일반화되어 부드러운 트레이드오프를 제공합니다. 예를 들어, AnyDepth-DETR 에서 인코더 깊이를 줄이면 0.9 AP 감소로 6% FPS 증가를, 백본의 모든 단계를 필수 경로로 라우팅하면 2.0 AP 감소로 15% FPS 개선을 얻을 수 있습니다.
• 파레토 프론티어: 단일 AnyDepth 모델이 이전에 여러 개의 별도로 훈련된 정적 모델이 필요했던 정확도 - 효율성 범위 (예: 하나의 네트워크로 RT-DETR R-18 에서 R-101 까지 범위 커버) 를 커버합니다.

중요성 및 주장

이 논문은 AnyDepth가 동적 자원 제약 하에서 탐지기를 배포하기 위한 실용적인 해결책을 제공하며, 여러 개의 고정 크기 탐지기를 단일 모듈식 네트워크로 대체할 수 있다고 주장합니다. 모든 깊이 구성에서 완전한 다중 스케일 특징 계층을 보존함으로써, 이 방법은 탐지 작업에서 기존 적응형 추론 기술의 한계를 극복합니다.

저자들은 그들의 접근 방식이 진정한 적응형 실시간 객체 탐지를 가능하게 한다고 강조하며, 자원 예산에 따라 재훈련 없이 런타임에서 깊이 구성을 선택할 수 있음을 지적합니다. 또한 정제 경로는 탐지 범위보다는 국소화 정밀도를 주로 향상시킨다고 언급하며, 이는 설계의 모듈성을 검증합니다.

인정된 한계:

1. 자기 증류 훈련 절차는 반복당 두 번의 순방향 - 역방향 전달을 필요로 하므로, 표준 모델에 비해 훈련 시간이 두 배로 증가합니다.
2. 현재 프레임워크는 입력 난이도에 적응하는 것이 아니라 고정된 자원 예산에 기반하여 깊이를 선택합니다. 입력 적응형 선택을 위한 경량 라우팅 메커니즘 통합은 향후 과제로 식별되었습니다.