Le-DETR: Revisiting Real-Time Detection Transformer with Efficient Encoder Design

본 논문은 ImageNet1K 와 COCO2017 데이터셋만을 사용하여 사전 학습 비용을 약 80% 절감하면서도 YOLOv12 및 DEIM-D-FINE 등 기존 최첨단 모델들을 추론 속도와 정확도 면에서 능가하는 새로운 실시간 객체 탐지 모델 Le-DETR 을 제안합니다.

핵심

1. 문제점: "너무 비싼 재료"만 쓰는 요리사들

지금까지 최고의 물체 감지 모델들 (RT-DETR 같은 것들) 은 마치 미슐랭 스타 요리사처럼 아주 훌륭했습니다. 하지만 이 요리사들에게는 치명적인 단점이 하나 있었습니다.

• 기존 방식의 문제: 이 요리사들은 요리를 시작하기 전에 **엄청난 양의 비싼 재료 (데이터)**를 미리 준비해야 했습니다. 보통 100 만 장의 사진 (ImageNet) 으로 기본기를 다진 뒤, 추가로 **400 만 장의 비밀 레시피 (미공개 데이터)**와 **오랜 시간의 연습 (지식 증류)**을 거쳐야만 최고의 맛을 냈습니다.
• 결과: 이 방식은 성능은 좋았지만, 일반인 (연구자) 이 따라 하기가 너무 어려웠습니다. "비밀 재료"를 구할 수 없으니, 새로운 요리법을 개발하거나 실험해 볼 엄두를 내지 못했던 것입니다.

2. 해결책: "Le-DETR"이라는 새로운 요리법

이 논문은 **"비싼 재료가 없어도, 훌륭한 레시피만 있다면 최고의 요리를 할 수 있다"**는 것을 증명했습니다. 바로 Le-DETR입니다.

🍳 핵심 비법 1: 효율적인 주방 (EfficientNAT 백본)

기존 모델은 무거운 재료를 나르느라 지쳤습니다. Le-DETR 은 **'EfficientNAT'**라는 새로운 주방 장비를 도입했습니다.

• 비유: 기존에는 모든 재료를 다 섞어보느라 시간이 걸렸다면, Le-DETR 은 주변의 재료만 집중해서 빠르게 섞는 기술을 썼습니다. (지역 주의력, Local Attention)
• 효과: 비싼 비밀 재료 (400 만 장의 추가 데이터) 없이도, 일반적인 재료 (100 만 장의 공개 데이터) 만으로 기존 모델보다 더 맛있는 요리를 만들어냈습니다.

🍳 핵심 비법 2: 빠른 조리대 (NAIFI 인코더)

요리사가 재료를 다듬는 과정 (인코더) 도 더 빨라졌습니다.

• 비유: 기존에는 모든 재료를 한 번에 살펴보는 데 시간이 걸렸다면, Le-DETR 은 가장 중요한 재료만 빠르게 골라내는 스마트한 손질법을 썼습니다.
• 효과: 요리가 끝나는 속도가 훨씬 빨라졌지만, 맛 (정확도) 은 떨어지지 않았습니다.

3. 성과: "최고의 맛"과 "빠른 속도"를 동시에 잡다

이 새로운 레시피로 만든 요리는 기존 유명 요리사들 (YOLO 시리즈, D-FINE 등) 과 비교해도 뒤지지 않습니다.

• 맛 (정확도): RTX 4090 이라는 최신 주방 기기에서 테스트했을 때, Le-DETR-L은 54.3 점의 높은 점수를 받았습니다. 이는 기존 최고의 모델들보다 더 높거나 비슷한 점수입니다.
• 속도 (지연 시간): 요리를 완성하는 데 걸린 시간은 5.01 초 (실제로는 밀리초 단위) 였습니다. 이는 기존 모델들보다 훨씬 빠르거나, 비슷한 속도를 유지하면서 더 높은 정확도를 냈다는 뜻입니다.
• 가성비: 가장 큰 장점은 재료를 80% 이상 아꼈다는 것입니다. 기존 모델이 500 만 장의 데이터를 썼다면, Le-DETR 은 100 만 장만 써도 같은, 혹은 더 좋은 결과를 냈습니다.

4. 요약: 왜 이것이 중요한가요?

이 논문은 **"복잡하고 비싼 준비 과정 없이도, 잘 설계된 기술만 있다면 최고의 성능을 낼 수 있다"**는 것을 보여줍니다.

• 기존: "비싼 재료 (데이터) 가 없으면 좋은 요리를 못 해."
• Le-DETR: "아니야, **요리법 (아키텍처)**만 잘 짜면, 적은 재료로도 최고의 요리를 할 수 있어."

이제 누구나 이 레시피 (코드와 가중치) 를 공개할 예정이므로, 연구자들과 개발자들이 더 쉽게 새로운 물체 감지 기술을 개발하고 실험할 수 있게 되었습니다. 마치 비밀 레시피가 공개되어 누구나 미슐랭 스타 요리를 따라 할 수 있게 된 것과 같습니다.

기술 요약

논문 요약: Le-DETR (Low-cost and Efficient DETR)

1. 문제 정의 (Problem)

• 현황: 실시간 객체 감지 (Real-time Object Detection) 는 높은 정확도와 낮은 지연 시간 (Low Latency) 을 동시에 요구합니다. 최근 DETR(Detection Transformer) 기반 모델들은 복잡한 후처리 (NMS 등) 를 제거하여 엔드 - 투 - 엔드 성능을 크게 개선했습니다.
• 한계: 기존 실시간 DETR 모델 (RT-DETR 등) 은 과도한 사전 학습 (Pre-training) 오버헤드에 의존하고 있습니다.
  • 기존 모델들은 ImageNet-1K(약 100 만 장) 외에 추가적으로 약 400 만 장의 필터링된 레이블 없는 이미지를 사용하여 백본 (Backbone) 을 사전 학습시킵니다.
  • 복잡한 지식 증류 (Knowledge Distillation) 및 긴 학습 스케줄이 필요하여, 연구 커뮤니티가 새로운 백본 아키텍처를 탐구하거나 모델을 처음부터 (from scratch) 재현하는 것을 어렵게 만듭니다.
• 핵심 질문: "고성능을 위해 이러한 막대한 사전 학습 비용이 필수적인가, 아니면 현재의 아키텍처 설계가 최적화되지 않아 발생한 결과인가?"

2. 방법론 (Methodology)

저자들은 효율적인 인코더 설계를 통해 사전 학습 비용을 대폭 줄이면서도 최상위 (SOTA) 성능을 달성하는 Le-DETR을 제안합니다.

• EfficientNAT 백본 (Backbone) 설계:

  • 기존 CNN 기반 백본 (ResNet 등) 이나 복잡한 사전 학습된 백본 대신, EfficientViT를 기반으로 한 새로운 백본인 EfficientNAT를 제안합니다.
  • EfficientNAT Block: 초기 3 단계에서는 효율적인 합성곱 (Depthwise Separable Conv, Fused Mobile Conv) 을 사용하고, 최종 4 단계에는 **Neighborhood Attention (NA)**을 통합합니다.
  • 지역 주의 (Local Attention): 전역 자기 주의 (Self-attention) 의 계산 복잡도 ($O(n^2)$) 문제를 해결하기 위해, 각 쿼리 주변의 고정된 지역 윈도우에 집중하는 Neighborhood Attention 을 도입하여 계산 효율성과 국소적 특징 보존 능력을 동시에 향상시킵니다.
  • 스케일링 전략: 모델 크기 (M, L, X) 에 따라 블록 배치 패턴을 최적화합니다.
    • 작은 모델 (L): 3 단계와 4 단계의 블록 수를 균등하게 배분 (PA 패턴).
    • 큰 모델 (X): 3 단계에 더 많은 블록을 집중 (PC 패턴) 하여 성능 극대화.

• NAIFI (Neighborhood Attention-based Improved Feature Inference) 모듈:

  • 하이브리드 인코더 (Hybrid Encoder) 에 기존 AIFI(Attention-based Improved Feature Inference) 대신 NAIFI를 도입합니다.
  • 이는 단일 레이어의 Neighborhood Attention Transformer 로, 작은 커널 크기를 사용하여 특징 표현을 최적화하고 추론 속도를 가속화합니다.

• 디코더 및 학습 전략:

  • DINO 프레임워크의 예측 헤드를 활용하여 추론 시 디코더 레이어 수를 줄일 수 있도록 설계했습니다.
  • 디코더 내 자기 주의 연산에 Flash Attention을 적용하여 속도를 높였습니다.
  • 학습 데이터: ImageNet-1K(100 만 장) 와 COCO2017 만을 사용하여 백본을 처음부터 학습시켰으며, 추가적인 400 만 장의 이미지나 복잡한 지식 증류 (KD) 를 사용하지 않았습니다.

3. 주요 기여 (Key Contributions)

1. 실시간 DETR 의 병목 현상 규명: 기존 모델들의 높은 성능이 아키텍처의 우수성보다는 막대한 사전 학습 비용 (백본의 추가 데이터 및 KD) 에 기인함을 지적하고, 이를 해결할 수 있음을 증명했습니다.
2. 저비용 고효율 백본 제안: ImageNet-1K 만으로 사전 학습이 가능하며, 사전 학습 이미지를 약 80% (약 300 만 장) 절감하면서도 SOTA 성능을 달성하는 EfficientNAT 백본을 개발했습니다.
3. 지역 주의 (Local Attention) 의 효과 입증: 실시간 감지 작업에서 자기 주의 (Self-attention) 대신 지역 주의 (Neighborhood Attention) 를 활용하면 지연 시간을 줄이면서 성능을 향상시킬 수 있음을 입증했습니다.
4. 새로운 SOTA 달성: 복잡한 사전 학습 없이도 YOLO 시리즈 및 기존 실시간 DETR 모델들을 추월하는 성능을 기록했습니다.

4. 실험 결과 (Results)

RTX 4090 GPU 환경에서 COCO Val2017 데이터셋을 기준으로 평가한 결과입니다.

• 성능 및 속도:
  • Le-DETR-M: 52.9 mAP, 4.45ms (YOLOv12-L 대비 +0.6 mAP, 유사한 속도).
  • Le-DETR-L: 54.3 mAP, 5.01ms (YOLOv12-X 대비 -0.1 mAP, 유사한 속도, YOLOv12-L 대비 +0.6 mAP).
  • Le-DETR-X: 55.1 mAP, 6.68ms (YOLOv12-X 대비 +0.1 mAP, 20% 더 빠른 속도).
• 기존 모델 대비 우위:
  • DEIM-D-FINE 대비: Le-DETR-M 은 0.2 mAP 더 높고 더 빠르며, Le-DETR-X 는 0.4 mAP 더 높고 지연 시간은 0.4ms 만 더 느립니다.
  • RT-DETRv2/v3 대비: Le-DETR-L 은 RT-DETRv2-L 대비 0.7 mAP 더 높고 9% 더 빠릅니다.
• 재현성: 추가적인 400 만 장의 이미지나 지식 증류 없이 ImageNet-1K 만으로 훈련하여, 연구 커뮤니티의 재현성과 혁신을 크게 촉진했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 실시간 객체 감지 분야에서 "막대한 사전 학습 데이터와 복잡한 증류 기술"이 필수적이라는 인식을 깨고, **잘 설계된 아키텍처 (효율적인 인코더)**만으로도 고성능이 가능함을 증명했습니다.
• 연구 접근성 향상: 비공개 데이터나 고비용 학습 파이프라인에 의존하지 않고도 SOTA 모델을 구축할 수 있게 되어, 더 많은 연구자가 Transformer 기반 실시간 감지 모델을 개발하고 개선할 수 있는 토대를 마련했습니다.
• 실용성: 낮은 지연 시간과 높은 정확도를 동시에 제공하여 실제 산업 응용 (자율 주행, 로봇 공학 등) 에 즉시 적용 가능한 모델을 제시했습니다.

이 논문은 Le-DETR을 통해 효율적인 인코더 설계와 지역 주의 메커니즘의 중요성을 부각시키며, 실시간 객체 감지 분야의 새로운 기준을 제시했습니다.