RiO-DETR: DETR for Real-time Oriented Object Detection

이 논문은 방향성 객체 탐지 (OBB) 의 고유한 도전 과제를 해결하면서도 실시간 효율성을 유지하는 최초의 실시간 방향성 탐지 트랜스포머인 RiO-DETR 을 제안하고, DOTA-1.0, DIOR-R, FAIR-1M-2.0 등 다양한 데이터셋에서 속도 - 정확도 균형을 크게 개선했음을 입증합니다.

핵심

RiO-DETR: 회전하는 물체를 실시간으로 잡는 '초고속 카메라'

이 논문은 **"회전하는 물체 (예: 하늘에서 찍은 비행기, 배, 자동차 등) 를 얼마나 빠르고 정확하게 찾아낼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 기술은 물체를 찾아낼 때 '직사각형'으로만 감쌌습니다. 하지만 하늘에서 찍은 사진에서는 물체가 비스듬히 놓여 있는 경우가 많죠. 이때 물체를 정확히 감싸려면 '회전 각도'까지 계산해야 합니다. 문제는 이 각도를 계산하는 데 시간이 너무 오래 걸려서, 실시간 (Real-time) 으로 처리하기 어렵다는 점입니다.

이 논문에서는 RiO-DETR이라는 새로운 기술을 소개하며, **"회전하는 물체를 실시간으로 찾아내는 최초의 AI"**를 만들어냈다고 주장합니다. 이를 쉽게 설명하기 위해 세 가지 핵심 아이디어를 비유로 풀어보겠습니다.

---

1. 문제: 왜 기존 기술은 느렸을까요?

기존의 AI 는 물체의 위치 (x, y) 와 크기 (너비, 높이) 를 계산할 때, **각도 (θ)**도 똑같은 방식으로 계산했습니다. 마치 "위치, 크기, 그리고 각도"를 모두 한 번에 외워야 하는 학생처럼요.

하지만 각도는 위치나 크기와 성격이 다릅니다.

• 위치/크기: 수학적으로 깔끔하게 계산됩니다.
• 각도: 0 도와 180 도는 사실 같은 방향일 수 있고, 359 도와 1 도는 붙어 있습니다. (이걸 '주기성'이라고 합니다.)

기존 AI 는 이 복잡한 각도 규칙을 무시하고 똑같은 방식으로 계산하려다 보니, 계산이 꼬이거나 (불안정), 방향을 잘못 잡거나 (오류), 시간이 너무 오래 걸리는 (수렴 느림) 문제가 발생했습니다.

---

2. 해결책: RiO-DETR 의 세 가지 마법

RiO-DETR 은 이 문제를 해결하기 위해 세 가지 독특한 방법을 고안했습니다.

① "위치와 각도는 따로 생각하자!" (콘텐츠 기반 각도 추정)

• 비유: 집을 찾을 때, "주소 (위치)"와 "집의 분위기 (콘텐츠)"를 구분하는 것과 같습니다.
• 설명: 기존 AI 는 주소 (위치) 를 알려줄 때 각도 정보도 섞어서 주었습니다. 하지만 RiO-DETR 은 **"위치 정보는 위치만, 각도 정보는 사진의 내용 (무늬, 방향) 에서 찾아라"**라고 분리했습니다.
  • 위치는 "여기다"라고만 알려주고,
  • 각도는 "이 물체의 무늬가 왼쪽으로 기울어 있으니, 왼쪽으로 돌려라"라고 이미지 내용을 보고 스스로 판단하게 합니다.
  • 이렇게 하면 AI 가 헷갈리지 않고 훨씬 빠르게 정확한 각도를 맞출 수 있습니다.

② "원형 길을 따라 부드럽게 이동하자!" (분리된 주기적 정제)

• 비유: 시계 바늘을 돌리는 것을 생각해보세요. 11 시 59 분에서 12 시로 넘어갈 때, 시계 바늘은 12 시로 바로 돌아갑니다. 하지만 기존 AI 는 11 시 59 분에서 12 시로 가려면 시계 바늘이 12 시간 전체를 한 바퀴 돌아야 한다고 착각했습니다.
• 설명: 각도는 0 도에서 180 도까지 원형으로 돌아갑니다. 기존 방식은 이 원형 길을 직선으로 계산하려다 보니, 0 도와 180 도 사이에서 갑자기 튀는 오류가 생겼습니다.
  • RiO-DETR 은 **"가장 짧은 경로로 돌아라"**는 규칙을 만들었습니다. 179 도에서 1 도로 넘어갈 때, 180 도를 한 바퀴 도는 게 아니라 1 도만 살짝 돌면 된다는 것을 AI 에게 가르친 것입니다. 이렇게 하면 계산이 훨씬 안정적이고 빠릅니다.

③ "다양한 각도로 연습하자!" (방향성 밀집 O2O)

• 비유: 축구 선수가 공을 차는 연습을 할 때, 항상 같은 방향에서만 찬다면 실력이 느립니다. 하지만 공을 45 도, 90 도, 180 도 등 다양한 각도에서 차보게 하면 실력이 훨씬 빨리 늡니다.
• 설명: AI 가 학습할 때, 한 장의 이미지를 잘게 나누고 각 조각을 서로 다른 각도로 회전시켜 합칩니다. 이렇게 하면 AI 는 한 번의 학습으로 다양한 방향의 물체를 동시에 경험하게 됩니다.
  • 결과적으로 AI 는 회전된 물체를 보는 데 훨씬 익숙해져서, 학습 시간이 단축되고 정확도가 높아집니다.

---

3. 결과: 얼마나 빨라졌나요?

이 기술은 DOTA-1.0(항공 이미지 데이터셋) 같은 곳에서 실험되었습니다.

• 속도: 기존에 가장 빠르다고 알려진 기술 (YOLO 시리즈 등) 과 비슷하거나 더 빠른 속도를 냈습니다. (약 2.7ms~29.9ms)
• 정확도: 같은 속도에서 훨씬 더 정확하게 회전된 물체를 찾아냈습니다.
• 의의: 그동안 "정확하느라 느린 AI"와 "빠르지만 부정확한 AI" 사이에서 고민해야 했던 문제를 해결했습니다. RiO-DETR 은 "빠르면서도 정확한" 새로운 기준을 세웠습니다.

요약

RiO-DETR 은 회전하는 물체를 찾을 때, 위치와 각도를 분리해서 생각하고, 각도의 원형 규칙을 존중하며, 다양한 각도로 연습하게 함으로써, 실시간으로 회전 물체를 찾아내는 최고의 AI가 되었습니다.

이 기술은 드론, 자율주행, 감시 카메라 등 실시간으로 회전하는 물체를 감지해야 하는 모든 분야에서 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

방향성 객체 감지 (Oriented Object Detection, OOD) 는 수평 박스 (HBB) 를 임의의 회전 각도를 가진 방향성 박스 (OBB) 로 확장하여, 항공 이미지, 원격 탐사, 장면 텍스트 인식 등에서 필수적입니다. 최근 엣지 컴퓨팅의 발전으로 인해 단순한 감지 정확도뿐만 아니라 속도 - 정확도 트레이드오프 (Speed-Accuracy Trade-off) 가 핵심 과제로 대두되었습니다.

기존의 CNN 기반 실시간 방향성 감지기 (YOLO, RTMDet 변형 등) 는 견고한 베이스라인을 제공하지만, DETR(Transformer 기반) 기반의 실시간 방향성 감지기는 아직 미개척된 영역입니다. 기존 방향성 DETR 모델들은 높은 정확도를 위해 무거운 어텐션 설계와 복잡한 샘플링 모듈을 사용하여 추론 속도가 느려 실시간 적용이 어렵습니다.

저자들은 DETR 을 수평 박스에서 방향성 박스로 전환할 때 발생하는 세 가지 근본적인 병목 현상을 식별했습니다:

1. 의미론적 - 기하학적 결합 및 특징 붕괴 (Semantic-Geometric Coupling & Feature Collapse): 방향 ($\theta$) 은 단순한 기하학적 좌표가 아니라 텍스처 흐름, 주축 등 의미론적 (Semantic) 단서에 의해 결정됩니다. 이를 위치 쿼리 (Positional Query) 에 강제로 결합하면 초기 학습 시 노이즈가 발생하고, 어텐션 메커니즘이 객체의 주축에만 집중하여 측면 구조 정보를 놓치는 '특징 붕괴'가 발생합니다.
2. 각도 정제에서의 주기성 불일치 (Periodicity Mismatch): 표준 DETR 은 유클리드 공간에서의 덧셈 업데이트를 사용하지만, 각도 ($\theta$) 는 $[0, \pi)$ 주기성을 가집니다. 주기 경계 (0 과 $\pi$) 에서 수치적 거리는 멀지만 기하학적으로 인접할 수 있어, 표준 손실 함수를 사용하면 불안정한 그래디언트와 정제 실패가 발생합니다.
3. 확장된 탐색 공간으로 인한 느린 수렴 (Slow Convergence): OBB 는 추가적인 자유도 (각도) 를 도입하여 매칭 탐색 공간을 넓히며, 기존 밀집 감독 (Dense Supervision) 기법들이 각도 학습을 가속화하기에 충분한 각도 다양성을 제공하지 못해 수렴이 느립니다.

2. 제안 방법론 (Methodology)

저자들은 RiO-DETR을 제안하며, DETR 아키텍처를 실시간 방향성 감지에 맞게 근본적으로 재설계했습니다. 세 가지 핵심 기술이 포함되어 있습니다.

2.1 콘텐츠 기반 각도 추정 (Content-Driven Angle Estimation)

• 기하학적 해리 쿼리 인코딩 (Geometry-Decoupled Query Encoding): 위치 쿼리 (Positional Query) 에서 각도 ($\theta$) 정보를 완전히 분리합니다. 위치 쿼리는 $(c_x, c_y, w, h)$ 만을 인코딩하여 회전 불변성을 유지하고, 각도 정보는 학습 가능한 콘텐츠 쿼리 (Content Query) 를 통해 이미지 특징 (텍스처, 객체 방향 등) 에서 추론하도록 유도합니다. 이는 초기 학습 단계의 불안정한 각도 추정이 위치 추정 성능을 해치는 것을 방지합니다.
• 회전 보정 직교 어텐션 (Rotation-Rectified Orthogonal Attention): 객체의 주축 (Major Axis) 에만 정렬된 어텐션 헤드의 특징 붕괴를 해결하기 위해, 멀티헤드 어텐션 헤드를 두 그룹으로 나눕니다.
  • 첫 번째 그룹: 예측된 각도 $\theta$에 맞춰 샘플링.
  • 두 번째 그룹: $\theta + \pi/2$ (직교 방향) 에 맞춰 샘플링.
  • 이를 통해 객체의 길이와 너비 방향의 특징을 모두 포착하여 각도 추정의 강건성을 높입니다. 추가 파라미터나 연산 비용 없이 구현됩니다.

2.2 해리된 주기 정제 (Decoupled Periodic Refinement)

• 유계 coarse-to-fine 주기 업데이트: 표준 유클리드 업데이트 대신, 각도 업데이트에 $\tanh$ 함수와 계층별 감쇠 인자 ($\alpha_i$) 를 적용하여 업데이트 크기를 제한합니다. 초기 레이어에서는 큰 보정을, 후기 레이어에서는 미세 조정을 수행하여 주기 경계에서의 불안정성을 해결합니다.
• 최단 경로 주기 L1 손실 (Shortest-Path Periodic L1 Loss): 각도 회귀 시 유클리드 거리 대신 원주상에서 최단 경로 (Shortest Path) 를 계산하는 손실 함수를 사용합니다. 이는 주기 경계 (예: $0 \leftrightarrow \pi$) 에서 그래디언트가 긴 호를 따라 흐르는 것을 방지하고, 안정적인 정제를 가능하게 합니다.

2.3 방향성 밀집 O2O (Oriented Dense O2O)

• 기존 Dense O2O 기법을 확장하여, 하나의 합성 이미지 (4 개의 복제된 이미지 격자) 를 구성할 때 각 사분면마다 독립적인 무작위 회전 ($0^\circ, 90^\circ, 180^\circ, 270^\circ$) 을 적용합니다.
• 이는 추가적인 계산 비용 없이 단일 이미지 내에서 각도 다양성을 인위적으로 풍부하게 만들어, 모델이 다양한 방향의 객체에 대해 더 빠르게 수렴하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 실시간 방향성 DETR: DETR 기반 실시간 방향성 객체 감지기의 선구자로서, CNN 기반 모델과 경쟁 가능한 속도와 정확도를 달성했습니다.
2. 작업 고유 (Task-Native) 설계: 단순히 각도 분기를 추가하거나 연산량을 늘리는 것이 아니라, DETR 의 핵심 구성 요소 (쿼리 인코딩, 어텐션, 정제 메커니즘) 를 방향성 감지의 기하학적 특성에 맞게 재설계했습니다.
3. 효율성 극대화: 파라미터 수, FLOPs, 추론 지연 시간을 기존 모델과 유사하게 유지하면서 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

주요 벤치마크 (DOTA-1.0, DIOR-R, FAIR-1M-2.0) 에서 SOTA(CNN 기반 및 DETR 기반) 모델들과 비교되었습니다.

• DOTA-1.0 (단일 스케일):
  • RiO-DETR-n: 78.4 AP50 달성, 지연 시간 2.7ms (TensorRT FP16, NVIDIA T4). YOLO26n-obb(77.7 AP50, 2.8ms) 보다 정확도가 높고 속도는 비슷합니다.
  • RiO-DETR-x: 81.8 AP50 달성, 지연 시간 29.9ms. 기존 SOTA DETR 모델들 (RHINO-DETR 등) 이 200ms 이상의 지연 시간을 보이는 것과 대조적으로, 실시간 성능을 유지하며 정확도도 상회합니다.
• DIOR-R 및 FAIR-1M-2.0: 다양한 스케일에서 일관된 성능 개선을 보였으며, 특히 대규모 원격 탐사 데이터셋인 FAIR-1M-2.0 에서 47.4 AP50 을 기록하여 SOTA 를 경신했습니다.
• 효율성: YOLO26 시리즈와 유사한 지연 시간 수준을 유지하며, 기존 효율성을 주장하는 CNN 기반 모델들 (200~360ms) 보다 훨씬 빠른 실시간 추론을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

RiO-DETR 은 엔드 - 투 - 엔드 (End-to-End) Transformer 기반의 방향성 객체 감지가 실시간 응용 분야에서 충분히 효율적일 수 있음을 증명했습니다.

기존의 DETR 기반 방향성 감지 모델들이 정확도만을 추구하며 실시간성을 포기했던 점을 반전시켜, 속도와 정확도의 새로운 균형점 (Trade-off) 을 제시했습니다. 특히, 방향성 감지의 고유한 기하학적 문제 (주기성, 의미론적 의존성) 를 해결하기 위한 구조적 혁신은 향후 실시간 방향성 감지 및 원격 탐사 분야의 연구에 강력한 기반을 제공할 것으로 기대됩니다.