Beyond Flat Unknown Labels in Open-World Object Detection

이 논문은 미지의 물체를 단순히 '알 수 없음'으로만 분류하는 기존 오픈 월드 객체 탐지의 한계를 극복하고, 자율 주행 등 실용적 의사결정에 도움이 되는 계층적 의미 정보를 추론할 수 있는 새로운 탐지기 BOUND 를 제안합니다.

핵심

1. 문제점: "모르는 것"은 그냥 '모르는 것'일까?

기존의 물체 감지 AI(카메라로 사물을 찾는 기술) 는 마치 완벽하게 외운 교과서만 가지고 시험을 보는 학생과 같습니다.

• 기존 방식: 교과서에 '개', '고양이', '차'만 나와 있으면, AI 는 이 세 가지만 정확히 찾아냅니다. 그런데 시험장에 갑자기 '에스쿠터'나 '건설 장비'가 나타나면? AI 는 당황해서 **"이건 교과서에 없으니 그냥 '알 수 없는 것 (Unknown)'입니다"**라고만 답합니다.
• 왜 문제인가?: 자율주행차가 길을 가다가 '알 수 없는 것'을 발견했을 때, 그것이 **달리는 '동물'**인지, **움직이지 않는 '쓰레기'**인지 구분하지 못하면 큰 사고가 날 수 있습니다.
  • 동물이라면: 멈추고 기다려야 합니다.
  • 쓰레기라면: 우회해서 지나가면 됩니다.
  • 하지만 기존 AI 는 둘 다 똑같이 "모르겠어요"라고만 하니, 운전자는 어떻게 해야 할지 판단을 내릴 수 없습니다.

2. 해결책: BOUND 의 등장 (지혜로운 도서관 사서)

이 논문에서 제안한 BOUND는 단순히 "모르는 것"을 찾는 것을 넘어, 그 물체가 어떤 '큰 부류'에 속하는지 추측하는 능력을 갖췄습니다.

비유: 도서관 사서

• 기존 AI: 책 제목을 모르면 "이건 모르는 책이야"라고만 합니다.
• BOUND: 책 제목을 몰라도, 책의 두께나 표지 색깔을 보고 "아, 이건 '소설' 부류에 속하는 것 같아" 또는 **"이건 '과학' 책이야"**라고 추측합니다.
  • 자율주행차에 적용하면: "저건 '동물' 부류에 속하는 것 같으니 멈춰라", "저건 '장애물' 부류에 속하는 것 같으니 우회하라"라고 판단할 수 있게 됩니다.

3. BOUND 가 어떻게 작동할까? (세 가지 핵심 기술)

이 시스템은 세 가지 clever한 기술을 합쳐서 작동합니다.

① "경쟁하는 선수" (Sparsemax)

• 상황: 카메라 화면에는 수많은 사물들이 있습니다. AI 는 화면 속 모든 것을 다 '물체'라고 생각하면 혼란스럽습니다.
• 해결: BOUND 는 화면 속의 모든 후보들을 한 경기장에 모아서 경쟁시킵니다.
  • 진짜 물체로 보이는 것들끼리 점수를 나누어 갖습니다.
  • 배경이나 잡동사니는 아예 점수 0 을 받아 경쟁에서 탈락시킵니다.
  • 효과: AI 가 "저게 진짜 물체야!"라고 확신할 수 있는 곳에만 집중하게 되어, 모르는 물체도 놓치지 않고 찾아냅니다.

② "가계도 확인기" (Hierarchy-Aware Activation)

• 상황: 우리가 '스파로우 (참새)'를 본다고 칩시다. AI 가 '스파로우'를 못 알아도, '새 (Bird)'나 '동물 (Animal)'이라는 큰 부류는 알아야 합니다.
• 해결: BOUND 는 사물들의 **가계도 (나무 구조)**를 기억합니다.
  • '스파로우'를 찾으면 '새'를, '새'를 찾으면 '동물'을 함께 생각하도록 훈련시킵니다.
  • 만약 '스파로우'를 못 알아도, '새'라는 큰 부류는 맞출 수 있도록 도와줍니다.
  • 효과: 아주 구체적인 이름은 몰라도, "이건 동물이다"라는 큰 그림을 그릴 수 있게 됩니다.

③ "스스로 학습하는 선생님" (Hierarchy-Guided Relabeling)

• 상황: 훈련할 때 정답 (라벨) 이 없는 물체들이 많습니다.
• 해결: BOUND 는 AI 가 스스로 내린 추측을 일단 정답처럼 여기고 다시 가르칩니다.
  • "이건 '동물'일 것 같아"라고 AI 가 추측하면, 그 추측을 믿고 "좋아, 이 물체는 '동물' 부류에 속하는 거야"라고 다시 가르쳐 줍니다.
  • 효과: 정답이 없어도 AI 가 스스로 학습하며 모르는 물체들을 더 잘 찾아내고 분류하게 됩니다.

4. 실제 효과는 어떨까?

실험 결과, BOUND 는 기존 방식보다 **모르는 물체를 찾아내는 능력 (Recall)**이 훨씬 뛰어났습니다.

• 기존: "알 수 없는 것"을 찾기는 하지만, 그게 뭐인지 전혀 모릅니다.
• BOUND: "알 수 없는 것"을 찾고, **"아, 이건 아마 '차'나 '동물'일 거야"**라고 구체적인 힌트를 줍니다.
• 장점: 자율주행차나 로봇이 더 안전하고 똑똑하게 행동할 수 있게 됩니다. (예: "저건 쓰레기니까 우회해라" vs "저건 동물이라서 멈춰라")

5. 요약

이 논문은 **"아직 배운 적이 없는 사물을 만났을 때, AI 가 당황해서 '모르겠어요'라고만 하지 말고, '아, 이건 저 큰 부류에 속하는 것 같아'라고 추측할 수 있게 해주는 기술"**을 개발했습니다.

마치 유능한 안내원이 낯선 여행자에게 "이건 지도에 없지만, 아마도 '산' 쪽에 있는 것 같으니 조심하세요"라고 알려주는 것과 같습니다. 이렇게 되면 우리는 낯선 상황에서도 더 현명한 결정을 내릴 수 있게 됩니다.

기술 요약

논문 제목: Beyond Flat Unknown Labels in Open-World Object Detection (열린 세상 객체 감지를 위한 평면적 미지 라벨의 극복)

1. 문제 정의 (Problem)

기존의 객체 감지 모델은 대부분 폐쇄적 세계 가정 (Closed-World Assumption) 하에 동작합니다. 즉, 학습 데이터셋에 주석된 클래스만 인식하고, 훈련 중 보지 못한 새로운 객체 (Novel Objects) 가 등장하면 이를 감지하지 못하거나 오류를 범합니다. 이를 해결하기 위해 열린 세상 객체 감지 (Open-World Object Detection, OWOD) 연구가 진행되어 왔으나, 기존 OWOD 방법론들은 새로운 객체를 단순히 **'Unknown(미지)'**이라는 단일하고 구분되지 않는 레이블로만 처리하는 한계가 있습니다.

이러한 '평면적 (Flat)'인 접근 방식은 다음과 같은 문제를 야기합니다:

• 의미론적 세분성 (Semantic Granularity) 상실: 새로운 객체가 '동물'인지 '쓰레기'인지에 대한 정보를 제공하지 못합니다.
• 비효율적인 의사결정: 자율주행 차량의 경우, '미지 동물 (Unknown Animal)'은 정지나 감속이 필요하지만, '미지 쓰레기 (Unknown Debris)'는 우회 경로 생성이 필요하므로, 단순히 'Unknown'으로만 분류하면 상황에 맞는 적절한 행동 계획을 수립할 수 없습니다.

2. 제안 방법: BOUND (Methodology)

저자들은 새로운 객체를 단순히 'Unknown'으로 표시하는 것을 넘어, 거친 수준의 카테고리 (Coarse-grained Categories) 로 분류하는 BOUND라는 새로운 프레임워크를 제안합니다. BOUND 는 D-DETR(Deformable DETR) 아키텍처를 기반으로 하며, 다음과 같은 세 가지 핵심 구성 요소로 이루어집니다.

가. Sparsemax 기반 Objectness Head (객체성 모델링)

• 동기: 기존 시그모이드 (Sigmoid) 활성화 함수는 각 쿼리 (Query) 를 독립적으로 처리하여 배경 쿼리와 미지 객체가 동일한 음 (-) 의 타겟을 공유하게 만들어, 미지 객체가 억제 (Suppression) 되는 문제를 유발합니다.
• 해결책: Sparsemax 활성화 함수를 도입합니다.
  • 경쟁 (Competition): 모든 쿼리가 객체성 확률 자원을 경쟁하도록 하여, 확실한 객체는 높은 점수를 받고, 불확실한 미지 객체는 0 으로 강제되지 않고 유효한 확률을 유지하도록 합니다.
  • 희소성 (Sparsity): 대부분의 쿼리가 배경이므로, 관련 없는 쿼리의 확률을 정확히 0 으로 만들어 모델의 해석 가능성과 효율성을 높입니다.

나. 계층 인식 활성화 (Hierarchy-Aware Activation)

• 동기: 기존 분류 헤드는 클래스 간 계층 관계 (부모 - 자식) 를 무시합니다. 부모 클래스를 잘못 예측하면 자식 클래스까지 오류가 전파되거나, 반대로 자식만 예측하고 부모를 예측하지 않는 불일치가 발생할 수 있습니다.
• 해결책: 계층 구조를 모델에 명시적으로 인코딩합니다.
  • 자식 클래스의 활성화 값 ($y_c$) 을 부모 클래스의 활성화 값 ($y_{p(c)}$) 과 곱하는 방식을 사용합니다: $\tilde{y}_c = y_c \cdot (y_{p(c)})^{\alpha_c}$.
  • 학습 가능한 강도 파라미터 ($\alpha_c$): 각 자식 클래스마다 부모와의 연결 강도를 학습하게 하여, 계층 구조 내에서 클래스 간의 유사도나 특징 의존도를 데이터 기반으로 적응적으로 조절합니다.

다. 계층 유도 리레이블링 (Hierarchy-Guided Relabeling)

• 동기: 미지 객체에 대한 정답 (Ground Truth) 은 없으므로, 모델의 자체 예측을 보조 감독 신호로 활용합니다.
• 해결책:
  • 매칭되지 않은 쿼리 (Unmatched Queries) 에 대해서도, 분류 헤드의 비-리프 (Non-leaf, 상위 계층) 예측값이 일정 임계값을 초과하면 이를 '잠재적 미지 객체'로 리레이블합니다.
  • 이를 통해 객체성 (Objectness) 헤드가 배경이 아닌 실제 객체일 가능성이 있는 영역에 추가적인 감독 신호를 받아 학습할 수 있도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 OWOD 태스크 정의: 미지 객체를 단일 클래스로 처리하는 것을 넘어, 의미 있는 거시적 카테고리 (예: 동물, 차량, 도구 등) 로 분류하는 태스크를 도입했습니다.
2. BOUND 프레임워크 제안:
   • Sparsemax 기반의 객체성 헤드로 쿼리 간 경쟁과 희소성을 구현.
   • 계층 일관성을 강제하는 활성화 함수 도입.
   • 분류 헤드의 상위 계층 예측을 활용한 리레이블링 전략으로 객체성 학습을 보조.
3. 성능 및 일반화 입증: 기존 OWOD 벤치마크에서 미지 객체의 재현율 (Unknown Recall) 을 높이는 동시에 알려진 클래스의 mAP 를 희생하지 않으며, LVIS 와 같은 장꼬리 (Long-tail) 데이터셋에서도 강력한 일반화 능력을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 (OWOD Split 및 OW-DETR Split):
  • U-R (Unknown Recall): 기존 최상위 모델 (PROB, ALLOW-DETR 등) 보다 미지 객체 탐지율을 크게 향상시켰습니다 (예: OWOD Split Task 1 에서 20.9%).
  • mAP (Known Classes): 알려진 클래스의 탐지 성능을 유지하거나 소폭 개선하며, 미지 객체 탐지 성능을 희생하지 않는 균형을 달성했습니다.
  • HAcc (Hierarchy Accuracy): 탐지된 미지 객체가 올바른 상위 계층 (예: 'Excavator'를 'Land Vehicle'로 분류) 에 할당되는 정확도를 측정하며, 기존 방법론들이 수행하지 못했던 계층적 분류 능력을 입증했습니다 (OWOD Split 에서 최대 29.9%).
• LVIS 데이터셋 (확장성 테스트): 1,200 개 이상의 클래스를 가진 LVIS 데이터셋에서 장꼬리 분포 환경에도 불구하고 PROB 대비 안정적으로 Known 객체 및 Unknown 객체 탐지 성능을 유지했습니다.
• 정성적 분석: BOUND 는 OW-DETR 이 놓치는 미지 객체 (예: 굴착기, 주걱) 를 정확하게 탐지하고, 이를 의미 있는 카테고리 (예: 'Land Vehicle', 'Utensils') 로 분류하는 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 열린 세상 객체 감지 (OWOD) 의 패러다임을 **'알려짐 vs 알려지지 않음 (Known vs Unknown)'**이라는 이분법적 접근에서 벗어나, 의미론적으로 풍부한 계층적 분류가 가능한 단계로 발전시켰습니다.

• 실용적 가치: 자율주행, 로봇 공학 등 실제 시스템에서 미지 객체의 종류에 따라 다른 대응 전략 (예: 동물은 정지, 장애물은 우회) 을 수립할 수 있게 하여 안전성과 의사결정 능력을 획기적으로 향상시킵니다.
• 기술적 혁신: Sparsemax 와 계층적 구조를 결합하여, 기존에 불가능했던 '미지 객체의 구조화된 이해'를 가능하게 한 최초의 객체 감지 모델 중 하나로 평가됩니다.

결론적으로, BOUND 는 단순히 새로운 물체를 찾는 것을 넘어, 그 물체가 무엇의 범주에 속하는지를 추론함으로써 더 지능적이고 안전한 오픈 월드 비전 시스템의 기반을 마련했습니다.