💻 computer science

Towards Sparsely Annotated Open-World Object Detection

이 논문은 희소한 지도 학습과 미학습 범주의 공존 문제를 다루는 새로운 과제인 희소하게 주석이 달린 오픈 월드 객체 탐지(Sparsely Annotated Open-World Object Detection, SA-OWOD)를 소개하며, 모호한 지도 신호를 효과적으로 해결하고 알려진 객체와 알려지지 않은 객체 모두의 탐지를 개선하기 위한 이중 관점 객체 발견(Dual-Perspective Object Discovery, DPOD) 프레임워크를 제안한다.

원저자: HeeJu Han, AJeong Kim, Jinsun Park

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: HeeJu Han, AJeong Kim, Jinsun Park

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 숲속의 동물들을 인식하는 법을 가르치고 있다고 상상해 보세요. 완벽한 교실이라면, 당신은 로봇에게 개, 고양이, 새의 사진을 보여주고 그들이 정확히 어디에 있는지 동그라미를 쳐줄 것입니다. 로봇은 모든 것에 라벨이 붙어 있기 때문에 쉽게 배웁니다. 하지만 현실 세계는 엉망진창입니다. 때때로 당신은 서두르느라 사진 속의 개를 동그라미 치는 것을 잊어버릴 수도 있습니다(이것을 **희소 주석(sparse annotation)**이라고 합니다). 또 다른 경우에는, 로봇이 오리너구리처럼 이전에 본 적 없는 생명체를 보게 될 수도 있고, 심지어 당신조차 그것을 뭐라고 불러야 할지 모를 수도 있습니다(이것이 오픈 월드(open-world) 문제입니다).

오랫동안 과학자들은 이 두 가지 문제를 별개로 해결하려고 노력했습니다. 한 그룹은 사진 속의 모든 것이 이미 알고 있는 동물이라고 가정하고, 누락된 개의 위치를 추측하도록 로봇을 가르쳤습니다. 다른 그룹은 로봇이 이미 알고 있는 것에 대해서는 완벽한 라벨을 가지고 있다고 가정하면서, 새로운 미지의 생명체를 찾아내도록 가르쳤습니다. 문제는 현실 세계가 이 두 가지가 뒤섞여 있다는 점입니다: 당신은 라벨이 누락된 알려진 개와 숨겨진 오리너구리가 한 사진에 동시에 존재할 수 있습니다. 만약 로봇이 이 혼란을 처리하도록 배우지 못한다면, 로봇은 라벨이 없는 개를 새로운 미스터리 생물로 착각하거나, 오리너구리를 완전히 무시해 버릴 수도 있습니다. 이 논문은 바로 그 구체적이고 혼란스러운 중간 지점을 다룹니다.

연구자 한희주, 김아정, 박진선은 **희소 주석 오픈 월드 객체 탐지(Sparsely Annotated Open-World Object Detection, SA-OWOD)**라고 부르는 새로운 과제를 도입했습니다. 이것을 탐정이 흐릿한 사진 속에서 몇몇 단서가 빠져 있고 배경에 정체를 알 수 없는 기이한 형체들이 있는 상황을 해결하는 탐정 게임이라고 생각해 보세요. 목표는 어떤 흐릿한 지점이 사실은 사진가가 놓친 실제 알려진 동물인지, 아니면 정말로 새롭고 미지의 생물인지를 구별해 내는 것입니다.

이를 해결하기 위해 그들은 DPOD(Dual-Perspective Object Discovery)라고 불리는 새로운 시스템을 구축했습니다. DPOD를 두 개의 특수 도구가 함께 작동하는 탐정이라고 상상해 보세요. 첫 번째 도구는 **알려진 대상 회복 모듈(Known Target Recovery-KTRM)**입니다. 이 도구는 "다시 보기" 전문가 역할을 합니다. 이 도구는 사진을 다시 스캔하며, 설령 원래 사진에 라벨이 없더라도 로봇이 이미 알고 있는 동물(예: 개)과 닮은 것을 찾습니다. 그리고는 "이 형태는 우리가 전에 봤던 개와 똑같으니, 이를 무시하지 말고 라벨을 붙여주자"라고 말합니다. 이는 로봇이 누락된 개를 배경 소음으로 취급하는 것을 방지합니다.

두 번째 도구는 **이중 불일치 대상 생성기(Dual-Disagreement Target Generator-DDTG)**입니다. 이 도구는 조금 더 회의적입니다. 이 도구는 마치 우리의 두 눈이 세상을 보는 것처럼, 사진을 약간 다른 두 가지 각도(또는 "뷰")에서 바라봅니다. 만약 로봇이 개에 대해 확신한다면, 두 각도 모두에서 그 개의 정체에 대해 동의할 것입니다. 하지만 만약 로봇이 이상하고 알 수 없는 생물을 본다면, 한쪽 각도에서는 "저게 새인가? 아니면 다람쥐인가?"라고 혼란스러워할 수 있고, 다른 쪽 각도에서는 "아니, 아마 고양이겠지?"라고 말할 수 있습니다. DDTG는 이러한 혼란의 순간을 포착합니다. 이 도구는 "만약 로봇이 이 물체가 무엇인지에 대해 스스로 논쟁하고 있다면, 그것은 아마도 새롭고 미지의 것일 거야!"라고 말합니다. 이는 로봇이 누락된 라벨에 속지 않고 미스터리한 생물들을 찾을 수 있도록 도와줍니다.

연구자들이 이 시스템을 테스트했을 때, 특히 라벨이 매우 희소할 때 이전 방법들보다 훨씬 더 잘 작동한다는 것을 발견했습니다. 실험에서 그들은 훈련 이미지에서 약 절반의 라벨을 제거한 "어려운" 시나리오를 만들었습니다. 이 어려운 설정에서도, 그들의 방식은 미지의 객체를 51.85% 찾아낼 수 있었는데(U-Recall이라는 지표), 이는 동일한 조건에서 33% 이상을 찾는 데 어려움을 겪었던 다른 상위 방법들과 비교했을 때 상당한 도약입니다. 또한 그들은 자신들의 시스템이 혼란을 겪지 않는다는 것을 보여주었습니다. 즉, 알려진 동물(개나 고양이 등)을 찾아내는 능력을 유지하며 54.09라는 높은 점수를 기록했습니다.

이 논문은 알려진 항목을 회복하는 것과 혼란스러운 미지의 항목을 포착하는 이 두 가지 도구를 함께 사용함으로써, 로봇이 마침내 라벨이 누락되고 새로운 것들이 동시에 나타나는 복잡한 현실 세계의 상황을 다룰 수 있다고 제안합니다. 이 시스템은 큰 진전이지만, 저자들은 무엇이 "혼란스러운지" 또는 "누락되었는지"를 결정하는 데 여전히 고정된 규칙에 의존하고 있으며, 향후 다양한 유형의 객체에 맞춰 이를 조정해야 할 수도 있다고 언급했습니다. 하지만 현재로서는 DPOD가 로봇에게 알려진 사실과 열린 마음의 호기심을 결합하여 인간처럼 세상을 보는 법을 가르치는 유망한 방법을 제시하고 있습니다.

기술 요약: 희소하게 주석이 달린 오픈 월드 객체 탐지를 향하여 (Towards Sparsely Annotated Open-World Object Detection)

1. 문제 정의: 희소하게 주석이 달린 오픈 월드 객체 탐지 (SA-OWOD)

실제 환경의 객체 탐지는 두 가지 동시적인 과제에 직면해 있습니다: 불완전한 감독(주석 비용으로 인해 많은 객체 인스턴스가 라벨링되지 않음)과 오픈 월드 조건(보이지 않은 카테고리가 등장함)입니다. SAOD(Sparsely Annotated Object Detection)와 OWOD(Open-World Object Detection)는 각각 독립적으로 연구되어 왔으나, 이러한 조건들이 공존할 때는 실패합니다.

SAOD의 한계: 기존 SAOD 방법들은 폐쇄형 월드(closed-world) 설정을 가정합니다. 이들은 라벨링되지 않은 영역을 알려진 클래스의 누락된 주석으로 취급하며, 이는 실제로 미지의 객체인 것을 의도치 않게 배경으로 억제하거나 오분류하게 만듭니다.
OWOD의 한계: 기존 OWOD 방법들은 밀집되고 완전히 주석이 달린 훈련 데이터를 가정합니다. 희소한 주석 환경에서는, 라벨링되지 않은 알려진 객체가 미지의 객체 또는 배경으로 취급되어, 알려진 클래스와 미지의 클래스 사이의 결정 경계를 모호하게 만들고 두 클래스 모두에 대한 탐지 정확도를 저하시킵니다.

저자들은 SA-OWOD라는 새로운 태스크 형식을 도입합니다. 여기서 이미지 내의 라벨링되지 않은 영역은 라벨링되지 않은 알려진 객체(누락된 주석)이거나 진정한 미지의 객체일 수 있습니다. 핵심 과제는 명시적인 감독 없이 이 두 가지 구별 불가능한 라벨링되지 않은 영역을 구분하는 것입니다.

2. 방법론: 이중 관점 객체 발견 (Dual-Perspective Object Discovery, DPOD)

라벨링되지 않은 영역의 모호성을 해결하기 위해, 본 논문은 두 개의 상호 보완적인 모듈인 **KTRM(Known Target Recovery Module)**과 **DDTG(Dual-Disagreement Target Generator)**로 구성된 통합 프레임워크인 DPOD를 제안합니다.

A. 알려진 타겟 복구 모듈 (KTRM)
KTRM은 라벨링되지 않은 알려진 객체에 대한 감독을 복구하고, 알려진 카테고리와 미지의 카테고리 간의 특징 분리를 강제하는 것을 목표로 합니다.

의사 라벨 복구 (Pseudo-Label Recovery): Co-Student에서 영감을 받은 KTRM은 여러 증강된 뷰(augmented views)를 사용하는 교사-학생(teacher-student) 프레임워크를 사용하여 라벨링되지 않은 알려진 객체에 대한 신뢰할 수 있는 의사 라벨을 생성합니다. 이러한 의사 라벨은 누락된 주석을 보완하기 위해 희소한 그라운드 트루스(ground truth)와 결합됩니다.
특징 분리 (Feature Separation): 라벨링되지 않은 알려진 객체가 임베딩 공간에서 미지의 인스턴스와 겹치는 것을 방지하기 위해, KTRM은 Facility-Location 조건부 이득 목적 함수를 채택합니다. 이 손실 함수는 알려진 프로포절(labeled 및 pseudo-labeled 모두 포함)이 특징 공간에서 가장 가까운 미지의 대응물로부터 멀어지도록 유도하여 결정 경계를 안정화합니다.

B. 이중 불일치 타겟 생성기 (DDTG)
DDTG는 서로 다른 뷰 간의 의미적 불안정성(semantic instability)을 활용하여 신뢰할 수 있는 미지 후보를 식별합니다.

교차 뷰 불일치 (Cross-View Disagreement): 이 모듈은 동일한 이미지의 두 가지 뷰를 생성하고, 기하학적 정렬을 보장하기 위해 참조 뷰(reference view)의 객체 프로포절을 타겟 뷰로 투영합니다. 그 후 두 뷰의 분류 로짓(classification logit) 벡터 간 코사인 유사도를 계산합니다.
후보 선택 (Candidate Selection): 객체성(objectness) 점수는 높지만 뷰 간의 의미적 유사도가 낮은(높은 불일치를 보이는) 프로포절이 미지 후보로 선택됩니다. 이는 미지의 객체가 종종 모호한 결정 경계 근처에 위치하여 뷰 변화에 따라 예측이 불안정해진다는 관찰에 기반합니다.
손실 함수: DDTG는 이러한 불일치 후보들에 분류 손실을 적용하고, 이들을 알려진 특징으로부터 밀어내는 분리 손실을 적용하여 새로운 클래스의 발견을 강화합니다.

전체 목적 함수: 전체 손실은 KTRM과 DDTG 손실을 결합하여, 알려진 객체의 복구와 미지의 객체 발견 사이의 균형을 맞춥니다.

3. 주요 기여

태스크 정식화: 저자들은 희소한 주석과 오픈 월드 시나리오의 공존을 명시적으로 다루는 SA-OWOD 태스크를 최초로 정식화했습니다.
새로운 프레임워크 (DPOD): 다음을 통해 모호성을 해결하는 이중 관점 프레임워크를 제안합니다:
- 의사 라벨링을 통한 누락된 알려진 주석 복구 (KTRM).
- 교차 뷰 의미적 불일치를 통한 미지 객체 식별 (DDTG).
- 결정 경계를 안정화하기 위한 특징 수준의 분리 강제.
벤치마크 및 평가: Pascal VOC 및 MS-COCO를 기반으로 희소하게 주석이 달린 오픈 월드 벤치마크를 구축하였으며, 알려진 객체 복구와 미지의 객체 발견을 모두 평가하기 위한 특정 프로토콜(Easy, Hard, Coco50missp, Keep1, Extreme)을 정의했습니다.

4. 실험 결과

Faster R-CNN 백본을 사용하여 제안된 벤치마크에서 실험을 수행했습니다. 동일한 희소 주석 프로토콜 하에서 재학습된 최신 OWOD 방법들(RandBox, PROB, OrthogonalDet, CROWD)과 비교되었습니다.

성능: DPOD는 모든 희소도 수준(Easy부터 Extreme까지)에서 기존 방법들을 일관되게 능가했습니다.
- Hard 설정에서, DPOD는 Task 2 기준으로 CROWD(51.85 vs 33.35)보다 18.50 퍼센트 포인트, OrthogonalDet(51.85 vs 22.21)보다 29.64 퍼센트 포인트 높은 미지 재현율(U-Recall)을 보였습니다.
- Extreme 설정에서, Task 2 기준 OrthogonalDet 대비 U-Recall 격차는 23.05 퍼센트 포인트(45.56 vs 22.51)였습니다.
강건성: 다른 방법들이 주석 희소도가 증가함에 따라 U-Recall이 크게 저하된 반면, DPOD는 높은 성능을 유지했습니다. 예를 들어, Extreme 설정에서 DPOD의 완전 주석 설정 대비 U-Recall 저하율은 **17.31%**였으나, OrthogonalDet은 43.84% 급락했습니다.
절제 연구 (Ablation Studies):
- KTRM과 DDTG 모두 긍정적으로 기여합니다. KTRM은 주로 알려진 탐지(K-mAP)를 안정화하고, DDTG는 미지 발견(U-Recall)을 향상시킵니다.
- 두 모듈의 결합이 최상의 결과를 낳았으며, 이는 그들의 상호 보완적 성격을 확인시켜 줍니다.
- 민감도 분석 결과, 적절한 객체성 임계값과 충분히 다양한 의미적 불일치 신호가 성능에 결정적임을 보여주었습니다.

5. 의의 및 한계

의의:
본 논문은 SA-OWOD가 이론적인 오픈 월드 탐지와 실제 환경의 주석 제약 사이의 간극을 메우는, 모호한 감독 하에서의 탐지를 위한 실용적인 벤치마크를 제공한다고 주장합니다. 누락된 알려진 주석과 미지의 카테고리 사이의 상호작용을 명시적으로 모델링함으로써, DPOD는 알려진 객체가 미지로 오분류되거나 그 반대의 경우가 발생하는 것을 방지하여 더 강력한 오픈 월드 탐지를 가능하게 합니다.

한계:
저자들은 현재 DPOD가 객체성( $\tau_o$ )과 유사도( $\tau_s$ )에 대한 고정된 임계값에 의존하고 있음을 인정합니다. 오픈 월드 시나리오에서는 객체의 특성이 작업마다 크게 다릅니다 (예: 넥타이와 같은 액세서리는 종종 낮은 객체성 점수를 가짐). 저자들은 이러한 노이즈가 있는 조건에서 고정된 임계값을 강제하는 것은 최선이 아니며 점진적 학습의 병목 현상을 만들 수 있다고 언급하며, 작업 적응형 임계값(task-adaptive thresholds)이 향후 연구를 위한 유망한 방향임을 시사했습니다.