기술 요약: 미지의 객체 탐지를 위한 전경 지향적 응답 보정 (Foreground-Oriented Response Calibration)

문제 정의

미지의 객체 탐지(Unknown Object Detection, UOD)는 알려진 범주(known categories)의 탐지 신뢰성을 유지하면서, 보지 못한 범주(unseen categories)로부터 객체를 국지화하는 것을 목표로 합니다. 기존 방식들은 오픈 월드 시나리오에서 다음과 같은 두 가지 주요 과제에 직면해 있습니다:

1. 미지의 객체에 대한 오분류: 알려진 범주에 최적화된 폐쇄 집합(closed-set) 분류기는 알려진 클래스와 의미적 또는 외형적 유사성을 공유하는 미지의 객체에 대해 높은 응답 점수를 할당하는 경우가 많습니다. 이는 미지의 객체가 알려진 범주로 잘못 흡수되는 결과를 초래합니다.
2. 배경 혼동: 현재 방법론들의 클래스 불가지론적(class-agnostic) 객체성 모델링은 일반적으로 단순한 스칼라 예측에 의존합니다. 이러한 방식은 복잡한 전경 구조를 포착하는 능력이 부족하여, 실제 미지의 객체와 복잡한 배경을 구분하기 어렵게 만들며, 결과적으로 탐지 누락이나 오탐(false positives)을 발생시킵니다.

방법론

저자들은 기존의 이중 경로(two-path) UOD 프레임워크를 기반으로 구축된 전경 지향적 응답 보정(Foreground-Oriented Response Calibration, FORC) 방식을 제안합니다. FORC는 전체 탐지 파이프라인을 변경하지 않고 후보 영역의 응답 신뢰도를 높이기 위해 두 가지 특정 모듈을 도입합니다.

1. 비대칭 알려진 응답 교정 모듈 (Asymmetric Known-response Rectification Module, AKR)

AKR은 미지의 객체가 알려진 범주에 대해 부적절하게 높은 응답을 할당받는 문제를 해결합니다.

• 메커니즘: 원래의 관심 영역(Region of Interest, RoI) 특징 위에 경량 잔차 어댑터(residual adapter)를 도입합니다.
• 비대칭 보정: 이 모듈은 적응된 로짓(adapted logits)과 기본 로짓(base logits) 사이의 차이를 계산합니다. 그 후 다음과 같은 비대칭 제약을 적용합니다:
  • 음의 변화(응답이 감소하는 경우)는 완전히 보존됩니다.
  • 양의 변화(응답이 증가하는 경우)는 유지 계수 $\alpha$(실험에서 0.2로 설정)에 의해 감쇄됩니다.
• 목표: 이 전략은 알려진 범주의 응답이 미지의 객체에 대해 부적절하게 증가하는 것을 억제하는 동시에, 알려진 범주에 대한 탐지 능력은 유지합니다. 배경 로짓과 바운딩 박스 회귀기는 원래의 결정 경계를 유지하기 위해 변경되지 않습니다.

2. 프로토타입 유도 객체성 점수 산출 모듈 (Prototype-Guided Objectness Scoring Module, PGOS)

PGOS는 단순한 스칼라 매핑을 대신하여 클래스 불가지론적 전경 특성을 보다 견고하게 모델링합니다.

• 학습 가능한 프로토타입: PGOS는 단일 스칼라 대신, 특정 알려진 범주에 얽매이지 않고 일반적인 전경 구조를 특징짓는 $N$개의 학습 가능한 전경 프로토타입 세트를 활용합니다.
• 유사도 매칭: 이 모듈은 보정된 RoI 특징과 이러한 프로토타입 간의 코사인 응답(cosine responses)을 계산합니다.
• Top-k 집계: 단일 프로토타입으로부터 발생하는 노이즈를 방지하고 안정성을 확보하기 위해, 객체성 점수는 최대 응답(maximum response)이 아닌 상위-$k$개의 가장 높은 응답의 평균(consistency aggregation)으로부터 도출됩니다.
• 점수 산출: 학습 가능한 스케일과 바이어스가 집계된 응답에 적용되며, 시그모이드(Sigmoid) 함수를 통과하여 최종 객체성 확률을 생성합니다.

주요 기여

1. FORC 프레임워크: 이중 경로 프레임워크 내에서 후보 영역 응답 신뢰도를 개선하는 새로운 UOD 방법론입니다.
2. AKR 설계: 양의 로짓 증폭을 제한함으로써 미지의 객체를 알려진 것으로 '과잉 설명'하는 현상을 방지하고, 미지의 객체에 대한 오해의 소지가 있는 알려진 범주 응답을 줄입니다.
3. PGOS 설계: 학습 가능한 전경 프로토타입과 Top-k 응답 집계를 사용하여 클래스 불가지론적 객체성 모델링을 강화함으로써, 복잡한 배경으로부터 전경 객체를 구별하기 위한 더 신뢰할 수 있는 근거를 제공합니다.

실험 결과

본 방법론은 VOC-Test(알려진 객체), COCO-OOD(순수 미지 객체), COCO-Mixed(알려진 객체와 미지 객체 혼합)의 세 가지 데이터셋에서 평가되었습니다.

• COCO-OOD 성능: FORC는 비교 대상 방법들(UnSniffer, AUD, OW-DETR 포함) 중 미지 평균 정밀도(U-AP), U-F1, U-정밀도(U-PRE) 측면에서 최고의 성능을 달 기록했습니다. 구체적으로, 재현된 AUD 베이스라인과 비교했을 때 U-AP는 47.6에서 47.9로, U-F1은 56.1에서 57.9로 향상되었습니다.
• VOC-Test 성능: 알려진 범주 탐지 성능(mAP 44.0)을 베이스라인(44.5)과 유사한 수준으로 유지하며 안정적인 성능을 보여주었습니다. 이는 미지 객체 탐지의 개선이 알려진 객체 인식의 저하를 초래하지 않았음을 입증합니다.
• COCO-Mixed 성능: 혼합 시나리오에서 FORC는 베이스라인 대비 U-AP를 12.6에서 17.2로, U-F1을 29.8에서 30.3으로 향상시켜, 임계값 재조정 없이도 강력한 일반화 능력을 보여주었습니다.
• 절제 연구(Ablation Studies): 실험 결과, PGOS가 미지 객체 발견(U-AP 및 U-Recall 향상)의 주요 동력인 반면, AKR은 알려진 범주의 안정성을 유지하고 미지의 객체가 흡수되는 것을 방지하는 데 핵심적임을 확인했습니다. 두 모듈의 결합이 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 FORC가 미지 객체 탐지의 이중 과제, 즉 분류기가 미지의 객체를 알려진 것으로 오분류하는 경향과 미지의 객체를 배경과 구별하기 어려운 문제를 효과적으로 해결한다고 주장합니다. 알려진 범주의 응답을 보정하는 AKR과 클래스 불가지론적 전경을 모델링하는 PGOS를 도입함으로써, 미지 객체의 발견을 개선하는 동시에 알려진 범주의 탐지 성능을 상대적으로 안정적으로 유지합니다.

저자들은 이 접근 방식이 의사 미지 샘플(pseudo-unknown sample) 생성이나 복잡한 아키텍처 재설계를 요구하지 않는다는 점을 강조합니다. 대신, 응답 보정과 객체성 모델링을 정교화함으로써 기존 UOD 방법론들에 보완적인 접근 방식을 제공합니다. 실험 결과는 이러한 이중 경로 보정이 자율 주행이나 보안 감시와 같이 미지 객체를 부적절하게 처리할 경우 심각한 결과를 초래할 수 있는 오픈 월드 시나리오에서 효과적임을 시사합니다.