Class Geometry as Supervision for Sample-Efficient Open-World Detection

기술 요약: 샘플 효율적인 오픈 월드 탐지를 위한 클래스 기하학적 감독 (Class Geometry as Supervision for Sample-Efficient Open-World Detection)

문제 정의
오픈 월드 객체 탐지(OWOD)는 알려진 범주를 탐지하고, 생소한 객체를 거부하며, 시간이 지남에 따라 새로운 클래스를 점진적으로 통합하는 것을 요구한다. 이는 데이터가 부족한 환경, 예를 들어 희귀 범주가 몇 개의 주석 달린 예시만을 가지고 있거나 미세한 형태적 특징에 의해 미세한 클래스들이 구분되는 생물 의학 및 과학 영상 분야에서 특히 도전적인 과제이다. 소수의 서포트 세트를 사용하여 클래스를 표현하는 기존의 프로토타입 기반 탐지기들은 일반적으로 클래스 프로토타입을 독립적인 앵커로 학습한다. 이러한 접근 방식은 클래스 간의 관계적 구조(예: 시각적 또는 의미적 유사성)를 무시하며, 이로 인해 알려지지 않은 객체가 잘못 분류되거나 새로운 클래스가 광범한 재학습 없이 효과적으로 통합되지 못하는 등 정교하게 보정되지 않은 프로토타입 공간을 초래한다.

방법론: 클래스 기하학적 감독 (Class-Geometry Supervision, CGS)
저자들은 학습된 프로토타입 또는 클래스 표현 공간이 클래스 수준의 비유사성으로부터 도출된 타겟 기하학을 보존하도록 제약하는 프레임워크인 **클래스 기하학적 감독(CGS)**을 제안한다.

• 핵심 메커니즘: CGS는 프로토타입을 희소한 레이블 데이터로부터만 학습하는 대신, **비유사성 보존 목적 함수(dissimilarity-preserving objective)**를 도입한다. 이 목적 함수는 표준 태스크 손실($L_{task}$)을 유지하면서, 학습된 클래스 표현들 사이의 쌍별 거리($\hat{G}_{ij}$)를 훈련 데이터로부터 추정된 타겟 클래스 기하학 행렬($\hat{D}_{ij}$)과 정렬한다.
• 타겟 기하학 ($D$): 타겟 비유사성 행렬은 다음과 같이 도출될 수 있다:
  • 시각적 기하학 ($D^{vis}$): 서로 다른 클래스의 크롭된 서포트 영역 간의 평균 픽셀 수준 평균 제곱 오차(MSE)를 계산하여 거친 형태적 관계를 포착한다.
  • 의미적/텍스트 기하학 ($D^{txt}$): 시각적 클래스 설명의 텍스트 임베딩 $e_i$와 $e_j$에 대해 $1 - \cos(e_i, e_j)$로 계산된다.
• 손실 함수: 기하학 손실($L_{CG}$)은 정규화된 쌍별 거리와 타겟 비유사성 행렬 사이의 제곱 차이를 최소화한다:
  $$L_{CG} = \frac{1}{|E|} \sum_{(i,j) \in E} (\hat{G}_{ij} - \hat{D}_{ij})^2$$
  전체 목적 함수는 $L = L_{task} + \lambda L_{CG}$이며, 여기서 $\lambda$는 감독 강도를 조절한다.
• 이론적 보장: 논문은 $L_{CG}$를 최소화하는 것이 학습된 프로토타입 그래프와 타겟 클래스-비유사성 그래프 사이의 평균 왜곡(distortion)을 경계 짓는다는 명제를 제공한다. 또한, 타겟 기하학이 클래스 간에 충분한 마진을 가지고 있다면, 낮은 왜곡은 이웃 순서를 보존하여 새로운 클래스가 고립된 앵커가 아닌 관계적 근접성에 기반하여 기존 공간에 삽입될 수 있도록 한다.

주요 기여

1. 정식화: CGS는 제한된 레이블 데이터 하에서 알려진 클래스 탐지, 미지의 발견, 그리고 새로운 클래스 삽입의 필요성을 해결하는 샘플 효율적인 오픈 월드 탐지 메커니즘으로 정식화되었다.
2. 목적 함수: 표준 매칭 및 탐지 손실을 보완하면서, 학습된 클래스 표현 거리를 시각적 또는 의미적 클래스-비유사성 구조와 정렬하는 새로운 비유사성 보존 프로토타입 목적 함수를 제안한다.
3. 구현: 이 목적 함수는 세 가지 뚜렷한 설정에 적용된다:
   • 프로토타입 인식: 희소 데이터 프로토타입 학습에 미치는 효과를 격리하여 분석함 (ProtoNet 스타일).
   • 생물 의학 탐지: 기생충 알(parasitic ova)을 위한 프로토타입 기반 DETR 탐지기에 통합하여, 퓨샷 탐지, 오픈 셋 탐지 및 새로운 클래스 삽입을 지원함.
   • COCO OWOD 적응: 고정된 헤드(frozen-head) 적응 및 전체 모델 미세 조정(full-model fine-tuning)을 포함한 표준 OWOD 프로토콜에서 평가함.
4. 경험적 분석: 저샷 인식(low-shot recognition), 퓨샷 탐지(few-shot detection), 그리고 미지 객체 재현율(unknown recall)에서의 성능 향상을 입증하는 종합적인 평가를 수행하였으며, 알려진 클래스의 mAP와 오픈 월드 민감도 사이의 트레이드오프를 분석하였다.

실험 결과

• 샘플 효율성: CGS는 인식 및 탐지 태스크 전반에서 성능을 개선하며, 가장 유의미한 이득은 저샷(low-shot) 환경(예: 5-shot 및 10-shot)에서 관찰되었다. 프로토타입 인식에서는 F1 점수를 개선하였고, 알(ova) 탐지에서는 FSP-DETR 베이스라인 대비 mAP를 지속적으로 높였다.
• 새로운 클래스 삽입: CGS는 새로운 클래스를 삽입할 때 상당한 이득을 제공한다. 알(ova) 데이터셋에서, 새로운 클래스 전용 mAP는 0.0629에서 0.1558로, mAR은 0.2595에서 0.3728로 증가하였다. 이는 새로운 프로토타입이 고립된 앵커로 학습되는 것이 아니라 클래스 매니폴드 내의 의미 있는 위치를 점유함을 나타낸다.
• 오픈 월드 탐지 (COCO):
  • 고정된 헤드 적응 (Frozen-Head Adaptation): 모든 태스크에서 미지 객체 재현율(U-Recall)을 크게 향상시키지만, 특히 후기 태스크에서 알려진 클래스의 mAP 손실을 초래한다.
  • 전체 미세 조정 (Full Fine-Tuning): 더 나은 작동 지점을 제공하며, 알려진 클래스의 mAP를 더 많이 보존하면서도 U-Recall을 개선한다. 이는 모델이 기하학적 이점을 유지하면서 알려진 클래스 식별력을 회복할 수 있음을 시사한다.
• 기하학 소스 절제 연구 (Ablation): 서포트 크롭의 형태학적 구조에서 유도된 시각적 기하학이 퓨샷 탐지에서 가장 신뢰할 수 있는 이득을 제공한다. 무작위 기하학은 새로운 클래스를 분리하는 데는 도움이 될 수 있으나, 퓨샷 탐지에는 일관성이 떨어지며 해석 가능한 구조가 결여되어 있다.

의의 및 주장
본 논문은 관계적 클래스 기하학이 제한된 감독 하에서 보정되고 확장 가능한 오픈 월드 탐지기를 구축하기 위한 효과적인 감독 신호라고 주장한다. 클래스 프로토타입을 시각적 또는 의미적 관계에 따라 조직함으로써, CGS는 새로운 탐지기 아키텍처나 광범한 재학습 없이도 미지 객체를 거부하고 새로운 클래스를 삽입하는 능력을 향력시킨다. 저자들은 CGS가 알려진 클래스의 mAP와 미지 객체 재현율 사이의 트레이드오프를 유발한다는 점(특히 고정된 헤드 설정에서)을 강조하면서도, 모델의 동작을 오픈 월드 민감도 쪽으로 이동시킬 수 있는 제어 가능한 메커니즘을 제공한다고 밝힌다. 이 연구는 표준적인 프로토타입 학습이 견고한 오픈 월드 결정을 위한 필요한 구조를 포착하지 못하는 미세하고 데이터가 희소한 도메인에서 클래스 관계를 활용하는 것이 매우 중요하다는 점을 시사한다.