기술 요약: 참조 기반 카테고리 발견 (RefCD)

문제 정의

기존 객체 탐지 패러다임은 감독 학습과 일반화 사이에서 이분법적인 딜레마에 직면해 있습니다. 전통적인 감독 학습 방법은 노동 집약적인 수동 주석에 크게 의존하며 사전 정의된 카테고리에 국한되어, 보지 못한 객체로 확장하는 데 한계가 있습니다. 반면, 비지도 객체 탐지 방법 (예: TokenCut, CutLER) 은 라벨 없이 전경 객체를 성공적으로 국소화하지만 카테고리 인식 능력이 부족합니다. 이들은 탐지된 모든 객체를 단일 전경 클래스로 취급하므로 분류가 불가능하거나 서로 다른 객체 유형을 구별할 수 없습니다.

한편, 원샷 (one-shot) 및 오픈 보카불러리 (open-vocabulary) 탐지 방법은 새로운 카테고리를 처리하려 시도하지만, 일반적으로 미세 조정을 위한 수동 카테고리 라벨이 필요하거나 상당한 계산 비용이 드는 대규모 사전 학습된 비전 - 언어 모델에 의존합니다. 수동 주석이나 사전 정의된 카테고리 목록 없이 완전히 비지도 방식으로 카테고리 인식 탐지(특정 객체 유형 식별) 를 수행할 수 있는 방법에 대한 간극이 여전히 존재합니다.

방법론: 참조 기반 카테고리 발견 (RefCD)

저자들은 참조 이미지를 활용하여 카테고리 인식 특징의 학습을 유도하는 비지도 탐지기인 RefCD를 제안합니다. 이 프레임워크는 명시적인 카테고리 라벨 없이 작동하며, 대신 특징 유사성을 사용하여 탐지된 객체를 참조 인스턴스와 연관시킵니다.

1. 아키텍처 개요

RefCD 는 두 가지 주요 구성 요소로 이루어집니다:

• 참조 인코더 (Reference Encoder): 타겟 이미지 패치 (의사 박스) 와 사용자가 제공한 참조 이미지 모두에서 특징 표현을 추출하는 데 사용되는 고정된 자기지도 학습 비전 트랜스포머 (ViT, 구체적으로 DINOv2).
• 탐지기 (Detector): 두 가지 작업을 동시에 수행하도록 훈련된 트랜스포머 기반 탐지기 (RT-DETR):
  • 카테고리 무관 탐지: 이진 분류 및 회귀 손실을 사용하여 모든 전경 객체를 국소화.
  • 카테고리 인식 매칭: 특징 유사성을 통해 참조 이미지와 동일한 암시적 카테고리를 공유하는 객체를 식별.

2. 특징 유사성 (FS) 손실

RefCD 의 핵심 혁신은 지상 진실 (ground-truth) 라벨이 필요한 기존 분류 손실 (예: 교차 엔트로피) 을 대체하는 특징 유사성 (FS) 손실입니다. 이 손실 함수는 다음과 같이 작동합니다:

• 할당: 카테고리 라벨에 기반하여 예측을 주석과 매칭하는 대신, RefCD 는 특징 유사성(쿼리 특징과 의사 박스 특징 간의 코사인 유사성) 과 바운딩 박스 거리를 기반으로 하는 비용 함수를 사용하여 헝가리안 알고리즘을 적용합니다.
• 손실 계산: FS 손실 ($L_{FS}$) 은 탐지기가 동일한 암시적 카테고리에 속하는 경우 예측 쿼리와 참조 이미지 간의 유사성을 최대화하고, 그렇지 않은 경우 최소화하도록 제약합니다.
  • 의사 박스가 참조 이미지와 대응되는 매칭된 쌍의 경우, 손실은 쿼리의 참조에 대한 유사성이 의사 박스의 참조에 대한 유사성과 일치하도록 유도합니다.
  • 매칭되지 않은 쌍의 경우, 손실은 높은 유사성에 대해 패널티를 부과합니다.
• 훈련 전략: 훈련 중에는 기존 비지도 방법 (예: MaskCut) 을 사용하여 타겟 이미지에서 의사 박스를 생성합니다. 무작위로 선택된 하나의 의사 박스가 해당 반복(iteration) 에 대한 "참조"로 사용됩니다. 모델은 높은 특징 유사성을 공유하는 경우 이미지 내의 다른 객체들을 이 참조와 연관시키도록 학습합니다.

3. 추론

추론 시 모델은 명시적인 분류를 수행하지 않습니다. 대신 사용자가 제공한 참조 이미지를 입력받습니다. 탐지기는 카테고리 무관 박스를 출력하며, 시스템은 쿼리 특징을 참조 이미지 특징과 매칭하여 객체를 필터링하거나 식별합니다. 높은 특징 유사성을 가진 객체는 매칭된 것으로 간주됩니다. 이를 통해 "카테고리"가 고정된 라벨 세트가 아닌 참조 이미지에 의해 동적으로 정의되는 오픈 세트 탐지가 가능해집니다.

주요 기여

1. 비지도 참조 기반 탐지: 수동 주석 없이 참조 이미지와 특징 유사성에만 의존하여 카테고리 인식 탐지가 가능한 최초의 비지도 탐지기인 RefCD 제안.
2. 특징 유사성 손실: 비지도 패러다임에서 잠재적인 카테고리별 특징 학습을 유도하는 새로운 손실 함수 도입으로, 카테고리 무관 국소화와 카테고리 인식 매칭 간의 간극을 해소.
3. 통합 프레임워크: RefCD 는 단일 프레임워크 내에서 카테고리 무관 탐지 (모든 객체 국소화) 와 카테고리 인식 탐지 (특정 인스턴스 식별) 를 모두 지원하며, 후자는 더 나은 특징 학습을 통해 전자를 향상시킴.

실험 결과

저자들은 표준 벤치마크에서 RefCD 를 평가하여 비지도 환경에서 최첨단 성능을 입증했습니다.

• 카테고리 인식 (원샷) 탐지:
  • COCO NOVEL(20 개의 새로운 카테고리) 에서 RefCD 는 15.1% AP를 달성하여, 이전 최첨단 감독 방법인 UNICL-SAM(13.2% AP) 을 능가하고 메타 R-CNN(1.5% AP) 과 같은 다른 감독 원샷 방법들을 크게 앞섰습니다.
  • GMOT-40(비디오 추적/탐지) 에서 RefCD 는 31.8% AP50과 30.2% AR을 달성하여, 비디오 프레임 전반에 걸쳐 동일한 카테고리의 객체를 구별하는 데 있어 견고함을 입증했습니다.
• 카테고리 무관 탐지:
  • COCO 20K와 val2017에서 RefCD 는 각각 13.3% AP와 12.9% AP를 달성했습니다. 이는 동일한 의사 박스 생성 파이프라인을 사용함에도 불구하고 CutLER(10.1% AP) 와 같은 주요 비지도 방법들을 능가하고 CuVLER 의 성능에 근접합니다.
• 확장:
  • 약감독 학습: COCO BASE 에서 카테고리 라벨 없이 바운딩 박스 라벨만으로 훈련했을 때, RefCD 는 COCO NOVEL 에서 24.9% AP를 달성하여 완전 감독 원샷 방법들을 능가했습니다.
  • 단일 객체 추적 (SOT): VOT 2018 데이터셋에 적용된 RefCD 는 명시적 라벨 없이 인스턴스를 추적하는 데 있어 경쟁력 있는 성능을 보여주었습니다.

중요성과 주장

이 논문은 RefCD 가 카테고리 인식 탐지를 위한 수동 주석 의존성을 성공적으로 제거했다고 주장합니다. 이는 기존 비지도 방법과 원샷 접근법 모두를 방해해 온 한계였습니다. "라벨 예측"에서 "특징을 통한 참조 매칭"으로 패러다임을 전환함으로써 RefCD 는 예시 하나만 제공하면 새로운 객체를 식별할 수 있는 오픈 세트 탐지를 가능하게 합니다.

저자들은 이 방법이 사전 정의된 카테고리 목록이나 라벨이 있는 데이터에 대한 미세 조정을 필요로 하지 않는다고 강조합니다. 실험 결과는 비지도 방식으로 특징 유사성을 학습하는 것이 카테고리 구분을 가능하게 할 뿐만 아니라, 카테고리 무관 국소화 (바운딩 박스 회귀) 의 품질을 암묵적으로 향상시킨다는 것을 시사합니다. 이 연구는 비지도 객체 발견과 참조 기반 탐지 간의 간극을 연결하는 통합 프레임워크로 자리매김하며, 주석이 없거나 실용적이지 않은 시나리오에서 객체를 탐지할 수 있는 확장 가능한 솔루션을 제시합니다.