CoT-PL: Chain-of-Thought Pseudo-Labeling for Open-Vocabulary Object Detection

1. 문제 정의 (Problem Statement)

오픈 보카불러리 객체 탐지 (Open-Vocabulary Object Detection, OVD) 는 학습 시에 보지 못한 새로운 클래스 (Novel Classes) 를 이미지에서 탐지하고 위치를 파악하는 것을 목표로 합니다. 최근 연구들은 vision-language models (VLM) 을 활용하여 이미지와 텍스트의 정렬을 통해 가짜 라벨 (Pseudo-Labels) 을 생성하고 이를 학습에 활용하는 방식을 주로 사용합니다.

그러나 기존 방법론들은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

1. 노이즈가 많은 가짜 박스 (Noisy Pseudo Boxes): 단일 단계의 이미지 - 텍스트 정렬 (Single-step Alignment) 은 객체 자체의 내용보다는 주변 문맥 (Co-occurrence) 에 의존합니다. 예를 들어, 스케이트보드 위에 있는 발이 '스케이트보드'로 잘못 라벨링되는 등의 오류가 발생합니다.
2. 캡션 의존성 (Caption Dependency): 기존 방법은 이미지 캡션에 포함된 단어 집합에 제한됩니다. 캡션에 언급되지 않은 객체나 세밀하게 설명되지 않은 객체는 탐지되지 않습니다.
3. 배경 붕괴 (Background Collapse): 복잡한 장면 (가려짐, 밀집) 에서 탐지되지 않은 영역은 단순히 '배경'으로 학습되어, 실제로는 존재하지만 가려진 객체들이 배경 임베딩에 흡수되어 사라지는 문제가 발생합니다.

이러한 문제들의 근본 원인은 복잡한 시각적 상황을 단일 단계의 추론으로 압축하려 하기 때문에 발생하는 것입니다.

---

2. 방법론 (Methodology)

저자들은 CoT-PL (Chain-of-Thought Pseudo-Labeling) 을 제안합니다. 이는 오프라인에서 가짜 라벨을 생성하고, 온라인에서 탐지기를 학습하는 2 단계 프레임워크로, 시각적 연쇄 사고 (Visual Chain-of-Thought) 를 도입하여 복잡한 장면 이해를 3 단계로 분해합니다.

A. 오프라인 단계: 3 단계 CoT 가짜 라벨 생성

SAM (Segment Anything Model) 과 MLLM (Multimodal Large Language Model) 을 결합하여 다음 3 단계를 순차적으로 수행합니다.

1. Step 1: 객체 위치 확인 (Object Localization)
   • SAM 을 통해 객체 제안 (Region Proposals) 을 생성합니다.
   • MLLM 에게 "이미지에 객체가 존재하는가?"라고 질문하여 'Yes', 'No', 'Unsure'로 판단합니다.
   • 효과: 부분적인 구조나 비객체 영역을 필터링하여 추론의 신뢰성을 높입니다.
2. Step 2: 카테고리 인식 (Category Recognition)
   • 검증된 객체 영역에 대해 MLLM 에게 "이 객체는 무엇이며, 설명은 무엇인가?"라고 질문합니다.
   • 사전 정의된 단어 집합 (Vocabulary) 에 의존하지 않고, 제로샷 (Zero-shot) 추론을 통해 클래스 이름과 상세한 텍스트 설명 (Description) 을 생성합니다.
   • 효과: 캡션에 없는 객체도 발견할 수 있으며, 동음이의어나 상위/하위 개념을 CLIP 임베딩 공간에서 자연스럽게 해결합니다.
3. Step 3: 배경 그라운딩 (Background Grounding)
   • 생성된 카테고리가 '전경 (Foreground)'인지 '배경 (Background)'인지 MLLM 에게 판단하게 합니다.
   • 효과: 가려진 객체나 배경 요소 (예: 하늘, 나무) 를 명확히 구분하여 배경 붕괴 문제를 방지합니다.

• 전처리: MLLM 의 추론 정확도를 높이기 위해, 비목표 영역을 회색조 (Grayscale) 와 흐림 (Blur) 처리하여 배경 간섭을 줄이고 핵심 객체에만 집중하도록 유도합니다.
• 정제 (Refinement): 빈도수가 낮은 가짜 라벨 (노이즈) 을 제거하고, 신뢰할 수 있는 '시맨틱 앵커 (Semantic Anchors)'만 선별하여 기본 클래스와 결합합니다.

B. 온라인 단계: CoT 감독을 통한 대비 학습

생성된 가짜 라벨과 중간 추론 결과를 활용하여 탐지기를 학습합니다.

1. Region-Text Alignment (RTA): 객체의 영역 특징과 생성된 상세 텍스트 설명 (Description) 을 정렬하여 세밀한 언어적 속성을 학습합니다.
2. Contrastive Background Learning (CBL): 배경 개념 (예: '하늘', '물') 을 명시적으로 학습된 배경 임베딩으로 정의하고, 이를 전경 객체와 분리하는 대비 손실 (Contrastive Loss) 을 적용합니다. 이는 배경 붕괴를 방지하고 가려진 객체의 특징 복원을 돕습니다.
3. 효율성: 복잡한 조합 증강 (Composition Augmentation) 을 위해 기존 BARON 방법의 온라인 샘플링 대신, 오프라인에서 생성된 '시맨틱 앵커'를 캐싱하여 사용하는 방식을 도입하여 학습 속도를 1.5 배 향상시켰습니다.

---

3. 주요 기여 (Key Contributions)

1. 시각적 CoT 프레임워크 도입: OVD 의 가짜 라벨 생성 과정을 단일 매칭이 아닌, '위치 확인 - 카테고리 인식 - 배경 구분'의 3 단계 해석 가능한 추론 과정으로 재정의했습니다.
2. 세 가지 핵심 문제 해결:
   • SAM 기반의 객체 수준 마스크로 노이즈가 많은 박스 문제 해결.
   • MLLM 의 제로샷 추론으로 캡션 의존성 문제 해결.
   • 명시적인 배경 판별으로 배경 붕괴 문제 해결.
3. 효율적인 학습 파이프라인: 오프라인에서 무거운 추론을 수행하고 온라인에서는 경량화된 대비 학습을 수행하여, 높은 정확도와 빠른 학습 속도를 동시에 달성했습니다.

---

4. 실험 결과 (Results)

CoT-PL 은 OV-COCO 와 OV-LVIS 두 가지 주요 벤치마크에서 SOTA(State-of-the-Art) 성능을 기록했습니다.

• OV-COCO:
  • ResNet-50 백본 기준, Novel 클래스의 AP50 이 43.4로 기존 최상위 방법 (DeCo-DETR 등) 보다 2.1~9.4 포인트 향상되었습니다.
  • 특히 밀집 (Crowded) 및 가려진 (Occluded) 장면에서 기존 방법 대비 월등히 높은 성능을 보였습니다.
• OV-LVIS:
  • 희귀 클래스 (Rare Classes) 탐지에서 APr 26.4 (탐지) 및 APr 24.8 (세그멘테이션) 을 기록하여 기존 방법들을 능가했습니다.
• 효율성:
  • 이미지당 가짜 라벨 생성 시간은 약 0.43 초로, 기존 방법들 (PB-OVD, VL-PLM 등) 보다 빠르거나 유사한 수준을 유지하면서 더 높은 품질의 라벨을 생성했습니다.
  • 온라인 학습 시 메모리 효율성과 속도가 개선되었습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 오픈 보카불러리 객체 탐지 분야에서 단일 단계의 정렬 (Single-step Alignment) 의 한계를 극복하고, 해석 가능한 시각적 추론 (Visual CoT) 을 도입함으로써 복잡한 장면에서의 탐지 성능을 획기적으로 개선했다는 점에서 의의가 큽니다.

• 기술적 혁신: SAM 과 MLLM 을 단순히 결합하는 것을 넘어, 구조화된 추론 단계를 통해 상호 보완적으로 작동하게 하여 '할루시네이션'을 줄이고 '정확도'를 높였습니다.
• 실용성: 오프라인/온라인 분리를 통해 계산 비용을 최적화하여, 대규모 데이터셋에 대한 확장 가능한 솔루션을 제시했습니다.
• 미래 지향성: 배경 붕괴 해결과 세밀한 언어적 설명의 통합은 향후 더 복잡한 시각 - 언어 작업 (예: 비디오 객체 탐지, 로봇 조작 등) 으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, CoT-PL 은 "복잡한 시각적 상황을 단계적으로 추론하여 고품질의 가짜 라벨을 생성하고, 이를 통해 오픈 보카불러리 탐지의 성능 한계를 돌파한 새로운 패러다임" 입니다.