Simple Supervision Is Hard to Beat: A Bitter Lesson from Sparse Target Labels in Domain-Adaptive Object Detection

기술 요약: 단순한 감독(Simple Supervision)은 극복하기 어렵다

문제 정의
소스 프리 도메인 적응 객체 탐지(Source-free Domain Adaptive Object Detection, SFDA-OD)는 레이블이 지정된 소스 도메인에서 학습된 탐지기를 레이블이 없는 타겟 도메인에 적응시키는 것을 목표로 하며, 이때 소스 데이터에는 접근하지 않습니다. 현재의 최첨단 SFDA-OD 방법론들은 주로 교사-학생(teacher-student) 자기 학습 프레임워크에 크게 의존하며, 여기서 교사 모델은 레이블이 없는 타겟 이미지에 대해 의사 레이블(pseudo-labels)을 생성하여 학생 모델을 감독합니다. 그러나 이 방식은 도메인 변화(domain shift)가 발생할 때, 의사 레이블이 가양성(false positives)을 포함하거나, 어려운 객체를 놓치거나(가음성, false negatives), 불안정한 최적화 신호를 제공한다는 병목 현상을 겪습니다.

능동적 도메인 적응(Active Domain Adaptation, ADA)이 주석(annotation)을 달 데 가장 정보량이 많은 샘플을 선택하는 방법을 연구한다면, 본 논문은 더 단순하고 통제된 프로토콜을 조사합니다: 무작위로 추출된 작은 규모의 레이블된 타겟 이미지 집합을 활용하는 최적의 방법은 무엇인가? 저자들은 레이블 '활용'의 문제를 레이블 '선택'의 문제로부터 분리하여, 희소한 타겟 주석이 기존의 SFDA-OD 방법론들을 단순히 직접적인 지도 학습 예시로 사용하는 것 이상의 성능 향상을 이끌어낼 수 있는지 묻고 있습니다.

방법론
본 논문은 **Random-Target Supervised Mixing (RTSM)**이라는 베이스라인 방법을 제안하며, 동일한 주석을 사용하여 비지도(unlabeled) 브랜치를 유도하도록 설계된 10가지 "희소 레이블 피드백 플러그인(sparse-label feedback plugins)"을 체계적으로 평가합니다.

1. 앵커 (RTSM):
   RTSM은 무작위로 레이블링된 타겟 서브셋을 일반적인 지도 학습 데이터처럼 취급합니다. 이는 원래의 SFDA-OD 자기 학습 브랜치(비지도 손실, 교사-학생 업데이트, 의사 레이블 생성)를 완전히 그대로 유지하면서, 이 레이블된 이미지들에 대해 표준적인 지도 학습 탐지 손실을 추가합니다. 이는 희소한 감독(sparse supervision)의 직접적인 이득을 측정하기 위한 강력하고 단순한 베이스라인 역할을 합니다.

2. 피드백 플러그인:
   저자들은 동일한 희소 레이블을 사용하여 비지도 브랜치를 개선하려고 시도하는 10가지 모듈형 플러그인을 평가합니다. 이들은 Mean Teacher 파이프라인의 세 가지 개입 지점으로 분류됩니다:

   • 의사 레이블 선택 (정밀도 지향): 교사 후보가 의사 레이블로 변환되는 방식을 조정합니다.
     • Prior-Mapped Thresholding: 희소한 정답(ground-truth) 클래스 사전 확률(prior)과 베이스라인 의사 레이블 사전 확률 사이의 불일치를 기반으로 클래스별 신뢰도 임계값을 조정합니다.
     • Precision-Calibrated Thresholding: 희소 집합에 대해 목표 정밀도를 충족하면서 올바른 후보를 최대한 유지하는 임계값을 선택합니다.
     • Reliability Score Rescaling: 베이스라인 의사 레이블이 희소 집합에서 낮은 정밀도를 보이는 클래스의 신뢰도 점수를 억제합니다.
   • 객체 보완 (재현율 지향): 베이스라인 의사 레이블 생성기가 놓친 객체를 복구하려고 시도합니다.
     • Hard Query Recovery: 희소 이미지 상에서 놓친 정답 객체에 해당하는 거절된 후보들을 식별하기 위해 이진 스코어러(binary scorer)를 학습시켜, 이들을 의사 레이블 세트에 삽입합니다.
     • Multi-View Hard Recovery: 교차 뷰 일관성(cross-view consistency) 신호를 통해 Hard Query Recovery를 강화합니다.
     • Foreground Query Revival: 위치 결정(localization)이나 클래스 오류를 전파하는 것을 피하기 위해, 복구된 후보들을 하드 의사 레이블 대신 약한 감독(weak supervision, "전경성"을 장려함)으로 사용합니다.
     • Multi-View Foreground Revival: 멀티 뷰 복구와 약한 감독 손실을 결합합니다.
   • 최적화 제어: 신뢰할 수 있는 희소 레이블과 노이즈가 섞인 의사 레이블 사이의 학습 역학을 조절합니다.
     • Sparse Loss Balancing: 두 손실의 크기에 따라 비지도 손실 대비 지도 학습 손실의 가중치를 동적으로 조정합니다.
     • Target-Anchored PCGrad: 희소 지도 학습 그래디언트와 충돌하는 성분을 제거하기 위해 의사 레이블 그래디언트를 투영합니다.
     • Label-Guided Teacher Update: 교사 모델에서 더 빠르게 업데이트되어야 하는 파라미터 그룹(더 높은 EMA 모멘텀)을 식별하기 위해 희소 감독을 사용합니다.

실험 설정
평가는 4가지 SFDA-OD 방법(PETS, LPU, LPLD, DDT), 2가지 트랜스포머 기반 탐지기(DINO, DETA), 그리고 2가지 적응 태스크(Cityscapes $\to$ Foggy Cityscapes 및 Cityscapes $\to$ BDD100K)를 대상으로 수행됩니다. 실험은 타겟 학습 세트의 1%, 5%, 10%라는 희소 레이블 예산 하에 진행됩니다.

주요 결과

1. RTSM은 매우 효과적임: 모든 설정에서 RTSM은 순수 SFDA 베이스라인을 1.7에서 18.3 AP50까지 일관되게 크게 개선했습니다. 이는 작은 규모의 무작위 타겟 레이블을 지도 학습 손실에 혼합하는 것만으로도 강력한 적응 신호가 된다는 것을 확인시켜 줍니다.
2. 피드백 플러그인은 신뢰할 수 없음: 10가지 플레그인 중 어느 것도 RTSM을 일관되게 능가하지 못했습니다.
   • 성능 향상은 방법론에 따라 다릅니다: 특정 SFDA 방법(예: PETS)을 개선하는 플러그인이 다른 방법(예: LPLD)에서는 성능을 저하시키기도 합니다.
   • 성능은 카테고리 간에 일관성이 없습니다: 특정 객체 클래스에서의 성능 향상이 다른 클래스에서의 성능 저하로 인해 상쇄되는 경우가 빈번합니다.
   • 수익 체감: 레이블 예산이 증가함에 따라(1%에서 10%로), RTSM 대비 플러그인의 한계 이득은 감소하며 종종 음수가 되기도 합니다. 높은 예산에서는 직접적인 지도 학습이 가용한 신호의 대부분을 포착하므로, 노이즈가 섞인 피드백 메커니즘이 가치를 더할 여지가 거의 남지 않습니다.
3. 보편적인 승자는 없음: 단순한 RTSM 앵커를 견고하게 개선할 수 있는 단일 플러그인 전략(선택, 보완, 또는 제어)은 존재하지 않습니다.

의의 및 주장
본 논문은 희소 레이블 SFDA-OD 분야에 대한 "쓰라린 교훈"을 전달합니다: 단순한 감독은 극복하기 어렵다.

• 필수적인 베이스라인으로서의 RTSM: 저자들은 RTSM이 향후 연구를 위한 최소한의 필수적인 앵커가 되어야 한다고 주장합니다. 희소 레이블을 사용하는 모든 제안 방법은 단순히 순수 SFDA보다 나은 것이 아니라, RTSM보다도 뛰어난 성능을 입증해야만 효과적인 레이블 활용을 증명할 수 있습니다.
• 복잡한 피드백의 한계: 희소 레이블을 사용하여 의사 레이블을 교정하거나, 놓친 객체를 복구하거나, 최적화 역학을 조절하는 작업이 파편화되고 불안정한 결과를 낳는다는 것을 이 연구는 보여줍니다. 이러한 복잡한 피드백 메커니즘의 복잡성은 일관된 성능 향상으로 이어지지 않습니다.
• 범위: 이 결과는 소스 프리 도메인 적응 하의 트랜스포머 기반 객체 탐지에 특화된 것입니다. 저자들은 이러한 패턴이 다른 탐지기 제품군이나 비전 작업에도 확장될 수 있는지 판단하기 위해 향후 연구가 필요함을 겸허히 언급합니다.

결론적으로, 본 논문은 희소 레이블 SFSA-OD를 위한 가장 효과적인 전략은 종종 가장 단순한 것, 즉 비지도 자기 학습 브랜치를 위한 복잡한 피드백 루프를 설계하려고 시도하는 대신 사용 가능한 타겟 레이블을 지도 학습 손실에 직접 포함시키는 것임을 시사합니다.