기술 요약: 객체 탐지 어노테이션을 위한 파운데이션 모델 기반 능동 학습

문제 정의

원격 탐사 객체 탐지는 대규모의 고품질 주석 데이터에 크게 의존하지만, 조밀한 작은 객체, 큰 규모 변화, 복잡한 촬영 조건으로 인해 자연 이미지보다 주석 작업에 훨씬 더 많은 시간과 비용이 소요됩니다. 능동 학습(Active Learning, AL)은 정보가 풍부한 샘플을 우선순위에 두어 주석 비용을 줄이는 것을 목표로 하지만, 기존 방법론들은 원격 탐사 시나리오에서 세 가지 핵심적인 과제에 직면해 있습니다:

1. 결합된 불확실성(Coupled Uncertainty): 기존 방법들은 주로 탐지기 예측 신뢰도에만 의존하며, 분류 불확실성과 위치 불확실성을 명확히 구분하지 못합니다. 이는 특히 콜드 스타트(cold-start) 단계에서 문제가 됩니다. 이 단계에서는 사전 학습 덕분에 탐지기의 분류 능력은 빠르게 향상될 수 있지만, 위치 추정(localization)은 여전히 노이로제틱하고 불안정하기 때문입니다.
2. 의사 다양성(Pseudo-Diversity): 높은 재현율(high-recall)을 가진 후보 생성 방식은 중복되거나 파편화된 제안(proposals)을 초래할 수 있습니다. 이러한 후보들을 기반으로 한 다양성 샘플링은 실제 다양한 객체의 외형을 커버하기보다는, 중복되거나 과도하게 파편화된 인스턴스에 주석 예산을 낭비하는 "의사 다양성" 문제를 야기합니다.
3. 높은 상호작용 비용(High Interaction Costs): 주석 초기 단계에서는 분류 예측이 신뢰할 만하더라도, 탐지기가 예측한 바운딩 박스의 큰 위치 오류를 수정하기 위해 작업자가 빈번하게 개입해야 합니다. 이러한 수동 정밀화 부담은 능동 학습의 효율성 이점을 상쇄시킵니다.

방법론

저자들은 파운데이션 모델 협업 능동 학습 및 반자동 주석 프레임워크를 제안합니다. 핵심 혁신은 비전 파운데이션 모델 파이프라인과 표준 객체 탐지기를 통합하는 **이중 소스 메커니즘(Dual-Source Mechanism)**입니다.

1. 이중 소스 메커니즘

• SA-Source (참조 위치 소스): **UPN (Universal Proposal Network)**을 사용하여 카테고리 불가지론적(category-agnostic)이고 재현율이 높은 제안 박스를 생성한 후, **SAM2 (Segment Anything Model 2)**를 통해 이 제안들을 정밀한 마스크와 바운딩 박스로 정제하는 오프라인 일회성 사전 계산 파이프라인입니다. 이 소스는 탐지기의 현재 상태와 독립적인 안정적인 기하학적 사전 정보(geometric priors)를 제공합니다.
• OD-Source (탐지기 예측 소스): 현재 라운드의 탐지기 출력값으로, 카테고리 예측, 신뢰도 점수 및 학습 가능한 의미론적 정보를 제공합니다.

2. 주요 구성 요소

• 파운데이션 강화 이중 소스 불확실성 (FDSU):
  • 탐지기 신뢰도에만 의존하는 대신, 헝가리안 매칭(Hungarian matching)을 사용하여 SA-소스와 OD-소스 간의 바운딩 박스를 매칭합니다.
  • 위치 일치도(매칭된 박스 간 IoU)와 분류 신뢰도를 공동으로 모델링합니다.
  • 객체 수준의 불확실성 점수는 이 두 요소의 조화 평균을 사용하여 계산되며, "단점 보완 효과(short-board effect)"(낮은 일치도 또는 낮은 신뢰도가 불확실성을 높임)를 강조합니다. 이는 콜드 스타트 단계에서 샘플 선택의 안정성을 향상시킵니다.
• 객체 중심 다양성 샘플링 (OCDS):
  • 의사 다양성 문제를 해결하기 위해, SAM2 마스크에 의해 가이드되는 DINOv2 특징을 사용하여 객체 수준의 표현을 구축합니다.
  • DINOv2 특징 공간 내에서 클래스 프로토타입으로부터의 거리 기반으로 참신도(novelity) 점수를 계산합니다.
  • 다양성 점수에 **파편화 억제 항(Fragmentation Suppression Term)**을 명시적으로 추가하여, 과도하게 파편화된 인스턴스(작은 영역의 파편, 공간적 중첩 또는 의미적 중복)를 포함하는 이미지를 배제함으로써 주석 예산이 진정으로 다양한 장면에 쓰이도록 보장합니다.
• 이중 소스 박스 스위칭 (DSBS):
  • 콜드 스타트 단계의 반자동 주석 인터페이스를 위해 설계되었습니다.
  • 노이즈가 있는 탐지기 예측 박스를 SA-소스의 더 안정적이고 정제된 박스로 교체합니다(단, 탐지기의 카테고리 레이블은 유지).
  • 이 "기하학은 SA에서, 카테고리는 OD에서" 가져오는 접근 방식은 바운딩 박스 좌표를 수정하는 데 필요한 수동 노력을 크게 줄여 주석 루프를 가속화합니다.

3. 능동 학습 루프

프레임워크는 다음과 같은 라운드로 작동합니다:

1. 오프라인 사전 계산: SA-소스(UPN+SAM2)를 모든 이미지에 대해 한 번 캐싱합니다.
2. 추론 및 불확실성: 탐지기가 라벨이 없는 이미지에 실행되며, FDSU가 결합 불확실성을 기준으로 풀(pool)을 필터링합니다.
3. 다양성 샘플링: OCDS가 중복을 억제하면서 커버리지를 극대화하는 최종 배치 이미지를 선택합니다.
4. 반자동 주석: DSBS가 작업자가 확인하거나 수정할 수 있도록 사전 레이블링된 박스를 제공합니다.
5. 업데이트: 탐지기를 새로 레이블링된 데이터로 미세 조정하고 루프를 반복합니다.

주요 기여

1. 프레임워크 통합: 원격 탐사를 위해 비전 파운데이션 모델(UPN, SAM2, DINOv2)을 능동 학습 및 반자동 주석 루프에 통합하는 새로운 프레임워크를 제시했습니다.
2. 이중 소스 불확실성: 탐지기 예측을 파운데이션 모델이 생성한 참조값과 매칭하여 샘플 불확실성 점수를 도출함으로써, 콜드 스타트 단계에서의 안정성을 개선했습니다.
3. 중복 페널티: 후보 파편화와 의사 다양성을 명시적으로 억제하도록 설계된 파운데이션 모델 맞춤형 다양성 샘플링 전략을 제안했습니다.
4. 박스 스위칭 메커니즘: 파운데이션 모델을 활용하여 안정적인 기하학적 사전 정보를 제공함으로써, 초기 단계의 탐지 성능을 높이고 수동 상호작용 비용을 줄이는 DSBS 모듈을 개발했습니다.

실험 결과

본 방법론은 네 가지 원격 탐사 데이터셋(DIOR, HRSC2016, DOTAv2, FAIR1M)에서 평가되었습니다.

• 성능: 제안된 방법은 대부분의 주석 예산 구간에서 최신 능동 학습 방법들(예: Entropy, CoreSet, PPAL, DivProto, AL4FM)과 비교하여 우수하거나 대등한 결과를 달성했습니다.
• 콜드 스타트 효율성: 본 방법은 **저예산 구간(low-budget regime)**에서 눈에 띄게 강력한 성능을 보였습니다. 예를 들어, HRSC2016 데이터셋에서 레이블된 샘플이 20/30개뿐인 상황에서, DSBS가 적용된 방식은 약 57%/61% mAP를 달성하여 박스 스위칭이 없는 베이스라인(22%/45%)을 크게 앞질렀습니다.
• 절제 연구(Ablation Studies):
  • FDSU는 초기 단계에서 단일 소스 불확실성 지표(Entropy, DSUE)보다 일관되게 우수한 성능을 보였습니다.
  • OCDS는 FDSU와 효과적으로 시너지를 내어, 모든 예산 지점에서 다른 다양성 전략(CoreSet, DivProto, MDE)보다 뛰어난 성능을 보였습니다.
  • 파운데이션 파이프라인: 분석 결과, UPN+SAM2 조합은 UPN 단독 사용 시보다 재현율과 위치 정밀도를 유의미하게 향м상시켰으며, 파편화 억제 전략은 중복을 약 34~38% 감소시켰습니다.

의의

본 논문은 비전 파운데이션 모델을 능동 학습 파이프라인에 통합하는 것이 원격 탐사의 데이터 구축 효율을 높이는 새로운 관점을 제공한다고 주장합니다. 위치 추정의 안정성을 탐지기의 학습 곡도와 분리하고 안정적인 기하학적 사전 정보를 제공함으로써, 본 프레임워크는 콜드 스타트 능동 학습과 반자동 주석의 특정 병목 현상을 해결합니다. 결과적으로 이 협업적 접근 방식은 더 낮은 인간 주석 비용과 더 빠른 수렴 속도로 고품질 원격 탐사 데이터셋을 구축할 수 있음을 보여줍니다.