1. 문제 정의 (Problem Statement)

원격 탐사 (Remote-Sensing, RS) 및 항공 이미지에서의 **객체 계수 (Object Counting)**는 재난 관리, 도시 계획, 야생동물 추적 등 다양한 분야에서 필수적입니다. 그러나 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

• 폐쇄적 클래스 (Closed-Set) 의존성: 기존 모델들은 학습 시 정의된 고정된 클래스 집합 (예: 차량, 선박, 건물) 만을 계수하도록 훈련됩니다.
• 새로운 객체 대응 불가: 학습 중에 보지 못한 새로운 객체 클래스를 계수하려면 비용이 많이 드는 데이터 재주석 (Re-annotation) 과 모델 재학습이 필요합니다.
• 동적 환경 부적합: 실시간 모니터링과 같이 변화무쌍한 실제 환경에서는 새로운 객체를 즉각적으로 계수해야 하므로, 기존 접근 방식은 비효율적입니다.

이러한 격차를 해소하기 위해, 저자들은 원격 탐사 데이터용 오픈 어휘 계수 (Open-Vocabulary Counting, OVC) 모델인 RS-OVC를 제안합니다. 이는 텍스트 프롬프트나 시각적 예시 (Visual Exemplar) 만을 기반으로 학습 시 보지 못한 새로운 객체 클래스를 정확하게 계수할 수 있는 첫 번째 모델입니다.

2. 방법론 (Methodology)

RS-OVC 는 기존 컴퓨터 비전 (CV) 분야의 오픈 어휘 계수 모델인 CountGD를 기반으로 하되, 원격 탐사 데이터의 특수성 (고밀도, 저해상도, 클래스 다양성 부족) 을 해결하기 위해 다음과 같은 핵심 기법을 도입했습니다.

A. 아키텍처 및 특징 융합 (Feature Injection & Fusion)

• 기반 모델: CountGD 를 백본으로 사용하며, 텍스트 인코더 (BERT 기반) 와 이미지 인코더 (Swin Transformer) 를 활용합니다.
• RS 특징 주입 (RS Feature Injection): 단순한 파인튜닝 (Fine-tuning) 은 원격 탐사 데이터의 클래스 다양성 부족으로 인해 '모드 붕괴 (Mode Collapse)'나 '카타스트로픽 포기 (Catastrophic Forgetting)'를 유발할 수 있습니다. 이를 방지하기 위해:
  1. 이중 인코더 활용: 일반 CV 데이터로 사전 학습된 Swin Transformer와 원격 탐사 데이터로 사전 학습된 DINOv3 (ViT) 인코더를 병렬로 사용합니다.
  2. 크로스 어텐션 (Cross-Attention): CV 특징 (Key, Value) 과 RS 특징 (Query) 을 크로스 어텐션하여 융합된 특징 맵을 생성합니다. 이를 통해 RS 데이터의 공간적/문맥적 특성을 보존하면서 CountGD 의 강력한 일반화 능력을 유지합니다.
  3. 고정된 인코더: 학습 시 이미지 및 텍스트 인코더는 고정 (Frozen) 하고, 특징 융합 및 디코더 부분만 최적화하여 계산 자원 효율성과 안정성을 확보합니다.

B. 데이터 큐레이션 및 학습 전략

• 데이터 다양성 확보: 기존 RS 계수 데이터셋 (RSOC, NWPU-MOC 등) 은 클래스가 제한적이므로, 대규모 RS 감지 데이터셋 (FAIR1M, DIOR, DOTA) 을 계수 작업에 맞게 변환 (바운딩 박스를 중심점 포인트로 변환) 하여 통합했습니다.
• Few-shot 학습: 각 학습 샘플에 목표 클래스의 최소 4 개 이상 인스턴스를 포함시켜, 3 개의 예시를 시각적 프롬프트로 사용하고 나머지를 정답 (Ground Truth) 으로 사용하는 3-shot 컨디셔닝 방식을 적용했습니다.
• Zero-shot 평가: 테스트 시에는 학습/검증 과정에서 전혀 사용되지 않은 클래스에 대해 평가하여 진정한 오픈 어휘 능력을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 RS-OVC 모델 제안: 원격 탐사 및 항공 이미지 분야에서 텍스트/시각적 조건에 기반하여 학습되지 않은 객체를 계수하는 첫 번째 프레임워크를 개발했습니다.
2. 효율적인 도메인 적응 전략: 새로운 아키텍처를 설계하는 대신, 기존 CountGD 에 RS 특화 특징을 주입 (Injection) 하는 방식을 통해 복잡성을 줄이면서도 높은 성능을 달성했습니다.
3. 대규모 통합 데이터셋 구축: 다양한 RS 감지 및 계수 데이터셋을 통합하여 오픈 어휘 계수 학습에 필요한 풍부한 클래스 다양성을 확보했습니다.
4. 심층적 의미 이해 증명: 단순한 객체 인식뿐만 아니라, 색상, 방향, 객체 간 관계 (예: "나무를 마주 보는 야구장", "부두에 정박한 배") 와 같은 지역적 및 전역적 의미론적 추론이 가능함을 시각적으로 입증했습니다.

4. 실험 결과 (Results)

저자들은 NWPU-MOC, FAIR-1M, DOTA, DIOR, RSOC 등 5 개의 주요 데이터셋에서 RS-OVC 를 평가했습니다.

• 성능 비교:

  • 기저 모델: 기존 RS 오픈 어휘 감지 모델 (LAE), 일반 CV 기반 CountGD (RS-FT), 그리고 RS-OVC 의 변형 (RS-only) 과 비교했습니다.
  • 고밀도/복잡한 장면: 선박, 차량, 저장 탱크 등 고밀도이면서 저해상도인 객체가 많은 장면에서 RS-OVC 는 모든 기저 모델 (LAE 포함) 을 압도적으로 능가했습니다 (평균 MAE/RMSE 감소).
  • 희소/단순한 장면: 대형 객체나 저밀도 장면 (예: 스타디움, 비행기) 에서는 감지 기반 모델 (LAE) 이 약간 더 우수한 성능을 보였으나, RS-OVC 도 경쟁력 있는 성능을 유지했습니다.
  • 종합 평가: 모든 데이터셋의 평균 성능에서 RS-OVC 가 가장 우수한 결과를 기록했습니다.

• 정성적 분석:

  • 지역적 이해: "빨간 앞면을 가진 트럭"과 같이 색상과 객체 유형을 결합한 프롬프트에 정확히 반응했습니다.
  • 전역적 이해: "나무를 마주 보는 야구장"과 같이 객체 간의 공간적 관계를 추론하여 정확한 객체만 선택했습니다.
  • 추론 능력: "부두에 정박한 배"와 같이 시각적 특징 (배) 과 문맥적 특징 (부두, 정지 상태) 을 결합하여 추론하는 능력을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: RS-OVC 는 새로운 객체가 등장하는 동적인 환경에서도 별도의 재학습 없이 실시간 계수가 가능하게 하여, 재난 대응, 환경 모니터링 등 실제 응용 분야에서의 활용도를 극대화합니다.
• 기술적 방향성: 복잡한 커스텀 아키텍처 대신, 강력한 사전 학습 모델 (Foundation Models) 과 도메인 특화 특징 융합을 결합하는 것이 원격 탐사 분야에서 효율적인 해결책임을 입증했습니다.
• 한계 및 향후 과제: 현재 모델은 매우 희소한 장면에서는 감지 기반 모델보다 약간 뒤처질 수 있으며, 임계값 설정에 검증 세트가 필요하다는 한계가 있습니다. 향후 더 다양한 데이터셋과 자동화된 임계값 조정 기법 연구가 필요하다고 결론지었습니다.

이 논문은 원격 탐사 분야의 객체 분석 패러다임을 '고정된 클래스'에서 '열린 어휘 (Open-Vocabulary)'로 전환하는 중요한 이정표가 됩니다.