Coarse-to-Fine Hierarchical Alignment for UAV-based Human Detection using Diffusion Models

1. 문제 정의 (Problem Definition)

• 데이터 부족과 Sim2Real 격차: 무인 항공기 (UAV) 를 활용한 인간 감지는 구조적 수색, 재난 대응, 도시 감시 등에 필수적이지만, 실제 환경 데이터의 레이블링 비용이 매우 높아 학습 데이터가 극도로 부족합니다. 이를 해결하기 위해 합성 데이터 (Synthetic Data) 를 활용하려는 시도가 많으나, 합성 데이터와 실제 UAV 이미지 간의 **Sim2Real 도메인 격차 (Domain Gap)**로 인해 성능이 크게 저하됩니다.
• 기존 방법의 한계:
  1. 데이터 의존성: 기존 확산 모델 기반 도메인 적응 방법은 많은 양의 실제 데이터로 파인튜닝이 필요하여, 실제 UAV 환경에서 흔히 발생하는 Few-shot (소량의 실제 데이터) 상황에서는 적용이 어렵습니다.
  2. 소형 객체 왜곡: UAV 이미지에서 인간은 매우 작은 객체로 나타납니다. 기존의 전역적 스타일 변환 (Global Style Transfer) 기법은 이러한 소형 객체의 구조를 왜곡하거나, 존재하지 않는 객체를 생성하는 **할루시네이션 (Hallucination)**을 유발하여 감지 성능을 떨어뜨립니다.
• 핵심 통찰: 도메인 격차는 단순히 전역적인 스타일 (조명, 색상, 질감) 의 차이뿐만 아니라, **로컬 콘텐츠 (객체 밀도, 배치, 형태)**의 불일치에서도 발생합니다. 특히 합성 데이터의 과도한 객체 밀도와 실제 데이터의 낮은 밀도 차이는 전역 변환만으로는 해결할 수 없는 구조적 불일치입니다.

2. 제안된 방법론: CFHA (Coarse-to-Fine Hierarchical Alignment)

저자들은 합성 데이터를 실제 도메인으로 변환하되, 원본 기하학적 레이블 (Bounding Box) 을 완벽하게 보존하면서 전역 스타일과 로컬 콘텐츠를 단계별로 정렬하는 3 단계 파이프라인을 제안합니다.

Stage I: Global Style Transfer (GST) - 전역 스타일 변환

• 목적: 합성 이미지와 소량의 실제 참조 이미지 간의 전역적인 스타일 (색조, 조명, 대기 효과 등) 을 정렬합니다.
• 기술: 확산 모델의 잠재 공간 (Latent Space) 에서 DDIM Inversion을 활용합니다.
• 핵심 메커니즘: 구조 인식 교차 주의 (Structure-aware Cross-Attention) 와 **AdaIN (Adaptive Instance Normalization)**을 결합하여, 실제 이미지의 통계적 특성 (평균, 분산) 을 합성 이미지에 주입하되, 원본 이미지의 공간적 구조와 객체 경계는 왜곡되지 않도록 유지합니다.
• 특징: 학습이 필요 없는 (Training-free) 방식이며, 원본 바운딩 박스 레이블의 유효성을 보장합니다.

Stage II: Local Refinement (LR) - 로컬 정제

• 목적: GST 단계에서 발생할 수 있는 소형 인간 객체의 흐릿함, 과도한 평활화, 아티팩트를 해결하고 고해상도 디테일을 복원합니다.
• 기술: 초해상도 (Super-Resolution) 확산 모델을 활용합니다.
• 프로세스:
  1. GST 를 거친 이미지를 기반으로 객체 중심 패치 (Patch) 를 잘라냅니다.
  2. 이미지 캡셔닝 (Image Captioning) 을 통해 해당 패치를 설명하는 텍스트 프롬프트를 생성합니다.
  3. 생성된 프롬프트를 조건 (Condition) 으로 하여, **LoRA (Low-Rank Adaptation)**로 미세 조정된 확산 모델을 통해 패치의 시각적 품질을 고해상도로 복원합니다.
• 효과: 객체 주변의 미세한 질감과 구조적 사실감을 회복하여 감지 모델이 특징을 추출하기 쉽게 만듭니다.

Stage III: Hallucination Removal (HR) - 할루시네이션 제거

• 목적: 생성 과정에서 발생할 수 있는 구조적으로 비현실적이거나 실제 도메인 분포와 동떨어진 가짜 객체 (Artifacts) 를 제거합니다.
• 기술: CLIP 기반 시맨틱 필터링을 사용합니다.
• 프로세스:
  1. 실제 UAV 이미지에서 추출된 인간 임베딩의 평균 벡터와 도메인 특화 텍스트 프롬프트 (예: "드론으로 찍은 사람 사진") 를 결합하여 **프로토타입 참조 벡터 (Prototypical Reference Vector)**를 학습합니다.
  2. 생성된 각 합성 객체 패치를 CLIP 임베딩 공간에 투영하여 참조 벡터와의 유사도 점수를 계산합니다.
  3. 유사도가 낮은 (실제 분포와 동떨어진) 객체는 마스킹하여 제거하고, 주석 (Annotation) 에서 제외합니다.
• 효과: 데이터 일관성을 보장하며, 감지 모델이 오검출 (False Positive) 을 학습하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 통합 전역 - 로컬 정렬 프레임워크 (Unified Global-Local Alignment): Sim2Real 격차를 전역 스타일과 인스턴스 수준의 로컬 콘텐츠 두 가지 관점에서 동시에 해결하는 최초의 계층적 확산 프레임워크를 제안했습니다.
2. Few-shot 확산 기반 이미지 변환: 소량의 실제 데이터만으로도 고품질의 도메인 적응이 가능하도록 설계되었으며, 원본 합성 데이터의 기하학적 레이블을 손상시키지 않습니다.
3. SOTA 성능 달성: 공개된 UAV 벤치마크에서 기존 방법론을 능가하는 성능을 입증했습니다. 특히 소형 객체 감지에 있어 로컬 정제와 할루시네이션 제거의 시너지 효과를 입증했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: SynPlay (합성 데이터, 500 장) + 4 가지 실제 UAV 벤치마크 (Okutama-Action, Semantic Drone, VisDrone2018, Manipal-UAV). 실제 데이터는 각 도메인당 20 장만 사용 (Few-shot 설정).
• 성능 향상:
  • 평균 개선: 4 개 데이터셋 전체에서 mAP@50 평균 +7.3, mAP@95 평균 +4.1의 성능 향상을 기록했습니다.
  • 세부 결과: Semantic Drone 데이터셋에서 mAP@50 이 18.6 에서 32.7로 (+14.1), Okutama 에서 64.6 에서 68.2로 크게 향상되었습니다.
• Ablation Study (성분 분석):
  • GST 단독: 소형 객체에 아티팩트를 유발하여 오히려 성능이 저하됨.
  • LR 단독: 국소적 아티팩트를 제거하여 성능 향상.
  • HR 단독: 비현실적 객체 제거로 성능 개선.
  • 전체 (CFHA): 3 단계 모두 결합했을 때 최적의 성능 달성.
• FID (Fréchet Inception Distance) 역설: 전역 스타일 정렬만으로는 이미지 전체의 FID 는 개선되지만, 객체 패치 수준의 FID 는 악화되어 감지 성능이 떨어집니다. 반면, LR 단계를 통해 객체 패치의 사실성을 높이면 전체 이미지 FID 는 다소 악화될 수 있으나, 객체 감지 성능 (mAP) 은 극적으로 향상됩니다. 이는 UAV 감지 작업에서 전역적 시각적 품질보다 객체 주변의 로컬 사실성이 더 중요함을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 UAV 기반 인간 감지 분야에서 소량의 실제 데이터로 고품질의 도메인 적응을 가능하게 하는 새로운 패러다임을 제시합니다. 기존 방법들이 전역적 스타일 변환에만 집중했던 한계를 넘어, 로컬 콘텐츠의 정밀한 복원과 할루시네이션 제거를 계층적으로 수행함으로써, 합성 데이터의 확장성과 실제 데이터의 현실성을 동시에 확보했습니다. 이는 군사, 구조, 감시 등 실제 UAV 운영 환경에서 데이터 부족 문제를 해결하고 robust 한 감지 시스템을 구축하는 데 중요한 기여를 할 것으로 기대됩니다.