Granular Ball Guided Stable Latent Domain Discovery for Domain-General Crowd Counting

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 군집 계수 (Crowd Counting) 는 이미지 내 인원을 추정하는 작업으로, 주로 밀도 지도 (Density Map) 를 예측하여 수행됩니다. 최근 딥러닝 기반 모델이 발전했으나, 훈련 데이터 (Source Domain) 와 배포 데이터 (Target Domain) 간의 분포 차이 (Domain Shift) 가 발생하면 성능이 급격히 저하됩니다.
• 핵심 문제: 단일 소스 도메인 일반화 (Single-Source Domain Generalization, DG) 환경에서 중요한 과제는 안정적인 잠재 도메인 (Latent Domain) 발견입니다.
  • 단일 소스 데이터셋조차 다양한 장면, 조명, 카메라 조건으로 인해 이질적인 잠재 도메인을 포함하고 있습니다.
  • 기존 방법들은 학습 중 변화하는 특징 공간 (Feature Space) 에서 개별 샘플 (Sample-level) 에 대해 평면적인 클러스터링 (Flat Clustering) 을 수행합니다.
  • 한계: 이는 노이즈, 이상치 (Outliers), 그리고 학습 과정 중 발생하는 특징의 드리프트 (Representation Drift) 에 매우 취약하여, 불안정한 의사 도메인 (Pseudo-domain) 할당을 초래하고 도메인 구조 기반 학습을 약화시킵니다.

2. 제안 방법론 (Methodology)

저자들은 그라눌러 볼 (Granular Ball) 개념을 도입하여 샘플 레벨의 불안정한 클러스터링을 계층적 대표자 기반 클러스터링으로 전환하는 프레임워크를 제안했습니다. 전체 아키텍처는 크게 두 가지 핵심 요소로 구성됩니다.

A. 그라눌러 볼 기반 안정적 잠재 도메인 발견 (Granular Ball Guided Stable Latent Domain Discovery)

• 개념: 개별 샘플을 직접 클러스터링하는 대신, 먼저 샘플들을 조밀한 국부적 구조 단위인 '그라눌러 볼 (Granular Ball)'로 조직화합니다.
• 프로세스:
  1. 볼 생성: 도메인 민감도 특징 (Domain-sensitive descriptors, 예: 평균 및 표준편차 통계) 을 기반으로 샘플들을 그라nul러 볼로 분할합니다. 각 볼은 중심점 (Center) 과 반지름, 가중치 벡터로 정의됩니다.
  2. 계층적 분할: 부모 볼을 두 개의 자식 볼로 재귀적으로 분할합니다. 이때 분할의 타당성은 볼의 컴팩트함 (Compactness) 이 감소하는지 여부로 판단하며, 노이즈에 덜 민감하도록 설계되었습니다.
  3. 대표자 클러스터링: 최종적으로 생성된 그라눌러 볼들의 중심점 (Centers) 을 추출하여, 이들을 대표자로 간주하고 K-means 를 수행하여 $K$개의 의사 도메인 (Pseudo-domains) 을 생성합니다.
• 효과: 개별 샘플의 노이즈 영향을 줄이고, 학습 중 특징 공간의 변화에 강인한 안정적인 도메인 구조를 제공합니다.

B. 이분기 학습 프레임워크 (Two-Branch Learning Framework)

발견된 잠재 도메인을 기반으로 공유 백본 위에 두 개의 분기를 구축하여 의미론적 (Semantic) 과 스타일 (Style) 요소를 분리합니다.

1. 의미론적 분기 (Semantic Branch):

   • 코드북 재부호화 (Semantic Codebook Re-encoding): 학습 가능한 메모리 코드북을 사용하여 특징을 재부호화합니다. 이를 통해 도메인 불변적인 의미론적 표현을 강화하고 밀도 예측의 안정성을 높입니다.
   • 의미론적 일관성 손실 ($L_{sem}$): 서로 다른 의사 도메인 간에도 의미론적 중심이 일관되도록 제약을 가합니다.

2. 스타일 분기 (Style Branch):

   • 스타일 정규화: 도메인 특유의 외관 변화 (Appearance variations) 를 모델링합니다.
   • 스타일 컴팩트함 손실 ($L_{sty}$): 동일한 의사 도메인 내에서는 스타일 특징이 조밀하도록 유도합니다.
   • 직교성 손실 ($L_{orth}$): 의미론적 특징과 스타일 특징 간의 직교성을 강제하여 두 요소가 서로 섞이는 것을 방지 (Disentanglement) 합니다.

3. 주요 기여 (Key Contributions)

1. 문제 인식: 단일 소스 도메인 일반화 군집 계수에서 '안정적인 잠재 도메인 발견'이 병목 현상임을 규명하고, 기존 샘플 레벨 평면 클러스터링의 취약점을 지적했습니다.
2. 그라눌러 볼 기반 발견 방법론 제안: 샘플을 그라눌러 볼로 그룹화한 후 볼 중심점을 클러스터링하는 계층적 대표자 기반 방식을 도입하여, 노이즈와 특징 드리프트에 강인한 안정적인 의사 도메인 할당을 가능하게 했습니다.
3. 구조 인식 학습 프레임워크 개발: 발견된 도메인 구조를 활용하여 의미론적 재부호화 (SCR) 와 구조적 분기 정규화 (SBR) 를 결합한 프레임워크를 제안했습니다. 이는 의미 - 스타일 분리를 촉진하고 도메인 간 일반화 성능을 극대화합니다.

4. 실험 결과 (Results)

• 데이터셋: ShanghaiTech Part A/B (SHA, SHB), UCF QNRF, NWPU-Crowd 등 주요 벤치마크에서 평가되었습니다.
• 실험 설정: 단일 소스 도메인에서 훈련하고, 타겟 도메인에 대한 적응 (Adaptation) 없이 직접 테스트하는 엄격한 No-adaptation 프로토콜을 따랐습니다.
• 성능:
  • 전체적 우위: SHA, SHB, QNRF, NWPU-Crowd 간의 다양한 교차 도메인 전이 (Cross-domain transfer) 설정에서 기존 최첨단 (SOTA) 방법들 (DGCC, DMCount 등) 보다 일관되게 우수한 성능 (MAE, MSE) 을 기록했습니다.
  • 대규모 도메인 간격: 특히 SHB→QNRF 와 같이 도메인 차이가 큰 어려운 전이 작업에서 DGCC 대비 MAE 를 179.1 에서 165.3 으로, MSE 를 316.2 에서 292.0 으로 크게 개선했습니다.
  • 정성적 분석: 예측된 밀도 지도가 실제 군집 구조를 더 정확하게 반영하며, 배경 노이즈나 조명 변화에 덜 민감한 것을 확인했습니다.
• Ablation Study:
  • 그라눌러 볼 기반 클러스터링이 무작위 그룹화나 직접적인 K-means 보다 도메인 내 밀도 분포 (Density Regime) 를 더 명확하게 분리함을 입증했습니다.
  • 제안된 모든 구성 요소 (코드북 재부호화, 의미/스타일/직교성 손실) 가 성능 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 군집 계수 분야에서 도메인 일반화 문제를 해결하기 위해 구조적 모델링 (Structural Modeling) 관점을 도입했다는 점에서 의의가 큽니다.

• 안정성 확보: 학습 중 변화하는 특징 공간에서도 노이즈에 강인한 잠재 도메인 구조를 발견하는 방법을 제시함으로써, 단일 소스 데이터만으로도 다양한 환경에 적용 가능한 모델을 학습할 수 있는 기반을 마련했습니다.
• 해석 가능성: 그라눌러 볼을 통해 데이터를 계층적으로 조직화함으로써, 단순한 클러스터링을 넘어 데이터의 국부적 구조를 반영한 더 의미 있는 도메인 분할을 가능하게 했습니다.
• 실용성: 타겟 데이터에 대한 접근이 제한되거나 프라이버시 문제가 있는 실제 배포 환경 (예: 다른 도시의 CCTV, 새로운 조명 조건) 에서도 높은 신뢰성을 가진 군집 계수 시스템을 구축할 수 있는 가능성을 제시했습니다.

결론적으로, 이 연구는 그라눌러 볼 컴퓨팅 (Granular Ball Computing) 을 컴퓨터 비전 도메인 일반화 문제에 성공적으로 적용하여, 기존 방법들의 불안정성을 극복하고 강력한 일반화 성능을 달성한 획기적인 접근법입니다.