Getting the Numbers Right$\unicode{x2014}$Modelling Multi-Class Object Counting in Dense and Varied Scenes

1. 문제 정의 (Problem Definition)

• 배경: 객체 카운팅은 도시 계획, 생물 다양성 모니터링, 의료 등 다양한 분야에서 필수적인 컴퓨터 비전 작업입니다. 그러나 밀집되고 가려진 (occluded) 장면에서는 기존 탐지 기반 (detection-based) 방법론이 실패하는 경우가 많습니다.
• 현재 한계:
  • 다중 클래스 밀도 추정 (Multi-class Density Estimation): 기존 방법론들은 주로 도시 환경 (VisDrone, iSAID 등) 에서만 평가되었으며, 클래스 간 빈도 분포가 균일하거나 클래스 수가 적은 데이터셋에 국한되었습니다.
  • 생물 다양성 데이터의 특수성: Hicks 와 같은 생물 다양성 데이터셋은 단일 샘플 내에 여러 클래스가 공존하기보다 특정 종 (예: 꽃) 이 한 번에 하나만 나타나는 경우가 많아, 기존 도시 데이터셋과 분포가 크게 다릅니다.
  • 성능 저하: 기존 다중 클래스 밀도 추정 모델은 밀도가 낮은 장면에서 성능이 저하되는 경향이 있으며, 최신 객체 탐지 모델 (YOLO 등) 은 극도로 혼잡한 장면에서는 정확도가 떨어집니다.
  • 추론 시의 제약: 기존 방법들은 추론 (inference) 시 보조 작업 (분할 또는 탐지) 을 적용하여 클래스 간 간섭을 줄이려 했으나, 이는 밀집된 장면에서 잘못된 가정을 유발할 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 비전 트랜스포머 (Vision Transformer) 기반의 첫 번째 다중 클래스 밀도 추정 아키텍처를 제안합니다.

• 백본 (Backbone):

  • Twins-SVT (Pyramid Vision Transformer): 평탄한 트랜스포머 인코더 대신 계층적 특징을 추출하는 피라미드 구조를 사용하여 다양한 스케일의 객체를 효과적으로 포착합니다.
  • CNN 디코더: 트랜스포머에서 추출된 특징을 다중 스케일 CNN 디코더를 통해 밀도 맵으로 변환합니다. 이는 스케일 불변성 (scale invariance) 을 보장합니다.

• 핵심 모듈: 카테고리 포커스 모듈 (Category Focus Module, CFM)

  • 목적: 클래스 간 간섭 (inter-category interference) 을 훈련 단계에서 억제하여 밀도 추정 헤드의 성능을 향상시킵니다.
  • 구조: MRCNet 의 Multiscale Aware Module (MAM) 을 확장한 구조로, 백본의 여러 레이어에서 추출된 특징을 결합하여 확장된 컨볼루션 (dilated convolutions) 을 거칩니다.
  • 동작: 보조 작업으로 클래스별 분할 (segmentation) 태스크를 수행하지만, 추론 시에는 이 마스크 헤드를 사용하지 않습니다. 이는 기존 방법론 (DSACA 등) 이 추론 시에도 마스크를 적용해야 했던 점과 달리, 훈련 중 학습된 특징만으로도 클래스 인식 능력을 확보하여 추론 시 연속적인 밀도 모델만 사용하게 합니다.

• 활성화 함수 및 손실 함수:

  • Softplus 활성화: ReLU 대신 softplus 함수를 사용하여 음수 값을 0 으로 잘라내는 (truncate) 것이 아니라, 수치적으로 안정된 양수 출력을 보장합니다. 이는 그라디언트 소실 없이 양수 카운트 제약을 만족시킵니다.
  • 손실 함수: 밀도 추정에는 L2 손실 (MSE) 을, 보조 분할 태스크에는 카테고리별 교차 엔트로피 (Cross-Entropy) 손실을 사용합니다. 두 손실은 가중치 $\omega$로 결합되어 역전파됩니다.

3. 주요 기여 (Key Contributions)

1. 최초의 ViT 기반 다중 클래스 밀도 추정: Twins-SVT 백본과 다중 스케일 CNN 디코더를 결합하여, 기존 SOTA 방법론보다 평균 MAE 를 46.7% 감소시켰으며, 혼잡한 장면에서는 YOLO11 보다 10 배 이상 우수한 성능을 보였습니다.
2. 새로운 아키텍처 설계: 부드러운 미분 가능한 softplus 활성화 함수를 도입하여 양수 카운트만 예측하면서도 훈련 시 그라디언트 흐름을 유지하도록 했습니다.
3. Category Focus Module (CFM): 추론 시 추가적인 제약 없이 훈련 중 학습된 클래스 인식 능력을 통해 클래스 간 간섭을 해결했습니다. 이는 탐지 기반이나 분할 기반 보조 태스크의 한계를 극복한 연속적인 밀도 추정 모델입니다.
4. 다양한 도메인 검증: 도시 환경 (VisDrone, iSAID) 과 생물 다양성 (Hicks) 데이터셋 모두에서 뛰어난 성능을 입증하여 모델의 범용성을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: VisDrone-DET (8 및 10 클래스), iSAID (4 클래스), Hicks (8 클래스, 꽃 종).
• 성능 향상:
  • VisDrone (8 클래스): MAE 가 2.29 로, 기존 SOTA (DSACA: 3.43) 보다 약 33% 개선되었습니다.
  • iSAID: MAE 가 2.84 로, 기존 방법 (Michel et al.: 7.85) 대비 64% 감소했습니다.
  • Hicks (생물 다양성): DSACA 대비 MAE 가 0.38 로 크게 향상되었습니다.
• YOLO11 과의 비교:
  • 저밀도 장면: YOLO11 과 유사하거나 더 나은 성능을 보였습니다.
  • 고밀도 장면 (50~1000 개 이상): YOLO11 은 성능이 급격히 떨어지는 반면, 제안된 방법은 MAE 를 10 배 이상 낮추며 압도적인 우위를 보였습니다.
• Ablation Study:
  • CFM 을 제거하거나 단일 스케일로 변경할 경우, 특히 낮은 카운트 구간에서 성능이 저하됨을 확인했습니다.
  • softplus 활성화 함수가 ReLU 나 Leaky ReLU 보다 전반적인 성능, 특히 낮은 카운트 구간에서 우월함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 기술적 진보: 객체 카운팅 분야에서 탐지 기반 방법론의 한계를 넘어, 밀집되고 가려진 장면에서 연속적인 밀도 추정이 더 효과적임을 재확인했습니다. 특히 비전 트랜스포머를 다중 클래스 카운팅에 성공적으로 적용한 첫 사례입니다.
• 실용적 가치: 도시 환경뿐만 아니라 농업 및 생태계 모니터링 (생물 다양성) 과 같은 비도시적, 비균질한 환경에서도 높은 정확도를 보여주어 실제 응용 가능성 (Real-world applicability) 이 매우 높습니다.
• 미래 방향: 추론 시 추가적인 분할/탐지 모듈 없이 순수한 밀도 추정만으로 클래스 간 간섭을 해결하는 방식을 제시함으로써, 향후 확장 가능하고 클래스 인식 능력이 뛰어난 밀도 추정 모델 개발의 새로운 방향을 제시했습니다.

이 논문은 **"Getting the Numbers Right"**라는 제목처럼, 복잡하고 혼잡한 환경에서 객체의 정확한 수를 세기 위한 새로운 표준을 제시하며, 특히 기존 탐지 모델이 실패하는 극도로 밀집된 장면과 다양한 도메인에서의 적용 가능성을 입증했습니다.