기술 요약: PMDA-Net

문제 정의

군중 계수(Crowd counting)는 혼잡한 장면에서 보행자 수를 추정하고 이들의 공간적 분포를 복원하는 것을 목표로 한다. 합성곱 신경망(CNN) 기반의 밀도 맵 회귀(density-map regression)가 이 분야를 발전시켜 왔으나, 기존 방법들은 심각한 스케일 변화, 폐쇄(occlusion), 그리고 배경 간섭에 여전히 취약하다. 식별된 주요 한계점은 인트라 레벨 특징(intra-level features)이 충분히 정교하게 다듬어지지 않아, 전경(foreground) 응답이 배경 노이즈와 얽히게 된다는 점이다. 이러한 문제는 급격한 원근 왜곡, 심한 폐쇄, 그리고 군중 패턴과 유사한 질감을 특징으로 하는 복잡한 실제 환경에서 더욱 악화된다. 또한, 많은 기존 접근 방식은 정적인 다중 스케일 융합이나 순차적 어텐션 메커니즘에 의존하며, 이는 국부적 밀도 특성에 따라 채널 및 공간 의존성을 적응적으로 균형 있게 조절하지 못한다.

방법론

저자들은 특화된 모듈의 파이프라인을 통해 특징 표현을 점진적으로 정교화하도록 설계된 프레임워크인 PMDA-Net(Progressive Multi-level Dynamic Attention Network)을 제안한다. 이 네트워크는 Inception-v3를 백본(backbone)으로 사용하며 다음과 같은 핵심 구성 요소를 통합한다:

1. 동적 적응형 합성곱 유닛 (Dynamic Adaptive Convolution Unit, DACU)

특징 추출 네트워크의 전단부에 위치한 DACU는 특징 응답의 균질화 문제를 해결한다. 이는 잔차 구조(residual structure) 내에 채널 어텐션 메커즘을 내장한다. 전역 평균 풀링(global average pooling)과 $1 \times 1$ 합성곱을 통해 채널 가중치를 생성함으로써 입력 특징을 적응적으로 재보정한다. 이 과정은 노이즈가 섞인 배경 활성화를 억제하는 동시에 군중 관련 특징 채널을 강화하여, 후속 모듈을 위한 정제된 입력을 제공한다.

2. 병렬 인터-크로스 어텐션 커플러 (Parallel Inter-Cross Attention Coupler, PICA)

인트라 레벨 다중 스케일 모델링의 한계를 극ОВ하기 위해, PICA는 동일한 특징 레벨 내에서 다중 브랜치 교차 스케일 상호작용을 수행한다. 이는 다음으로 구성된다:

• 특징 전처리: 그룹 합성곱(group convolution)을 사용한 후 포인트와이즈 합성곱(point-wise convolution)을 적용하는 "독립 후 상호작용(independent-then-interactive)" 전략을 사용하여, 교차 모달 세만틱 통신을 구축하기 전까지 특징의 독립성을 유지한다.
• 다중 헤드 혼합 합성곱 어텐션 (Multi-Head Mixed Convolutional Attention, MHMC): 다양한 커널 크기($3+2i$)를 가진 다중 커널 심층 합성곱(multi-kernel depth-wise convolutions)을 활용하여, 인접한 개인의 국부적 질감부터 전역적 분포 패턴에 이르기까지 다양한 스케일에 걸친 공간적 의존성을 포착한다.
• 문맥 통합: 확장 비율(dilation rates)이 2, 4, 8인 ASPP(Atrous Spatial Pyramid Pooling)를 결합하여 공간 해상도를 감소시키지 않으면서 수용 영역(receptive field)을 넓혀, 더 넓은 문맥적 인지 능력을 보장한다.

3. 이종 어텐션 코디네이터 (Heterogeneous Attention Coordinator, HAC)

희소(sparse) 지역과 밀집(dense) 지역의 서로 다른 요구 사항을 해결하기 위해 설계된 HAC는 병렬 듀얼 패스 아키텍처를 채택한다:

• 채널 경로: 1D 합성곱을 사용하여 국부적인 교차 채널 상호작용을 포착함으로써 희소 지역에서의 세만틱 필터링에 집중한다.
• 공간 경로: 평균 및 최대 풀링을 결합하여 위치 중요도를 평가함으로써 밀집 지역에서의 국지화 및 분리에 집중한다.
• 적응형 융합: 고정된 가중치 대신 학습 가능한 파라미터($\alpha$ 및 $\beta$)를 사용하여 장면 특성에 따라 채널 및 공간 어텐션의 기여도를 동적으로 균형 있게 조절한 후 잔차 정규화를 수행한다.

4. 전경 사전 필터 (Foreground Prior Filter, FPF) 및 초점 점진적 훈련 메커니즘 (Focal Progressive Training Mechanism, FPTM)

배경 간섭을 완화하고 훈련 안정성을 최적화하기 위해 다음을 도입한다:

• FPF: 이진 마스크를 통해 전경 영역을 명시적으로 예측하는 보조 브랜치를 도입한다. 이 마스크를 감독하기 위해 이진 교차 엔트로피(BCE) 손실을 사용하여, 군중이 아닌 특징을 효과적으로 필터링하고 전경 국지화와 밀도 추정을 분리한다.
• FPTM: 훈련 에포크(epoch)에 따라 진화하는 동적 난이도 임계값($T_{th}$)을 사용하는 커리큘럼 학습 전략을 구현한다. 초기에는 저밀도(쉬운) 지역에 집중하며, 훈련이 진행됨에 따라 임계값이 확장되어 고밀도(어려운) 지역을 포함하게 된다. 전체 손실은 동적 가중 밀도 손실, 전경 세그멘테이션 손실, 그리고 중간 감독 손실을 결합하여 포괄적인 그래디언트 가이드를 보장한다.

주요 기여

1. PMDA-Net 아키텍처: 인트라 레벨 특징을 정교화하여 계수 정확도와 배경 간섭에 대한 저항성을 향상시키는 점진적 특징 강화 네트워크이다.
2. 세 가지 상호 보완적 모듈:
   • DACU: 적응형 특징 보정 및 노이즈 억제를 위함.
   • PICA: 동일한 특징 레벨 내에서의 다중 스케일 문맥 상호작용을 위함.
   • HAC: 채널 및 공간 어텐션 간의 밀도 인식 조정(density-aware coordination)을 위함.
3. 훈련 전략: 명시적인 전경 가이드를 통합하고 점진적인 난이도 인식 최적화를 통해 안정성을 개선하는 FPF 및 FPTM을 도입하였다.
4. 실증적 검증: 다양한 밀도 시나리오 전반에서 경쟁력 있는 성능과 일반화 능력을 입증하는 광범ند한 실험을 수행하였다.

실험 결과

저자들은 세 가지 벤치마크 데이터셋의 네 가지 서브셋(ShanghaiTech Part A & B, UCF-QNRF, UCF-CC-50)에서 PMDA-Net을 평가하였다.

• ShanghaiTech Part A: MAE 53.6, MSE 93.6을 달성하여 WAFNet (MAE 57.2) 및 Yuan 등의 방법 (MAE 59.3)보다 우수한 성능을 보였다.
• ShanghaiTech Part B: MAE 6.1, MSE 10.5를 달성하였으며, 이는 CSRNet (MAE 10.6) 대비 42.5% 개선된 수치이다.
• UCF-QNRF: MAE 85.5, MSE 146.1을 달성하여 DADNet 대비 MAE를 24.5% 개선하였다.
• UCF-CC-50: MAE 214.4를 달성하여 기초 모델인 MCNN의 오차를 163.2 포인트(43.2% 개선) 줄였다.

어블레이션 연구(Ablation studies)를 통해 각 모듈(PICA, DACU, HAC, FPTM)이 성능에 점진적으로 기여함을 확인하였으며, 전체 파이프라인이 최상의 결과를 도출하였다. 표준 어텐션 메커니즘(SE, CA, ECA, CBAM)과의 비교에서 제안된 HAC 모듈이 ShanghaiTech Part A에서 가장 낮은 MAE(53.6)를 기록하였다.

의의 및 주장

본 논문은 PMDA-Net이 인트라 레벨 특징 정교화 및 정적 어텐션 메커니즘의 특정 한계를 해결함으로써 군중 계수를 위한 견고한 솔루션을 제공한다고 주장한다. 이 연구의 의의는 점진적 특징 강화 파이프라인에 있으며, 이는 동적 어텐션 조율을 통해 전경 응답을 배경 노이즈로부터 성공적으로 분리해낸다.

저자들은 PMDA-Net이 모든 데이터셋의 모든 지표에서 압도적인 우위를 점하는 것은 아니지만(특히 소규모 샘플인 UCF-CC-50에서 일부 특화된 방법들이 약간 더 높은 성능을 보임), 제안된 프레임워크가 정확도, 견고성, 그리고 아키텍처의 범용성 사이의 유리한 균형을 달성한다고 강조한다. 명시적인 전경 가이드와 점진적 훈련의 통합은 데이터셋 특정 피팅 전략에 의존하지 않고도 극심한 혼잡 및 심한 폐쇄와 같은 도전적인 조건에서 밀도 추정 성능을 향상시키는 효과적인 방향임을 보여준다.