RepSFNet : A Single Fusion Network with Structural Reparameterization for Crowd Counting

이 논문은 가변 밀도 장면에서의 크라우드 카운팅 문제를 해결하기 위해 구조적 재파라미터화, 효율적인 특징 융합 모듈, 그리고 최적 수송 손실을 활용하여 높은 정확도와 실시간 성능을 동시에 달성하는 경량 아키텍처 RepSFNet 을 제안합니다.

핵심

🎯 문제 상황: "어지러운 콘서트장의 사람 세기"

사람들이 빽빽하게 모여 있는 사진 (군중 사진) 을 보면 세 가지 큰 문제가 있습니다.

1. 크기 차이: 멀리 있는 사람은 작고, 가까운 사람은 큽니다.
2. 가려짐: 사람들이 서로 겹쳐서 얼굴이 안 보입니다.
3. 계산량: 사람 수를 세려면 컴퓨터가 엄청난 일을 해야 해서 느려집니다.

기존의 인공지능들은 정확도는 좋지만, 너무 무겁고 느려서 스마트폰이나 작은 카메라 같은 '작은 기기'에서는 실시간으로 작동하기 어렵습니다.

💡 해결책: RepSFNet (리파라미터드 싱글 퓨전 네트워크)

이 논문은 **"무거운 옷을 벗고, 똑똑한 도구만 챙겨서 빠르게 움직이는 모델"**을 제안합니다.

1. 핵심 아이디어: "거대한 렌즈를 얇게 다듬기" (구조적 재파라미터화)

• 비유: imagine(상상해 보세요). 우리가 아주 넓은 시야를 가진 거대한 망원경을 들고 있다고 칩시다. 보통 이런 망원경은 무겁고 부피가 커서 들고 다니기 힘듭니다.
• RepSFNet 의 방법: 이 모델은 거대한 망원경 (큰 커널) 을 사용하되, 실제 작동할 때는 그 무게를 다 떼어내고 가벼운 안경처럼 변신시킵니다.
  • 학습할 때: 거대한 렌즈로 넓은 범위를 한 번에 파악합니다.
  • 실제 쓸 때: 그 정보를 효율적으로 압축해서, 아주 가볍고 빠른 안경으로 바꿉니다.
  • 결과: 넓은 시야 (전체적인 상황 파악) 는 유지하면서, 속도는 엄청나게 빨라집니다.

2. 두 가지 지능의 만남: "ASPP 와 CAN"

이 모델은 두 가지 다른 지능을 합쳐서 작동합니다.

• ASPP (다양한 초점): 마치 사진가처럼 **멀리 있는 사람 (작은 점)**과 **가까운 사람 (큰 점)**을 동시에 잘 볼 수 있도록 여러 개의 렌즈를 동시에 사용합니다.
• CAN (상황 파악): "아, 여기는 사람이 많으니 더 자세히 봐야겠다"라고 상황에 따라 집중할 곳을 스스로 정합니다.
• 결합: 이 두 가지가 합쳐져서, 사람이 얼마나 빽빽한지 (밀도) 를 상황에 맞게 정확히 파악합니다.

3. "붙여넣기" 방식 (Concatenate Fusion)

기존 모델들은 복잡한 계산 과정을 거치면서 사진의 디테일 (세부 정보) 이 사라지곤 했습니다. 하지만 RepSFNet 은 정보를 버리지 않고 그대로 이어 붙이는 방식을 사용합니다.

• 비유: 퍼즐 조각을 잘게 부수지 않고, 원래 모양을 유지한 채 맞춰 넣는 것과 같습니다. 그래서 최종 결과물인 '사람 분포 지도'가 선명하고 정확합니다.

🏆 성능: "빠르면서도 정확한 마라토너"

이 모델은 여러 유명한 데이터셋 (상하이테크, NWPU 등) 에서 실험을 했습니다.

• 정확도: 다른 최신 모델들 (P2PNet, STEERER 등) 과 비교해도 뒤지지 않는 높은 정확도를 보여줍니다. 특히 사람 수가 매우 많은 곳 (NWPU 데이터셋) 에서 가장 좋은 성적을 냈습니다.
• 속도: 가장 큰 장점은 속도입니다.
  • 다른 모델들이 100 점짜리 작업을 하느라 1 초 걸린다면, RepSFNet 은 34% 더 빠른 0.66 초 만에 끝냅니다.
  • 비유: 다른 모델들이 무거운 배낭을 메고 산을 오르는 반면, RepSFNet 은 가벼운 배낭을 메고 산을 달립니다. 정확도는 비슷하거나 더 좋으면서도 훨씬 가볍습니다.

📝 결론: 왜 이 기술이 중요할까요?

이 기술은 **작은 기기 (에지 컴퓨팅)**에서도 실시간으로 사람 수를 세는 것을 가능하게 합니다.

• 활용 예시:
  • 스타디움이나 축제 현장에 설치된 작은 카메라에서 실시간으로 혼잡도를 분석.
  • 스마트폰 앱으로 사람 수를 빠르게 세는 기능.
  • 전력 소모가 적은 IoT 기기에서도 작동 가능.

한 줄 요약:

"RepSFNet 은 거대한 시야를 가진 무거운 카메라를 가볍고 빠른 스마트폰 카메라처럼 변신시켜, 사람 수를 정확하면서도 매우 빠르게 세어주는 똑똑한 기술입니다."

이 기술은 앞으로 우리가 일상에서 마주치는 복잡한 군중 상황을 더 안전하고 효율적으로 관리하는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

군중 계수 (Crowd Counting) 는 밀도 변화, 가려짐 (occlusion), 조명 및 원근 왜곡과 같은 환경적 변화로 인해 매우 어려운 작업입니다. 기존 모델들은 다음과 같은 한계를 가지고 있습니다:

• 계산 비용: 높은 정확도를 위해 주의 메커니즘 (Attention mechanisms) 이나 다중 분기 (Multi-branch) 설계를 사용하여 메모리 사용량과 추론 시간이 증가합니다.
• 실시간성 부족: 에지 디바이스 (Edge devices) 나 저전력 환경에서 실시간 배포가 어렵습니다.
• 스케일 변화 대응: 다양한 크기의 사람 (Scale variations) 을 효과적으로 포착하는 데 어려움이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 RepSFNet (Reparameterized Single Fusion Network) 을 제안했습니다. 이는 구조적 재파라미터화 (Structural Reparameterization) 를 활용한 경량화 아키텍처로, 정확성과 실시간성을 동시에 달성하기 위해 설계되었습니다.

핵심 구성 요소:

1. RepLK-ViT 백본 (Backbone):

   • 비전 트랜스포머 (ViT) 의 전역 수용 영역 (Global Receptive Field) 개념을 CNN 에 적용한 RepLK-ViT를 기반으로 합니다.
   • 대형 커널 재파라미터화: 7x7 에서 13x13 까지의 대형 커널을 추론 시 효율적인 3x3 커널로 병합 (Merge) 하는 구조를 사용하여, 트랜스포머와 같은 전역 인식 능력을 유지하면서도 CNN 의 효율성을 확보합니다.
   • 4 단계의 RepLK 스테이지를 통해 다중 스케일 특징을 추출하며, 채널 수는 증가하고 해상도는 감소합니다.

2. 특징 융합 모듈 (Feature Fusion Module):

   • ASPP (Atrous Spatial Pyramid Pooling): 다양한 수용 영역 (dilation rates 6, 12, 18, 24) 을 가진 병렬 확장 컨볼루션을 사용하여 다양한 스케일의 컨텍스트를 포착합니다.
   • CAN (Context-Aware Network): 픽셀 단위로 적응적인 가중치를 부여하여 밀도 변화와 원근 왜곡에 강인한 공간 특징을 정제합니다.
   • 이 두 모듈을 결합하여 전역 컨텍스트와 지역적 적응성을 모두 고려한 밀도 맵을 생성합니다.

3. 연결 융합 모듈 (Concatenate Fusion Module):

   • 여러 레벨의 특징을 채널 단위로 연결 (Concatenate) 하여, 의미론적 일관성 (Semantic consistency) 과 고해상도의 공간 세부 정보를 보존합니다.
   • 최종적으로 H/32 × W/32 크기의 고품질 밀도 맵을 출력합니다.

4. 손실 함수 (Loss Function):

   • MAE (Mean Absolute Error): 전체 객체 수의 예측 정확도를 보장합니다.
   • Optimal Transport (OT) Loss: 예측된 밀도 맵과 정답 (Ground-truth) 간의 공간 분포 유사성을 측정합니다. 이는 단순히 개수만 맞추는 것이 아니라, 군중의 위치 분포까지 정렬하도록 도와줍니다.
   • 최종 손실 함수는 Total Loss = MAE + OT Loss로 정의됩니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 백본 설계: 재파라미터화된 대형 커널을 사용한 RepLK-ViT 기반 백본을 도입하여, 어텐션 메커니즘 없이도 효율적인 다중 스케일 특징 추출을 가능하게 했습니다.
2. 밀도 적응형 융합 모듈: ASPP 와 CAN 을 통합하여 다양한 밀도와 스케일 변화에 적응적인 컨텍스트 모델링을 수행하는 새로운 퓨전 모듈을 개발했습니다.
3. 경량화 및 실시간성: 다중 분기나 복잡한 어텐션 메커니즘을 배제하고 단일 융합 구조를 채택하여 파라미터 수와 FLOPs 를 줄였으며, 에지 컴퓨팅에 적합한 저지연 설계를 구현했습니다.

4. 실험 결과 (Results)

ShanghaiTech, NWPU, UCF-QNRF 등 4 개의 주요 벤치마크 데이터셋에서 실험을 수행했습니다.

• 정확도:

  • NWPU 데이터셋: MAE 46.23, MSE 132.58 로 기존 최첨단 모델 (P2PNet, CSFNet 등) 을 크게 능가했습니다.
  • ShanghaiTech Part A: MAE 54.9, MSE 87.6 로 P2PNet, STEERER, Gramformer 와 경쟁력 있는 성능을 보였습니다.
  • ShanghaiTech Part B: MAE 7.0 으로 상위권 모델들과 유사한 성능을 기록했습니다.
  • UCF-QNRF: MAE 90.7 로 일부 어텐션 기반 모델 (STEERER 등) 에 비해 약간 낮았으나, 여전히 P2PNet 등보다 우수한 성능을 보였습니다. (가려짐이 심한 고밀도 장면에서의 한계 지적)

• 효율성 (Ablation Study):

  • 지연 시간 (Latency): NVIDIA RTX 4070 Ti Super GPU 기준, P2PNet, M-SFANet, STEERER 등 기존 모델 대비 최대 34% 낮은 추론 지연 시간을 기록했습니다.
  • 계산량: MACs (Multiply-Accumulate Operations) 가 62.59G 로 가장 낮았으며, 파라미터 수도 효율적으로 관리되었습니다.
  • 고해상도 처리: 고해상도 이미지 (1600x1200) 에서도 메모리 부족 없이 안정적으로 작동했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실시간 에지 컴퓨팅 적합성: RepSFNet 은 높은 정확도를 유지하면서도 계산 비용과 지연 시간을 획기적으로 줄여, 저전력 에지 디바이스에서의 실시간 군중 계수 응용에 매우 적합합니다.
• 구조적 혁신: 트랜스포머의 전역 수용 영역 이점을 CNN 의 효율성과 결합한 '구조적 재파라미터화' 접근법이 군중 계수 분야에서 유효함을 입증했습니다.
• 한계 및 향후 과제: 명시적인 어텐션 메커니즘이 없어 극도로 혼잡한 장면 (UCF-QNRF) 이나 희소한 장면 (ShanghaiTech Part B) 에서 세부 정보 손실이 발생할 수 있으며, 고정된 확장 비율 (Dilation rates) 이 다양한 스케일 적응성을 제한할 수 있습니다. 향후 경량 어텐션 통합 및 적응형 확장 비율 도입을 통해 일반화 성능을 개선할 예정입니다.

요약하자면, RepSFNet 은 정확도, 속도, 효율성의 균형을 최적화하여 군중 계수 분야에서 새로운 기준을 제시하는 경량화 아키텍처입니다.