Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

기술 요약: 배포 시 개인정보 보호를 위한 열화상 전용 군집 계수

문제 제기
군집 계수는 공공 안전 및 도시 계획에 필수적이지만, 열악한 조명 조건과 개인정보 보호 유지 측면에서 상당한 도전에 직면해 있습니다. RGB-열화상 (RGB-T) 융합 방법은 단일 모드 RGB 접근법보다 강인성을 향상시켰지만, 두 가지 치명적인 한계를 안고 있습니다. 첫째, 배포 중 지속적인 RGB 캡처에 의존하여 공공 공간에서 식별 가능한 특징 (예: 얼굴) 을 기록함으로써 심각한 개인정보 우려를 야기합니다. 둘째, 기존 융합 전략은 RGB 및 열화상 센서 간의 완벽한 정렬을 암묵적으로 가정합니다. 그러나 실제로는 센서 배치 및 획득 타이밍으로 인한 공간적 및 시간적 불일치가 융합 성능을 저하시킵니다. 정렬 문제를 해결하려는 현재의 시도는 점진적인 개선만 가져와, RGB 데이터의 필요성을 완전히 우회하는 것이 더 실현 가능한 경로임을 시사합니다.

방법론: TDCount
저자들은 RGB-T 군집 계수 시나리오에서 열화상 전용 추론을 위해 설계된 최초의 프레임워크인 TDCount를 제안합니다. 이 방법은 제어된 훈련 단계에서 학습된 교차 모달 사전 지식을 활용하면서, 추론 시 RGB 의존성을 제거합니다. 핵심 구성 요소는 다음과 같습니다:

1. Depth-to-RGB 확산 브리지: 열화상 서명의 본질적 모호성 (예: 인간과 기타 열원 구분의 어려움) 을 해결하기 위해, 이 프레임워크는 ControlNet을 통해 적응된 사전 훈련된 **잠재 일관성 모델 (LCM)**을 사용합니다. 깊이 추정 모델이 입력 열화상 ($T$) 에서 깊이 지도 ($D_T$) 를 생성합니다. 이 깊이 지도는 ControlNet 을 조건부로 사용하여 실제 RGB 입력 없이도 열 도메인을 RGB 데이터의 의미론적 풍부함으로 연결하는 판별적 특징 ($F_{TD}$) 을 추출합니다.
2. 결정론적 잠재 입력: 표준 확산 모델이 확률적으로 노이즈를 샘플링하는 것과 달리, TDCount 는 모든 훈련 및 추론 반복에 걸쳐 초기 노이즈 잠재 ($z_T$) 를 공유 상수로 고정합니다. 이는 특징 추출 과정을 완전히 결정론적이고 재현 가능하게 만들어, 동일한 입력이 일관되지 않은 특징을 생성하는 '다대일 (many-to-one)' 매핑 문제를 방지하며, 그렇지 않을 경우 회귀 손실 지형을 병리적으로 만들 수 있습니다.
3. 단일 단계 노이즈 제거 전략: 저자들은 특징 추출에 필요한 노이즈 제거 단계 수를 조사합니다. 그들은 단일 단계 LCM 노이즈 제거가 깊이 조건부 신호의 구조적 내용과 가장 충실한 특징을 산출함을 보여줍니다. 다단계 노이즈 제거는 특징을 조건부 입력에서 점진적으로 분리하여 구조적 충실도보다 지각적 정제를 우선시하며, 이로 인해 누적된 오차가 계수 정확도를 저하시킵니다.
4. 프로토타입 정렬 손실 ($L_{PA}$): 이질적인 열화상 특징 ($F_T$) 을 확산 유도 의미론적 공간 ($F_{TD}$) 에 정렬하기 위해, 프레임워크는 텍스트 기반 프로토타입 정렬 손실을 도입합니다. 이 손실은 열화상 특징을 CLIP 인코딩 텍스트 계수 프로토타입 (예: "해당 지역에 $c$명의 사람이 있습니다") 과 정렬하여 두 특징 스트림의 효과적인 통합을 용이하게 합니다.

주요 기여

• 개인정보 중심 프레임워크: TDCount 는 RGB-T 군집 계수에서 열화상 전용 추론을 가능하게 하는 최초의 프레임워크로, 실제 세계 감시 배포에서 주요 개인정보 노출 벡터 (지속적인 RGB 캡처) 를 제거합니다.
• LCM 기반 특징 학습: 이 논문은 LCM 기반 특징 학습 프레임워크를 도입하고 반직관적인 발견을 밝힙니다. 즉, 초기 단일 단계 노이즈 제거 단계는 구조적 오차를 누적하는 다단계 접근법보다 계수를 위한 더 판별력 있는 특징을 제공한다는 것입니다.
• RGB 없이 경쟁력 있는 성능: 이 방법은 추론 시 열화상 입력만 사용하여 최첨단 이중 모달 방법과 경쟁력 있는 성능을 달성함으로써, 고정밀 군집 계수를 위해 RGB 데이터가 필수불가결하다는 가정에 도전합니다.

실험 결과
이 프레임워크는 RGBT-CC와 DroneRGBT라는 두 가지 널리 사용되는 데이터셋에서 평가되었습니다.

• 성능: RGBT-CC 데이터셋에서 TDCount 는 이전 RGB-T 방법들을 능가하여 MC3Net 베이스라인 대비 GAME(0) 을 0.85, RMSE 를 1.02 개선했습니다. DroneRGBT 데이터셋에서는 모든 지표에서 새로운 최첨단 성능을 달성하여 이전 최우수 방법 (RGBT-Booster) 대비 GAME(0) 을 0.26, RMSE 를 0.39 감소시켰습니다.
• Ablation 연구:
  • 깊이 처리: 베이스라인 열화상 전용 접근법을 ControlNet 기반 깊이 처리로 대체하면 오류가 크게 감소했습니다 (GAME(0) 이 17.05 에서 10.62 로 하락). 이는 확산 유도 사전 지식의 가치를 확인해 줍니다.
  • 결정론적 입력: 확률적 잠재 입력을 사용하면 모델이 수렴하지 못했습니다 (GAME(0) > 50). 이는 고정된 잠재 설계의 필요성을 검증합니다.
  • 노이즈 제거 단계: 노이즈 제거 단계 수가 1 에서 4 로 증가함에 따라 성능이 단조롭게 저하되어, 단일 단계 추출이 최적임을 확인했습니다.
  • 프로토타입 정렬: 제안된 $L_{PA}$는 표준 교차 엔트로피 손실보다 우수하여 RMSE 를 25.01 에서 19.57 로 추가로 감소시켰습니다.

의의 및 주장
저자들은 TDCount 가 효과적 특징 활용을 통해 단일 잘 활용된 모달리티 (열화상) 가 복잡한 이중 모달 시스템과 맞먹을 수 있음을 보여주며, 이로써 RGB-T 융합에 내재된 정렬 문제와 개인정보 위험을 회피할 수 있다고 주장합니다.

중요하게도, 이 논문은 훈련 단계 중 RGB 데이터 사용과 관련된 개인정보 우려를 다룹니다. 저자들은 미세 조정된 ControlNet 이 개인정보 유출 채널을 구성하지 않는다고 주장합니다. 그 이유는 다음과 같습니다:

1. 아키텍처 한계: Stable Diffusion 의 VAE 인코더 (8 배 다운샘플링) 는 미세한 신원 특징 (원거리 군집 샷의 얼굴 등) 을 잠재 토큰으로 압축하여 복구 불가능하게 만듭니다.
2. 기억 조건: 확산 모델은 일반적으로 샘플이 대량으로 중복될 때만 훈련 데이터를 기억합니다. 군집 계수 데이터셋은 고유한 개인을 특징으로 하며, 훈련은 일반적인 프롬프트 ("사람들로 가득 찬 군집의 사진") 를 사용하므로 신원별 조건부 설정을 방지합니다.

따라서 이 프레임워크는 RGB 데이터의 필요성 (교차 모달 사전 지식을 학습하기 위해 오프라인에서 한 번 사용됨) 을 배포 단계 (열화상 데이터만 캡처됨) 로 성공적으로 분리하여 공공 감시에서의 개인정보 노출을 현저히 줄입니다.