Leveraging Prior Knowledge of Diffusion Model for Person Search

기술 요약: DiffPS (Diffusion Prior Knowledge for Person Search)

문제 정의
사람 탐색(Person Search)은 크롭되지 않은 장면 이미지에서 보행자를 탐지하는 작업과, 쿼리에 대해 이들을 재식별(re-ID)하는 작업을 결합한 과업입니다. 기존의 최첨단 방법들은 주로 ImageNet으로 사전 학습된 백본(예: ResNet50, ConvNeXt)에 의존하며, 탐지와 re-ID를 위해 단일 백본 특징 스트림을 공유합니다. 이러한 접근 방식은 두 가지 결정적인 한계를 가집니다:

1. 최적화되지 않은 특징 표현: ImageNet 백본은 단일한 지배적 객체와 단순한 배경을 가진 이미지의 범주 수준 인식을 위해 학습되었습니다. 결과적으로, 이들은 복잡하고 혼잡한 장면에서 겹쳐진 개인들 사이의 정밀한 위치 추적 단서와 인스턴스 수준의 변별적 특징을 포착하는 데 어려움을 겪습니다.
2. 최적화 충돌: 탐지(인간과 배경을 구분)와 re-ID(특정 신원을 구분)라는 근본적으로 다른 두 목적을 위해 백본을 공유하는 것은 상충하는 그래디언트 업데이트를 생성합니다. 이는 공유된 파라미터가 모순된 표현을 학습하도록 강제하여, 수렴을 방해하고 두 하위 작업 모두의 성능을 저하시킵니다.

방법론
저자들은 이러한 문제를 해결하기 위해 사전 학습된 확산 모델(특히 Stable Diffusion v2-1)의 사전 지식(prior knowledge)을 활용하는 프레임워크인 DiffPS를 제안합니다. 백본을 미세 조정(fine-tuning)하는 대신, DiffPS는 사전 학습된 확산 모델을 동결(freeze)하고 작업 특화적 특징을 추출함으로써 최적화 충돌을 제거합니다. 이 프레임워크는 텍스트 조건화(text-conditioning), 타임스텝 민감도(timestep sensitivity), 계층적 구조(hierarchical structure), 그리고 형태 편향(shape bias)이라는 네 가지 핵심 속성에 대한 분석을 기반으로 구축되었습니다.

이러한 분석을 바탕으로, DiffPS는 세 가지 전문화된 모듈을 통합합니다:

1. Diffusion-Guided Region Proposal Network (DGRPN):

   • 목표: 사람 위치 추적 성능 향상.
   • 메커니즘: 확산 특징과 텍스트 임베딩 사이의 강력한 정렬을 활용합니다. UNet의 up-stage에서 "person" 토큰과 관련된 크로스 어텐션 맵(cross-attention maps)을 추출합니다. 이 맵들은 고신뢰 영역을 식별하기 위해 임계값 처리가 되고 가우시안 분포으로 변환되어 탐지 전용 특징 맵을 조절합니다. 이는 RPN이 배경 노이즈를 억제하면서 관련 있는 사람 영역에 집중하도록 유도합니다.

2. Multi-Scale Frequency Refinement Network (MSFRN):

   • 목표: 저주파(전역 구조) 성분이 미세한 질감보다 지배적인 확산 모델 특유의 "형태 편향(shape bias)"을 완화.
   • 메커니즘: UNet의 up-stage에서 다중 스케일 특징 맵을 추출합니다. 이 모델은 이산 웨이브릿 변환(Discrete Wavelet Transform, DWT)을 사용하는 계층적 주파수 분해 전략을 채택하여 특징을 저주파 및 고주파 서브 밴드로 분리합니다. 서브 밴드 정제 블록(Sub-band Refinement Block, SRB)은 역 DWT를 통해 특징을 재구성하기 전에 (식별에 중요한) 고주파 성분을 구체적으로 강화합니다. 이를 통해 re-ID에 필수적인 미세한 디테일을 유지합니다.

3. Semantic-Adaptive Feature Aggregation Network (SFAN):

   • 목표: 확산 특징과 텍스트 간의 의미적 정렬을 활용하여 견고한 사람 표현을 생성.
   • 메커니즘: CLIP 텍스트 인코더로부터 유도된 사전 정의된 텍스트 임베딩(예: "head," "shirts," "pants," "shoes")과 정제된 특징 맵 사이의 코사인 유사도를 계산합니다. 이 유사도는 관련 신체 부위를 강조하는 공간적 의미 맵(spatial semantic maps)을 생성합니다. 네트워크는 학습 가능한 가중치를 사용하여 이러한 부위 기반 특징을 집계하며, 이를 통해 배경 노이즈와 폐쇄(occlusion)를 효과적으로 억제하고 정보가 풍부한 신체 영역을 강조합니다.

주요 기여

• 새로운 프레임워크: 본 논문은 사람 탐색 작업을 위해 사전 학습된 확산 모델의 사전 지식을 활용한 최초의 연구인 DiffPS를 소개합니다.
• 최적화 충돌 해결: 확산 백본을 동결하고 작업 특화 브랜치를 사용함으로써, DiffPS는 탐지와 re-ID의 최적화를 완전히 분리하여 기존의 공유 백본 방식이 겪는 그래디언트 간섭을 방지합니다.
• 전문화된 모듈: DGRPN, MSFRN, SFAN의 제안은 위치 추적과 미세한 신원 인식의 특정 요구 사항에 확산 사전 지식을 효과적으로 적응시킵니다.
• 최첨단 성능: 백본을 특정 작업을 위해 미세 조정할 필요 없이 표준 벤치마크에서 새로운 SOTA(State-of-the-Art) 결과를 달-성했습니다.

실험 결과
저자들은 CUHK-SYSU 및 PRW 데이터셋에서 DiffPS를 평가했습니다.

• CUHK-SYSU: DiffPS는 97.8% mAP와 98.4% Top-1 정확도를 달성하여, 이전 방법들(예: SeqNeXt+GFN, SEAS)을 상당한 차이로 앞질렀습니다.
• PRW: 모델은 62.0% mAP와 91.0% Top-1 정확도를 기록하며, 두 번째로 높은 성능의 방법을 1.5% mAP 차이로 능가했습니다.
• Ablation Studies (소거 연구):
  • 충돌 해결: 작업을 공동으로 최적화할 때 여전히 성능 저하를 겪는 DMRNet과 같은 분리형 방법들과 달리, DiffPS는 작업을 공동으로 최적화하든 별도로 최적화하든 동일한 성능을 유지하여 그래디언트 충돌이 제거되었음을 확인했습니다.
  • 모듈 효능: MSFRN 또는 SFAN을 제거했을 때 mAP와 Top-1에서 측정 가능한 하락이 발생하여, 주파수 정제와 의미적 집계의 필요성을 입증했습니다.
  • 타임스텝 분석: 연구를 통해 초기 타임스텝(또는 t=0)에서 추출된 특징이 노이즈가 지배적인 후기 타임스텝과 달리, 사람 탐색에 가장 유익한 미세한 디테일과 의미적 구조를 보존한다는 것을 확인했습니다.

의의
본 논문은 DiffPS가 이미지 생성을 넘어 시각적 작업을 위한 강력하고 범용적인 백본으로서 사전 학습된 확산 모델의 잠재력을 보여준다고 주장합니다. 확산 사전 지식에 내재된 풍부한 공간적 맥락과 미세한 디테일을 충분히 활용함으로써, 이 프레임워크는 전통적인 ImageNet 백본의 한계를 해결합니다. 나아가, 이는 작업 특화적 특징을 동결된 사전 학습 모델로부터 추출할 수 있는 멀티태스크 학습의 새로운 패러다임을 구축하여, 공유 백본 아키텍처에서 발견되는 고유한 최적화 충돌을 완전히 해결합니다. 이 접근 방식은 백본에 대한 광범적인 미세 조정을 요구하지 않으면서도 더 효율적인 훈련 전략을 제공하며, 사람 탐색 성능의 새로운 기준을 세웁니다.