기술 요약: 잠재 확산 모델을 기반으로 한 다중 속성 안내 열화상 얼굴 이미지 변환

문제 제기

현대 감시 시스템은 야간 작전을 위해 열화상 카메라에 점점 더 의존하고 있지만, 대부분의 얼굴 인식 모델은 가시광선 데이터셋으로 훈련되었습니다. 이러한 도메인 전환은 적외선 입력을 처리할 때 성능이 크게 저하되는 원인이 됩니다. 이질적 얼굴 인식 (HFR) 을 위한 전통적인 특징 기반 방법들은 열화상의 희소한 정보와 낮은 해상도로 인해 효과가 없는 것으로 입증되었습니다. 생성적 적대 신경망 (GAN) 은 열화상을 가시광선 이미지로 변환 (Thermal-to-Visible 또는 T2V) 함으로써 패러다임 전환을 제시했지만, 불안정한 훈련, 제한된 일반화 능력, 그리고 종종 왜곡되거나 흐릿한 출력물을 생성한다는 단점을 안고 있습니다.

최근 확산 모델은 이미지 품질을 개선했지만, 새로운 도전 과제를 도입했습니다: 느린 추론 속도와 피부색, 성별, 나이와 같은 중요한 신원 속성을 보존하는 어려움입니다. 기존 확산 기반 접근 방식들은 열과 가시광선 도메인 간의 상당한 격차로 인해 이러한 속성들을 정확하게 포착하지 못해, 생성된 이미지에서 특징 손실과 신원 왜곡을 초래하는 경우가 많습니다.

방법론

저자들은 열 입력으로부터 신원과 얼굴 속성을 보존하면서 고품질의 가시광선 얼굴 이미지를 생성하도록 설계된 잠재 확산 모델 (LDM) 기반의 새로운 프레임워크를 제안합니다. 이 파이프라인은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 다중 속성 분류기

복원 과정 중 특징 손실을 완화하기 위해, 저자들은 열 이미지에서 직접 주요 얼굴 속성 (성별, 나이, 피부색) 을 추출하는 분류기를 설계했습니다.

• 훈련 전략: 사전 훈련된 분류기 (EfficientNet 기반) 를 먼저 FairFace 및 UTKFace 데이터셋을 사용하여 가시광선 이미지로 훈련합니다. 그런 다음 이 네트워크의 복사본을 짝지어진 적외선 이미지로 훈련합니다.
• 일관성 손실: 훈련 목적은 평균 제곱 오차 (MSE) 를 사용하여 가시광선 및 적외선 네트워크의 분류 출력 간의 일관성을 강제합니다. 이는 적외선 분류기가 가시광선 분류기와 유사하게 속성을 인식할 수 있도록 보장합니다.
• 프롬프트 생성: 분류 결과는 텍스트 프롬프트 (예: "{나이} 세 {성별}의 {피부색} 피부 얼굴") 로 변환되고 맞춤형 CLIP 인코더를 사용하여 인코딩됩니다. 이러한 임베딩은 확산 모델의 조건부 입력으로 작용합니다.

2. Self-Attn Mamba 모듈

표준 확산 모델의 계산 비효율성을 해결하기 위해, 저자들은 원래의 멀티헤드 셀프 어텐션 (MHSA) 레이어를 Self-Attn Mamba 모듈로 대체합니다.

• 메커니즘: 이 모듈은 합성곱 레이어와 결합된 선택적 상태 공간 모델 (SSM) 을 활용합니다. 상태 공간 표현 ($h_t = Ah_{t-1} + Bx_t$) 을 통해 입력 시퀀스를 처리하며, 순방향 및 역방향 의존성을 모두 포착하기 위해 양방향 구조 (BiMamba) 를 사용합니다.
• 이점: 이 설계는 입력 길이에 대해 선형 복잡성을 달성하여, 전통적인 어텐션 메커니즘에 비해 계산 오버헤드를 크게 줄이면서 효율적인 전역 특징 모델링을 가능하게 합니다.

3. 조건부 잠재 확산 파이프라인

핵심 생성 과정은 픽셀 공간이 아닌 잠재 공간에서 작동하며, VQ-VAE 아키텍처를 활용합니다.

• 아키텍처: 시스템은 가시광선 이미지 재구성을 위한 VQ-VAE 모델 하나와 열 이미지 인코딩을 위한 VQ-VAE 모델 하나를 사용합니다. 사전 훈련된 CLIP 인코더 (UTKFace 및 FairFace 에서 미세 조정됨) 가 속성 프롬프트를 처리합니다.
• 디노이징 과정: UNet 기반의 노이즈 예측기 ($\epsilon_\theta$) 가 잠재 특징을 반복적으로 정제합니다. 이 과정은 크로스 어텐션 메커니즘을 통해 속성 임베딩에 조건부로 수행됩니다.
• 신원 보존: 훈련 루프에 신원 검증 모듈이 통합됩니다. 이 모듈은 합성된 이미지와 동일 피사체의 참조 가시광선 이미지 간의 임베딩 코사인 유사도를 기반으로 ID 손실을 계산하여 구조적 및 특징적 충실도를 보장합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 다중 속성 분류기 통합: 열 이미지에서 중요한 얼굴 속성 (성별, 나이, 피부색) 을 추출하여 생성 과정을 안내하는 데 사용하는 LDM 프레임워크 내의 분류기 설계.
2. Self-Attn Mamba 모듈: 표준 셀프 어텐션을 대체하는 Mamba 기반 모듈 도입으로, 더 낮은 계산 비용으로 더 정교한 전역 특징 모델링을 달성하고 추론 속도를 크게 향상시킴.
3. 최첨단 성능: 여러 데이터셋에서 이미지 품질과 신원 보존 측면 모두에서 최근 GAN 및 확산 기반 방법들을 능가하는 완전한 T2V 프레임워크 제안.

실험 결과

제안된 방법은 두 가지 벤치마크 데이터셋인 ARL-VTF(50 만 장 이상) 와 Speaking Faces(142 명) 에서 평가되었습니다.

이미지 품질 지표

모델은 구조적 유사성과 지각적 품질에서 우수한 성능을 보였습니다:

• ARL-VTF: SSIM 0.7642 및 PSNR 28.54를 달성하여 T2V-DDPM(SSIM 0.6712) 및 DiffuseIT 와 같은 베이스라인을 능가했습니다. 또한 최저 FID(29.15) 와 LPIPS(0.1813) 를 기록했습니다.
• Speaking Faces: SSIM 0.7455 및 PSNR 30.11, FID 21.16 을 기록했습니다.

신원 인식 지표

이 방법은 신원 보존에서 상당한 개선을 보였습니다:

• ARL-VTF: Rank-1 정확도 81.83% 및 FAR=1% 일 때의 검증률 (VR@FAR) **62.58%**를 달성했습니다. 이는 두 번째로 좋은 방법 (T2V-DDPM) 대비 VR@FAR 에서 8.3% 의 향상을 의미합니다.
• Speaking Faces: Rank-1 정확도 86.35% 및 VR@FAR=1% **65.13%**를 달성했습니다.

효율성 및 제거 실험

• 추론 속도: Self-Attn Mamba 를 통합함으로써 모델은 NVIDIA Tesla V100 에서 이미지당 36ms로 추론 시간을 단축했으며, 이는 T2V-DDPM 의 126ms 와 비교됩니다.
• 파라미터 효율성: 제안된 모델은 75.96M 파라미터(37% 메모리 사용량) 를 사용하며, T2V-DDPM(273.68M 파라미터) 에 비해 현저히 감소했습니다.
• 제거 실험: 실험을 통해 각 구성 요소 (Mamba, 분류기, CLIP) 가 점진적으로 성능에 기여함이 확인되었습니다. 전체 모델 (Variant D) 이 다양한 피부색을 재현하고 얼굴 구조를 유지하는 데 특히 우수한 결과를 보였습니다.

중요성 및 주장

저자들은 그들의 접근 방식이 현재 T2V 방법들의 근본적인 한계, 특히 이미지 품질, 속성 보존, 그리고 추론 속도 간의 트레이드오프를 효과적으로 해결한다고 주장합니다. 다중 속성 분류기와 잠재 확산 모델, 그리고 효율적인 Self-Attn Mamba 모듈을 결합함으로써, 이 프레임워크는 피부색, 나이, 성별과 같은 중요한 신원 특징을 유지하면서 열 입력으로부터 고희실도 가시광선 이미지를 성공적으로 생성합니다. 이러한 결과는 교차 도메인 불일치를 극복하는 데 있어 이 하이브리드 아키텍처의 유효성을 검증하며, 열에서 가시광선 얼굴 변환을 위한 새로운 최첨단 기준을 확립합니다. 향후 작업은 다양한 열 조건 하에서의 견고성을 탐구할 것으로 언급되었습니다.