Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification

기술 요약: 얼굴 초해상도 구현 및 강건한 재식별을 위한 협업적 특징 집합(Collaborative Feature Aggregation)

문제 정의
전통적인 얼굴 초해상도(Super-Resolution, SR) 방식은 저해상도(LR) 입력으로부터 고품질의 얼굴 세부 정보를 복원하는 데 어려움을 겪는 경우가 많으며, 이는 빈번하게 흐릿하거나 왜곡된 재구성 결과로 이어진다. 이러한 한계는 단일 이미지 SR 접근 방식이 저하된 입력의 특징에만 의존하기 때문에, 정체성(identity)을 나타내는 고유한 세부 정보를 재구성하기 위한 정보가 부족하기 때문에 발생한다. 최근 일부 방법론들이 암시적 신경 표현(implicit neural representations)이나 얼굴 사전 지식(예: 랜드마크, 세그멘테이션)을 활용하고 있으나, 이들은 매우 심하게 저하된 이미지에 대해 일반화 능력이 떨어지거나 실제 정체성과 크게 동떨어진 결과를 생성하기도 한다. 또한, 기존의 비디오 기반 또는 다중 뷰(multi-view) SR 방식은 시퀀스 또는 뷰 사이의 상관관계를 충분히 고려하지 못하여 정체성 보존 측면에서 최적의 결과를 내지 못하는 경우가 많다. 아울러 감시 시나리오에서는 품질이 낮은 이미지로부터 정체성을 검증해야 하므로, 얼굴 특징이 심하게 저하된 상황에서도 효과적으로 작동할 수 있는 강건한 인물 재식별(person re-identification, Re-ID) 능력이 요구된다.

방법론
저자들은 **협업적 특징 집합(collaborative feature aggregation)**을 통해 얼굴 초해상도와 강건한 재식별을 통합하는 새로운 프레임워크를 제안한다. 이 방법의 핵심은 두 가지 주요 구성 요소로 이루어져 있다:

1. 트랜스포머 기반 협업 정체성 네트워크 (Transformer-Based Collaborative Identity Network):
   단일 이미지를 독립적으로 처리하는 대신, 이 방법은 상관관계가 있는 여러 얼굴 관측치(순차적 프레임 또는 다중 뷰 이미지)로부터 정체성 특징을 집합한다.

   • 구조: 공유된 얼굴 정체성 인코더(ArcFace 기반)가 $N$개의 입력 LR 이미지로부터 특징을 추출한다. 추출된 특징들은 이후 멀티 헤드 셀프 어텐션 모듈(Transformer)에 의해 처리되어 이미지 간의 상관관계를 모델링한다.
   • 기능: 이 모듈은 포즈, 조명, 해상도의 변화에도 불구하고 일관된 정체성 관련 의미를 포착하는 통합 얼굴 정체성 임베딩($f_{ID}$)을 생성한다. 네트워크는 모든 입력 이미지를 동등하게 취급하며, 훈련 시 입력을 무작위로 섞음으로써 순서 편향(ordering bias)을 방지한다.
   • 통합: 이 통합된 정체성 사전 지식(identity prior)은 복원 과정을 가이드하는 조건부 입력으로 사용되어, 단일 LR 이미지의 정보 부족을 보완한다.

2. 캐스케이드 SR 네트워크 (Cascade SR Network):
   복원 과정은 이미지를 점진적으로 정교화하도록 설계된 다단계 캐스케이드 구조를 통해 수행된다.

   • 메커니즘: 네트워크는 반복적으로 작동한다. 각 단계 $k$에서 캐스케이드 복원 모델(CRM)은 현재 출력과 대상 고해상도(HR) 이미지 사이의 잔차(residual, delta)를 예측한다. 이 잔차는 현재 단계의 입력에 더해져 세부 사항을 정교화한다.
   • 반복적 정교화: 통합된 정체성 임베딩은 각 캐스케이드 반복 단계에서 활용된다. 프레임워크는 중간 출력물을 바탕으로 각 단계마다 정체성 임베딩을 업데이트할 수 있어, 얼굴 특징의 점진적인 통합을 가능하게 한다.
   • 구조: CRM은 스킵 연결(skip connections)을 갖춘 UNet 형태의 구조를 사용하며, 여기서 인코더는 잠재 코드(latent codes)를 생성하고 디코더(MLP 기반 암시적 신경 표현 사용)는 정체성 사전 지식의 가이드를 받아 SR 이미지를 복원한다.

주요 기여

• 새로운 협업적 접근 방식: 본 논문은 노이즈가 많고 품질이 낮은 입력으로부터 고품질의 SR 이미지를 복원하기 위해 여러 얼굴 특징을 효율적으로 활용하는 방법을 소개한다.
• 트랜스포머 기반 집합: 개인의 여러 이미지에 걸쳐 공통된 얼굴 특징을 추정하여 통합된 정체성 사전 지식을 생성하는 트랜스포머 기반 네트워크를 도입한 것이 구체적인 기여점이다.
• 캐스케이드 복원: 잔차 학습(residual learning)을 통해 정확한 타겟 얼굴 이미지와 고해상도 세부 특징을 점진적으로 복원하는 캐스케이드 SR 네트워크를 제안한다.
• 결합 최적화: 정체성 재구성과 점진적 이미지 복원을 결합함으로써 다운스트림 시각 인식 작업, 특히 인물 재식별 성능을 향상시킨다는 것을 입증한다.

실험 결과
저자들은 VFHQ, CelebV-HQ(순차 이미지용), Multiface 데이터셋(다중 뷰 이미지용), 그리고 MARS(재식별용)를 포함한 여러 데이터셋에서 방법론을 평가하였다.

• 얼굴 초해상도 (Face Super-Resolution):

  • 순차적/다중 뷰: 제안된 방법("Ours")은 모든 지표(PSNR, SSIM, LPIPS, Identity Consistency (ID), FID)에서 기존의 최첨단 방법들(IDM, VQFR, MVSR, SAVSR 포함)을 능가하였다.
  • 정성적 분석: 시각적 비교 결과, 제안된 방법은 확산 기반 방식(IDM)에서 보이는 흐릿함이나 코드북 기반 방식(VQFR)에서 흔히 나타나는 정체성 불일치를 피하며, 더욱 상세하고 정체성이 일관된 얼굴을 생성함을 보여주었다.
  • 저하된 이미지: 고도로 저하된 MARS 데이터셋 이미지에서도 SwinIR, LIIF 및 기타 모델들과 비교하여 미세한 세부 사항(예: 눈, 코, 입)을 성공적으로 복원하였다.
  • 절제 연구 (Ablation Studies): 협업 정체성 네트워크 또는 캐스케이드 구조를 제거했을 때 성능이 크게 하락하였으며, 이는 두 구성 요소 모두 정확한 세부 복원과 정체성 일관성에 필수적임을 확인시켜 준다. 또한, $N=2$개의 이미지를 사용하는 것만으로도 견고한 복원에 충분하며, $N>2$일 경우 이득이 점차 감소한다는 것을 발견하였다.

• 인물 재식별 (Person Re-Identification):

  • 프레임워크는 얼굴 인식 모듈을 ResNet 백본으로 교체하고 MARS 데이터셋에서 훈련함으로써 인물 재식별을 위해 적응되었다.
  • 이 방법은 **Rank-1 정확도 90.3%**와 **mAP 83.9%**를 달성하였으며, 이는 기존의 베이스라인(STMN, PSTA, SINet) 및 최근의 경쟁력 있는 방법들(SEAS, BAU)을 능가하는 수치이다.
  • 결과는 프레임 간의 정체성 정보를 협업적 복원을 통해 명시적으로 통합하는 것이 실제 감시 시나리오에서 변별력을 크게 향상시킨다는 것을 나타낸다.

의의 및 주장
본 논문은 여러 얼굴 입력을 통해 결합된 정체성 재구성과 점진적 이미지 복원의 효과를 강조한다. 트랜스포머 기반의 협업 정체성 집합을 활용함으로써, 단일 이미지 SR이 겪는 정보 부족 문제를 극복한다. 저자들은 본 방식이 얼굴 초해상도와 재식별 성능 모두에서 일관된 개선을 보여줌으로써, 이미지 품질이 낮은 경우가 많은 감시 및 정찰 애플리케이션에 특히 효과적이라고 주장한다. 또한, 단순히 여러 프레임을 사용하는 것만으로는 부족하며, 프레임 간의 정체성 표현을 명시적으로 모델링하고 통합하는 것이 정확하고 자연스러운 얼굴 재구성의 핵심임을 시사한다.

저자들은 또한 다단계 캐스케이드 구조가 계산 오버헤드를 발생시킨다는 점과, 여러 개의 입력 이미지가 필요하다는 점이 단일 LR 이미지만 사용 가능한 시나리오에서의 적용성을 제한할 수 있다는 한계를 인정하였다. 향후 연구로는 캐스케이드 네트워크의 효율성을 최적화하고, 단일 이미지 시나리오를 위한 적응형 집합 기술을 탐구하는 것이 제안되었다.