기술 요약: IConFace

문제 정의

블라인드 얼굴 복원 (BFR) 은 특히 심한 열화 상황에서 신원 결정적 세부 사항과 국소 얼굴 단서가 종종 손실되는 매우 잘 정의되지 않은 문제입니다. 현대의 생성적 사전 지식 (확산, 코드북, 트랜스포머) 은 지각적 사실성을 향상시키지만, 명시적 증거 없이는 신원 일관성을 유지하는 데 어려움을 겪습니다. 참조 인지 복원은 동일한 신원 이미지를 사용하여 누락된 신원 증거를 제공함으로써 이를 해결하려 시도합니다. 그러나 기존 방법들은 중요한 트레이드오프에 직면해 있습니다: 참조는 신원뿐만 아니라 자세, 표정, 조명, 나이, 메이크업도 인코딩합니다. 이러한 특징들을 직접 전송하면 "과도한 주의 (over-attention)"로 이어져, 열화된 입력이 암시하는 구조를 보존하는 대신 복원된 얼굴이 참조의 특정 외모 (예: 자세나 표정) 를 채택하게 됩니다. 또한, 실제 시스템은 참조가 부재하거나 노이즈가 있거나 제한된 시나리오를 처리해야 하지만, 많은 참조 인지 모델은 견고한 무참조 복원으로 우아하게 저하되지 못합니다.

방법론: IConFace

저자들은 단일 체크포인트 내에서 참조 인지 및 무참조 복원을 모두 지원하는 통합 프레임워크인 IConFace를 제안합니다. 핵심 혁신은 열화된 입력과 참조 이미지를 역할에 따라 다르게 취급하는 **신원 - 구조 비대칭 조건부 (Identity–Structure Asymmetric Conditioning)**입니다.

1. 비대칭 조건부 설계

이 프레임워크는 FLUX.2-klein-base-4B 하이브리드 연결 백본을 기반으로 구축됩니다. 주요 시퀀스는 노이즈가 있는 장면 토큰, 열화된 이미지 토큰, 선택적 참조 토큰을 연결합니다 ($x_{in} = [x_{scene}; x_{deg}; x_{ref}]$). 비대칭성은 두 가지 구별된 경로를 통해 구현됩니다:

• 전역 신원 경로 (참조 역할):

  • 참조는 국소 공간 입력으로 취급되지 않고 전역 신원 앵커로 정제됩니다.
  • 고정된 AdaFace 인코더를 사용하여 원시 임베딩 ($z_r$) 을 신원 방향 ($e_r$) 과 신뢰도/노름 ($q_r$) 으로 분리합니다.
  • 여러 참조는 노름 가중 소프트맥스 ($w_r$) 를 통해 집계되어 단일 효과적인 신원 앵커 ($e_{id}$) 를 생성합니다.
  • 이 앵커는 백본의 숨겨진 공간으로 투영되어 이미지 블록을 위한 변조 델타 ($\Delta$) 를 생성합니다. 중요한 점은 이 변조가 이미지만에 적용된다는 것입니다. 텍스트 스트림은 변경되지 않아 참조가 국소 구조 전송 분기로 작용하지 않고 전역적으로 신원을 제어하도록 보장합니다.
  • 폴백: 참조가 없는 경우, 이 경로는 열화된 이미지 자체의 정규화된 AdaFace 임베딩을 약한 자기 조건부 앵커로 사용합니다.

• 열화된 구조 경로 (입력 역할):

  • 열화된 이미지는 목표와 공간적으로 정렬된 유일한 관측치이므로 공간 구조 앵커로 취급됩니다.
  • 저랭크 잔차: 열화된 토큰은 크기 조절되어 저랭크 입력 잔차로 주입되어 장면 구조를 강화합니다.
  • 이중 경로 메모리: 전체 열화된 주의는 두 개의 학습된 쿼리 풀러를 사용하여 고정된 메모리 예산으로 압축됩니다:
    • 기본 경로: $x_{deg}$를 풀링하여 전역 레이아웃과 조명을 보존합니다.
    • 세부 경로: 고주파 잔차 ($x_{deg} - \text{smooth}(x_{deg})$) 를 풀링하여 국소 얼굴 단서를 강조합니다.
  • 이를 통해 각 블록은 주요 연결 경로를 대체하지 않고도 거친 구조와 미세한 세부 사항을 모두 읽을 수 있습니다.

2. 훈련 목적

모델은 **흐름 매칭 목적 함수 (flow-matching objective)**를 사용하여 잠재 공간에서 훈련됩니다.

• 복원 손실: 흐름 장 ($L_{fm}$) 을 회귀합니다.
• 신원 손실 ($L_{id}$): 참조 인지 샘플의 경우, 복원된 이미지와 참조 앵커 간의 코사인 유사도 손실을 계산합니다.
  • 불완전한 참조를 위해 안정화 항 ($L_{hard}$) 이 도입되며, 참조와 깨끗한 목표 간의 일관성에 따라 가중치가 부여됩니다.
  • 신원 손실은 시그마 가중치 ($\omega(\sigma)$) 를 적용하여 고노이즈 단계를 강제로 건너뛰는 대신 하향 가중합니다.
• 무참조 모드: 참조가 부재할 때 신원 손실은 0 이며, 흐름 매칭 손실과 열화된 이미지로부터의 약한 자기 조건부에만 의존합니다.

주요 기여

1. 통합 선택적 참조 공식화: 비대칭 조건부를 통해 단일 체크포인트가 참조 인지 및 무참조 복원을 모두 지원하여 별도의 모델이 필요하지 않습니다.
2. 비대칭 신원 - 구조 조건부: 참조는 전역 신원 컨트롤러 (AdaFace 변조) 로 압축되고, 열화된 이미지는 저랭크 잔차 및 이중 경로 메모리를 통해 공간 구조 앵커로 강화되는 새로운 설계입니다.
3. 경량 경로: 노름 가중 AdaFace 변조 및 저랭크 교차 주의의 사용은 무거운 계산 오버헤드 없이 신원과 구조를 효율적으로 통합합니다.
4. 누락된 참조에 대한 견고성: 참조가 부재할 때 모델은 자연스럽게 열화된 이미지만 사용하는 복원으로 폴백하여 강력한 지각적 품질을 유지합니다.

실험 결과

저자들은 IConFace 를 네 가지 참조 인지 벤치마크 (CelebA-Test-Ref, FFHQ-Ref Moderate, FFHQ-Ref Severe, CelebHQRef100) 와 다섯 가지 무참조 벤치마크 (LFW, CelebChild, WebPhoto, Wider-Test, CelebA-Test) 에서 평가했습니다.

• 참조 인지 성능: IConFace 는 모든 벤치마크에서 Ref-ArcFace 및 Ref-AdaFace에서 최첨단 성능을 달성했습니다. 특히 심한 열화 분할 (FFHQ-Ref Severe 및 CelebHQRef100) 에서 유의미한 향상을 보였습니다 (예: FFHQ-Ref Severe 에서 최상위 베이스라인 대비 Ref-AdaFace +0.104). 또한 지각적 지표 (MUSIQ, CLIP-IQA, MANIQA) 에서 최상위 성능을 유지하여 신원 복원이 시각적 충실도를 희생하지 않았음을 입증했습니다.
• 무참조 성능: 참조가 없는 경우, IConFace 는 모든 무참조 데이터셋에서 MUSIQ, CLIP-IQA, MANIQA 에서 1 위를 차지하여 참조 인지 훈련이 모델을 과도하게 특화시키지 않았음을 증명했습니다.
• 절대 연구: 실험은 전역 신원 경로가 참조 정렬의 주요 동인이었으며, 열화된 구조 경로가 출력 구조를 안정화하는 데 일관된 향상을 제공했음을 확인했습니다. **이중 경로 메모리 (기본 + 세부)**는 단일 경로 변형보다 우월하여 전역 레이아웃과 국소 세부 사항의 분리를 검증했습니다.

중요성 및 주장

이 논문은 IConFace 가 신원 제어와 공간 구조를 명시적으로 분리함으로써 "참조 외모의 과도한 사용" 문제를 성공적으로 해결했다고 주장합니다. 참조에 전역 신원 역할을, 열화된 입력에 구조 보존 역할을 할당함으로써, 모델은 자세와 표정을 열화된 입력에 엄격히 준수하면서도 신원 일관적인 세부 사항 (예: 눈 간격, 피부 질감, 점) 을 복원합니다.

저자들은 이 접근 방식이 열화된 이미지가 충분한 신원 증거를 제공하지 않지만 참조가 얼굴 상태를 지시하지 않고 신원 증거를 제공하는 심한 열화 상황에서 특히 가치 있다고 강조합니다. 모델의 통합적 성격은 참조가 가능한 개인 사진 향상과 참조가 없는 일반 블라인드 복원 모두에 대한 견고한 솔루션으로 기능하게 하여, 참조 인지 및 무참조 패러다임 간의 격차를 해소합니다.