기술 요약: 헤드 유사성

문제 정의

기존 얼굴 인식 시스템은 헤어스타일, 메이크업, 노화 등의 동일 내 변이를 의도적으로 억제하여 한 사람의 모든 샘플을 단일 컴팩트 군집으로 축소하도록 설계된 정체성 불변 임베딩을 학습하도록 고안되었습니다. 생체 인증에는 효과적이지만, 비디오 생성, 재연, 편집과 같이 외관 민감 일관성이 필요한 시나리오에서는 실패합니다. 이러한 맥락에서 목표는 단순히 법적 정체성을 검증하는 것이 아니라, 외관 속성이 변하더라도 시퀀스가 시각적으로 동일한 인물을 묘사하도록 보장하는 것입니다.

현재 모델들은 전체 헤드 유사성에 대해 어려움을 겪는데, 그 이유는 다음과 같습니다:

1. 동일한 정체성의 서로 다른 외관 상태를 단일 표현으로 축소하여, 안경을 쓴 사람과 안경을 쓰지 않은 사람, 또는 다른 헤어스타일을 가진 사람을 구분하지 못합니다.
2. 정렬된 얼굴 컷에서 정렬되지 않은 전체 헤드 이미지로 이동할 때 (분포 이동) 성능이 크게 저하됩니다.
3. 서로 다른 정체성의 샘플이 유사한 시각적 속성을 공유하더라도, 서로 다른 외관 (예: 다른 헤어스타일) 을 가진 동일 정체성 샘플이 더 높은 순위로 매겨지는 계층적 유사성 순서를 강제할 수 없습니다.

본 논문은 정체성 중심 인식을 구조화된 전체 헤드 외관 모델링으로 확장하는 새로운 공식인 헤드 유사성을 소개합니다. 이는 조명, 배경, 미세한 자세와 같은 방해 요인에 대한 불변성을 유지하면서 정체성 구별 능력을 유지함과 동시에 구조화된 동일 내 외관 변이를 보존하는 것을 목표로 합니다.

방법론

제안된 프레임워크는 이중-CLS 비전 트랜스포머 아키텍처와 계층적 유사성 감독, 정체성 인식 증류를 결합하여 문제를 해결합니다.

1. 문제 공식화

이 작업은 임베딩 공간에서 세 가지 쌍별 관계로 정의됩니다:

• $R_1$: 동일한 정체성, 동일한 외관 상태 (가장 밀집된 군집).
• $R_2$: 동일한 정체성, 서로 다른 외관 상태 (중간 거리).
• $R_3$: 서로 다른 정체성 (가장 멀리 떨어짐).

목표는 계층적 순서를 강제하는 임베딩 함수 $f_\theta$를 학습하는 것입니다:
$$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$$
여기서 $s_\theta$는 코사인 유사도입니다. 이는 정체성 일관성이 외관 유사성보다 우선하되, 동일 정체성 내에서도 외관 상태를 구별할 수 있도록 보장합니다.

2. 아키텍처: 이중-CLS 비전 트랜스포머

백본은 AdaFace 로 사전 학습된 비전 트랜스포머 (ViT) 입니다. 단일 분류 토큰을 사용하는 표준 얼굴 인식 시스템과 달리, 이 모델은 두 개의 학습 가능한 CLS 토큰을 사용합니다:

• $CLS_{id}$: 정체성 보존을 위해 최적화됨.
• $CLS_{head}$: 외관 민감 헤드 유사성을 위해 최적화됨.

두 토큰은 동일한 백본 파라미터를 공유하지만, 별도의 프로젝션 헤드 ($g_{id}$ 및 $g_{head}$) 를 통해 별도의 임베딩 ($z_{id}$ 및 $z_{head}$) 으로 투영됩니다.

• $z_{id}$: 추론 시 정체성 검증 및 유사성 순위 매김에 모두 사용됩니다. 증류 및 계층적 손실로 함께 학습됩니다.
• $z_{head}$: 외관 민감 신호를 제공하기 위해 학습 중에만 사용되는 보조 임베딩이며, 추론 시에는 폐기됩니다.

3. 학습 전략

학습 파이프라인은 세 가지 핵심 구성 요소를 포함합니다:

1. 증류 기반 정체성 정렬: 사전 학습에 사용된 정렬된 얼굴 컷과 전체 헤드 입력 간의 분포 격차를 해소하기 위해, $z_{id}$ 분기는 정렬된 얼굴로 학습된 고정된 교사 네트워크 (AdaFace-ViT) 와 정렬됩니다. 손실은 $L_{align} = 1 - \cos(z_t, z_{id})$로 정의됩니다.
2. 계층적 유사성 손실: Softplus 기반의 다중 수준 마진 손실이 $R_1 > R_2 > R_3$ 순서를 강제합니다. 이는 $z_{id}$와 $z_{head}$ 모두에 적용되어 정체성 및 외관 표현을 공동으로 구조화합니다.
3. 데이터셋 구축: 장편 비디오에서 대규모 벤치마크 데이터셋 (HeadSim-Head) 이 구축되었습니다. 외관 상태에 대한 약한 감독은 시간적 그룹화 (동일한 짧은 비디오 세그먼트 내의 프레임은 동일한 외관 상태를 공유한다고 가정) 에서 파생됩니다. 이 데이터셋은 다양한 자세, 가림, 시간적 변화를 포괄합니다.

주요 기여

1. 작업 정의: 구조화된 전체 헤드 외관을 모델링하고 동일 내 변이를 명시적으로 보존하는 헤드 유사성 도입으로, 정체성 불변 얼굴 인식을 넘어선 공식화.
2. 벤치마크: 약한 감독된 외관 상태를 가진 장편 비디오에서 대규모 데이터셋 구축으로, 다양한 자세, 가림, 시간적 변화를 포괄.
3. 방법론: 정체성 인식 증류와 계층적 유사성 감독을 결합하여 정체성 보존과 외관 민감 유사성을 공동으로 모델링하는 간단하면서도 효과적인 이중-CLS 비전 트랜스포머 기준 제안.
4. 실증적 발견: 기존 얼굴 인식 모델이 외관 의존적 유사성을 포착하지 못함을 입증한 반면, 제안된 방법은 정체성 검증 능력을 희생하지 않으면서 강력한 전체 헤드 매칭을 달성함을 보여줌.

실험 결과

얼굴 검증 성능

얼굴 인식 모델을 전체 헤드 입력에 적응시킬 때, 표준 모델은 심각한 성능 저하를 겪습니다.

• AdaFace-ViT: FAR=$10^{-3}$에서의 검증률 (VR) 이 정렬된 얼굴 (0.914) 에서 전체 헤드 (0.078) 로 떨어집니다.
• 증류된 AdaFace: 제안된 증류 접근법은 성능을 회복하여 전체 헤드 입력에서 FAR=$10^{-3}$에서 0.912의 VR 을 달성하며, 정렬된 얼굴 기준과 밀접하게 일치합니다.

헤드 유사성 성능

HeadSim-Head 데이터셋에서 제안된 방법은 구조화된 외관 상태를 구별하는 데 있어 기준 모델보다 우수한 성능을 보입니다:

• Ours: FAR=$10^{-3}$에서 0.862의 VR 과 0.996의 AUC 를 달성합니다.
• TransReID-ViT: 강력한 유사성 성능 (0.749 VR) 을 달성하지만, 정체성 검증 (VoxCeleb2 에서 0.025 VR) 에 실패하여 전역 외관 단서에 지나치게 의존하고 정체성 구별 능력이 부족함을 나타냅니다.
• Vanilla AdaFace: 외관 변이를 축소하여 성능이 저조합니다 (0.326 VR).

제거 실험

이 연구는 **토큰 수준 분리 (이중-CLS)**가 헤드 수준 분리나 공유 임베딩보다 우수함을 확인합니다.

• 이중-CLS (Ours): FAR=$10^{-3}$에서 0.962 VR.
• 이중-헤드 (분할): 0.762 VR. 토큰 수준 분리 없이 헤드를 분리하면 유사성 분기에 대한 정체성 감독이 부족해집니다.
• 공유 임베딩: 0.892 VR. 단일 표현은 불변성과 변이 보존이라는 상충되는 목표를 균형 있게 유지하는 데 어려움을 겪습니다.

중요성 및 주장

본 논문은 헤드 유사성이 프레임 간 시각적 일관성이 요구되는 비디오 생성 및 편집과 같은 응용 분야에서 필수적인 얼굴 유사성과 전체적 헤드 수준 유사성 사이의 중요한 간극을 메운다고 주장합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 억제하는 대신 동일 내 외관 변이를 명시적으로 포착합니다.
• 계층적 순서를 강제하여 정체성 일관성이 주요 요인으로 남으면서도 서로 다른 외관 상태의 구별을 허용합니다.
• 실현 가능성을 입증합니다: 결과는 장편 비디오에서의 약한 감독과 기존 얼굴 인식 모델에서의 증류를 활용하는 상대적으로 간단한 프레임워크를 사용하여 구조화된 전체 헤드 유사성 모델링이 가능함을 보여줍니다.

본 논문은 외관 상태가 약하게 감독되어 (잠재적으로 노이즈가 있을 수 있음) 있으며, 현재 계층이 주관적 판단의 완벽한 모델이 아니라 인간 지각의 대리 모델임을 지적하며 한계를 인정합니다. 제안된 프레임워크는 이 새로운 작업을 위한 기준으로 제시됩니다.