기술 요약: AlignFace: 해석 가능한 개념 관계를 갖춘 인간 정렬형 얼굴 유사도 메트릭

문제 정의

생성된 얼굴 콘텐츠(예: 얼굴 편집, 프라이버시 보호)를 위한 현재의 컴퓨터 비전 모델들은 인간의 지각을 충실히 대변하지 못하는 유사도 메트릭에 의존하고 있습니다. 지각적 평가가 신호 기반 휴리스틱(예: PSNR, SSIM)에서 표현 기반 메트릭(예: LPIPS, DreamSim)으로 진화했음에도 불구하고, 기존 방식은 인지적 정렬 없이 행동 모델링에만 국한되어 있습니다. 이러한 "블랙박스" 모델들은 암묵적이고 가공적인 관계에 의존하며, 보편적인 관찰자를 가정하고, 다양한 인구 통계적 집단 간의 내재적 차이를 고려하지 못합니다. 결과적으로, 인간이 얼굴을 여전히 유사하다고 느낄 때에도 프라이버시 위험이나 정체성 변화를 과소평가하는 등 이해관계자에게 부정확한 평가 모델과 오해의 소지가 있는 가이드를 제공합니다.

저자들은 인지적 정렬을 달erm하기 위해서는 지각 모델이 과학적 인지 효과를 준수해야 한다고 주장합니다. 구체적으로, 인간의 얼굴 지각은 다음과 같은 특징을 가집니다:

1. 이중 처리(Dual Processing): 특징적 속성(눈 색깔과 같은 이산적 구성 요소)과 구성적 속성(동공 간 거리와 같은 공간적 배치) 모두에 대한 의존성.
2. 비선형 스케일링(Nonlinear Scaling): 속성 차이에 대한 인간의 지각은 선형적으로 확장되지 않으며, 비선형적인 정신물리학적 법칙을 따릅니다.
3. 인구 통계적 변이(Demographic Variance): 자신의 인구 통계적 그룹(민족, 성별)의 얼굴을 다른 그룹보다 더 정확하게 인식하는 **자기 집단 편향(own-group bias)**의 존재.

방법론

1. FACETS 데이터셋

모델을 인간의 인지에 접목하기 위해, 저자들은 대규모 인간 주석 데이터셋인 FACETS를 도입했습니다.

• 자극물(Stimuli): CMU Multi-PIE 및 CelebA 데이터셋으로부터 구축되었으며, 120개의 정체성(백인 및 아시아인 인구 통계를 균형 있게 구성)을 포함합니다. 이미지는 확산 기반 인페인팅(diffusion-based inpainting), 랜드마크 기반 워핑(landmark-based warping), GAN 기반 전이(GAN-based transfer)를 사용하여 20개의 인지 기반 속성(14개 특징적, 6개 구성적)에 대한 변형을 생성했습니다.
• 데이터 수집: 이지선다 강제 선택(Two-Alternative Forced Choice, 2AFC) 프로토콜을 활용하여 참가자들은 편집된 얼굴을 참조 모델과 비교했습니다.
  • 전체 유사도: 78명의 참가자로부터 9.36k개의 트리플릿 레이팅(triplet ratings)을 수집했습니다.
  • 속성 유사도: 611명의 참가자로부터 20개 속성에 대해 73.32k개의 트리플릿 레이팅을 수집했습니다.
• 분석: 이 데이터에 대한 예비 일반화 가법 모델(Generalized Additive Model, GAM) 분석을 통해 비선형적 속성 영향력과 자기 집단 및 타 집단 간의 지각 민감도 차이를 확인했습니다.

2. AlignFace 아키텍처

AlignFace는 이러한 인지 원칙을 인코딩하도록 설계된 사전 인지적 해석 가능(ante-hoc interpretable) 모델입니다. 이는 네 가지 주요 모듈로 구성됩니다:

1. 시각-언어 모델(VLM) 인코딩:

   • 공유 비전 인코더를 사용하여 얼굴 쌍($\hat{\mathbf{z}}_A, \hat{\mathbf{z}}_B$)에 대한 표현을 추출하고 관계적 차이($\hat{\mathbf{Z}}_\Delta$)를 계산합니다.
   • 텍스트 인코더는 속성 프롬프트(예: "동공 간 거리")를 처리하여 특정 차원을 따라 비교를 안내하는 앵커($\hat{\mathbf{Z}}_{attr}$)를 생성합니다.

2. 속성 게이트 크로스 어텐션(Attribute-Gated Cross-Attention, AGCA):

   • 이미지 차이 특징이 쿼리($Q$) 역할을 하고, 텍스트 속성 특징이 키($K$) 및 값($V$) 역할을 하는 다중 모달 퓨전을 수행합니다.
   • 학습 가능한 게이팅 인자($\tanh(\alpha)$)가 속성 조건부 신호의 주입을 제어하여, 차이 표현으로부터 속성 관련 시각적 특징을 효과적으로 추출합니다.

3. 개념 병목 모델(Concept Bottleneck Model, CBM):

   • AGCA의 출력은 해석 가능한 다중 레이블 이진 개념($\Delta\hat{\mathbf{c}}_{attr} \in [-1, +1]$)으로 제약됩니다.
   • 이는 모델의 추론이 잠재적이고 해석 불가능한 특징이 아닌, 명시적으로 분리된 얼굴 속성에 기반하도록 강제합니다.

4. 속성 영향 신경 일반화 가법 모델(Attribute-Influence Neural Generalized Additive Model, GAM):

   • 속성 차이를 신경 GAM을 사용하여 전체 유사도 점수로 매핑합니다: $F(\Delta\hat{\mathbf{c}}) = \sigma(\beta + \sum f_i(\Delta\hat{c}_i))$.
   • 각 $f_i$는 작은 신경망을 통해 구현된 스플라인(spline) 함수로, 비선형적 부분 영향을 포착합니다.
   • 지각적 일관성을 맞추기 위해 모노토니시티(단조성) 제약($\frac{\partial f_i}{\partial \Delta\hat{c}_i} \geq 0$)이 부과되어, 속성 차이가 커질 때 얼굴 거리가 감소하지 않도록 합니다.

3. 학습 목표

모델은 다중 작업 트리플릿 메트릭인 AlignFace2AFC로 학습됩니다. 두 가지 비교($\langle A, Ref \rangle$ 및 $\langle B, Ref \rangle$)에 대한 쌍별 거리를 예측하며, 예측된 상대적 거리 차이와 인간의 이진 레이블(어느 얼굴이 더 유사한지를 나타냄) 사이의 제곱 힌지 손실(squared hinge loss)을 최소화합니다. 학습은 단계별로 진행됩니다: 먼저 속성 수준의 예측을 학습하고 고정(freeze)한 다음, 전체 거리 손실에 대해 신경 GAM을 학습합니다.

주요 기여

1. 인지적 특성화: 특징적/구성적 의존성, 비선형 정신물리학적 스케일링, 인구 통계적 자기 집단 편향을 포함한 인간 얼굴 유사도 지각의 구체적인 인지적 특성을 규명했습니다.
2. AlignFace 모델: VLM, 게이트 크로스 어텐션, 개념 병목, 신경 GAM을 통합하여 인간 정렬을 강제하는 인지 기반의 해석 가능한 사전 인지적 모델을 제시했습니다.
3. AlignFace2AFC 메트릭: 근거 있는 속성을 통해 비선형적 기여를 정량화하는 설명 가능한 메트릭을 제공합니다.
4. FACETS 데이터셋: 인구 통계적 메타데이터를 포함하여, 전체 유사도 및 20개 속성 수준에서의 유사도 판단을 담은 얼굴 트리플릿의 새로운 데이터셋을 제공합니다.

결과

• 행동 일치성: AlignFace는 휴리스틱 메트릭(SSIM 등), 학습된 메트릭(LPIPS/DreamSim 등), 얼굴 특화 모델(ArcFace 등)을 포함한 베이스라인 모델들을 유의미하게 능가하며 인간의 2AFC 판단과 높은 일치도를 보였습니다. 전체 얼굴 지각에 대해 가장 높은 일치도 점수를 달보았습니다.
• 속성 일치성: 모델은 속성 수준의 예측에서 높은 일치도를 보였으며(FLIP 백본과 평균 일치도 0.79), 특히 머리카락 길이 및 눈썹 모양과 같은 속성에서 뛰어난 성능을 보였습니다.
• 해석 가능성 및 비선형성: 부분 의존도 플롯(Partial Dependence Plots, PDP)은 AlignFace가 속성 차이와 전체 유사도 사이의 매우 비선형적인 관계를 포착함을 보여주며, 인간 GAM과 높은 피어슨 상관계수($\rho \approx 0.94–0.98$)를 달성했습니다. 이는 속성 영향이 비선형적이라는 가설을 확인시켜 줍니다.
• 인구 통계적 민감도: 모델은 백인 및 아시아인 참가자가 자신의 인구 통계적 그룹의 얼굴과 타 그룹의 얼굴을 평가할 때 나타나는 서로 다른 민감도 경향을 성공적으로 포착했습니다.

의의

본 논문은 학습된 표현과 인간의 인지 과정을 연결함으로써, AlignFace가 얼굴 이미지에 대한 더욱 투명하고 정렬된 지각 평가 메트릭을 가능하게 한다고 주장합니다. 잘못된 상관관계의 위험이 있는 기존의 데이터 중심 접근 방식과 달리, AlignFace는 인지 심리학을 통해 이론적으로 정당화됩니다. 이는 개발자들이 특정 특징적/구성적 속성을 바탕으로 왜 두 얼굴이 유사하거나 다르게 인식되는지 이해할 수 있도록 설명 가능한 구조를 제공하여, 디지털 메이크업, 복원, 프라이버시 보호와 같이 "인간에게 미치는 실제 효과"를 정확하게 추정해야 하는 인간 중심적 작업에 필수적인 프레임워크를 제공합니다.