AU Codes, Language, and Synthesis: Translating Anatomy to Text for Facial Behavior Synthesis

1. 연구 배경 및 문제 제기 (Problem)

• 기존 방법의 한계: 기존의 텍스트-얼굴 (Text-to-Face) 합성 모델들은 주로 거친 감정 카테고리 (예: '행복', '슬픔') 나 단순한 AU(Action Unit) 라벨 (One-hot 벡터) 에 의존합니다. 이는 인간 비언어적 커뮤니케이션의 미세한 뉘앙스를 포착하지 못합니다.
• 선형성 가정의 결함: 기존 AU 기반 접근법은 복합적인 표정을 개별 AU 의 단순한 선형 결합으로 모델링합니다. 그러나 상충되는 AU(Conflicting AUs) (예: 입꼬리를 아래로 당기는 AU15 와 위로 당기는 AU17 이 동시에 활성화되는 경우) 가 존재할 때, 이 선형 가정은 해부학적으로 불가능한 결과 (동시에 위아래로 움직이는 모순된 근육 운동) 를 초래하여 비자연스러운 아티팩트를 발생시킵니다.
• 데이터 부족: 복잡한 얼굴 행동, 특히 상충되는 근육 운동을 설명할 수 있는 대규모 텍스트 - 이미지 쌍 데이터셋이 부재했습니다.

2. 제안 방법 (Methodology)

저자들은 AU 설명 (AU Descriptions) 을 기반으로 한 새로운 얼굴 행동 합성 패러다임을 제안합니다. 이는 해부학적 정밀성을 유지하면서 자연어 처리의 유연성을 결합한 접근법입니다.

A. 데이터셋 구축: BP4D-AUText

• 동적 AU 텍스트 프로세서 (Dynamic AU Text Processor): BP4D 및 BP4D+ 데이터셋의 AU 주석을 기반으로 구축된 세계 최초의 대규모 텍스트 - 이미지 쌍 데이터셋입니다.
• 처리 원리:
  1. 개별 AU 는 FACS(표정 행동 코딩 시스템) 의 표준 정의에 따라 텍스트로 변환됩니다.
  2. 비상충 AU 는 연결 (concatenation) 됩니다.
  3. 상충되거나 상호작용하는 AU는 생리학적 효과를 반영한 통합된 문장으로 재작성됩니다 (예: "입꼬리가 약간 아래로 당겨지지만 입술이 긴장됨").
• 통계: 302,169 개의 이미지로 구성되며, 전체 항목의 81.4% 가 상충되는 AU 조합을 포함하여 모델의 복잡성 처리 능력을 검증하기에 적합합니다.

B. 생성 모델: VQ-AUFace

텍스트 기반 AU 설명에서 고품질 얼굴 이미지를 생성하는 생성 프레임워크입니다.

1. 해부학적 사전 지식 기반 합성 (Anatomical Prior-Driven Synthesis):
   • Face Encoder: 참조 얼굴에서 세 가지 토큰을 추출합니다.
     • $T_A$: 외관 토큰 (얼굴 형태, 피부 질감).
     • $T_S$: 구조 토큰 (근육 배치, 공간적 정보).
     • $T_V$: VAE 토큰 (저수준 이미지 특징).
   • Anatomical Loss: VQGAN 디코더가 해부학적으로 타당한 얼굴 구조를 생성하도록 유도하는 손실 함수를 도입합니다.
2. 점진적 교차 모달 정렬 (Progressive Cross-Modal Alignment):
   • Text Encoder: T5-large 를 사용하여 AU 설명을 인코딩합니다.
   • AU Cross-Attention: 텍스트 토큰과 구조 토큰 ($T_S$) 간의 크로스 어텐션을 계산하여 공간적으로 일관된 근육 활성화 패턴을 인코딩한 AU 토큰 ($T_{AU}$) 을 생성합니다. 이를 통해 상충되는 AU 간의 갈등을 해결합니다.
   • Token Fusion: $T_A, T_{AU}, T_V$를 융합하여 MaskGit Transformer 에 입력하고, 최종 이미지를 생성합니다.

C. 새로운 평가 지표: AAAD

• AU 확률 분포 정렬 정확도 (Alignment Accuracy of AU Probability Distributions): 생성된 이미지와 입력 텍스트 간의 의미적 일관성을 정량화하는 지표입니다.
• 이미지와 텍스트 각각에서 AU 활성화 확률 분포를 예측한 후, 두 벡터 간의 코사인 유사도를 계산하여 정규화합니다. 이는 기존 이미지 품질 지표 (FID 등) 로는 측정할 수 없는 '해부학적 정확도'를 평가합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: AU 라벨 대신 자연어 AU 설명을 주요 제어 신호로 사용하는 얼굴 행동 합성 작업을 제안했습니다.
2. BP4D-AUText 데이터셋: 복잡한 얼굴 행동 합성을 위한 최초의 대규모 텍스트 - 이미지 쌍 데이터셋을 공개했습니다.
3. AAAD 평가 지표: 텍스트 설명과 합성된 얼굴 행동 간의 의미적 정렬을 AU 활성화 분포를 통해 정량화하는 새로운 메트릭을 제안했습니다.
4. VQ-AUFace 모델: 해부학적 사전 지식과 점진적 정렬 메커니즘을 통해 상충되는 AU 를 포함한 복잡한 표정을 해부학적으로 타당하게 합성하는 베이스라인 모델을 개발했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • VQ-AUFace 는 기존 방법 (AnyFace, GANimation, Stable Diffusion 등) 대비 **AAAD 점수 (0.606)**에서 가장 높은 성능을 보였으며, 이미지 품질 지표 (FID, LPIPS) 에서도 최상위권을 기록했습니다.
  • Ablation Study: AU 텍스트 표현을 One-hot 라벨로 대체했을 때 AAAD 점수가 0.606 에서 0.459 로 급격히 하락하여, 텍스트 기반 설명의 해부학적 사전 지식 전달 능력이 성능 향상의 핵심임을 입증했습니다.
  • 일반화 능력: 훈련 데이터에 없던 새로운 AU 조합 (Unseen AU Combinations) 에 대해서도 오히려 더 높은 성능 (AAAD 0.607) 을 보여주어 강력한 일반화 능력을 입증했습니다.
• 정성적 평가 및 사용자 연구:
  • 상충되는 AU 조합 (예: AU12+AU15) 에 대한 사용자 평가 (AUCHS) 에서 VQ-AUFace 가 다른 모든 모델 (평균 4.102 점) 을 압도적으로 앞섰습니다.
  • 기존 모델들은 입꼬리 방향 모순, 눈썹 움직임 부재, 얼굴 구조 왜곡 등의 아티팩트를 보인 반면, 제안된 모델은 해부학적으로 일관된 미세한 표정을 생성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 얼굴 행동 합성 분야에서 단순한 감정 분류나 이진 AU 라벨을 넘어, 해부학적 구조를 반영한 자연어 설명 (AU Descriptions) 을 활용하는 패러다임을 정립했습니다.

• 해부학적 타당성: 근육의 상충 작용을 텍스트를 통해 명시적으로 모델링함으로써, 기존 선형 결합 방식의 한계를 극복하고 생리학적적으로 가능한 표정을 생성합니다.
• 표현의 풍부함: '슬픔'이라는 단일 레이블이 가진 다양한 하위 상태 (우울, 고통, 억제 등) 를 정밀하게 제어할 수 있게 합니다.
• 미래 전망: 제안된 AU 설명 패러다임은 특정 아키텍처에 종속되지 않으며, 최신 텍스트 - 이미지 생성 모델과 결합하여 더욱 정교하고 제어 가능한 얼굴 행동 합성 기술의 기반을 마련했습니다.

결론적으로, 이 논문은 언어 기반의 정밀한 해부학적 지시를 통해 인간 비언어적 커뮤니케이션의 복잡성을 디지털로 재현하는 데 있어 중요한 이정표가 되는 연구입니다.