Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 수어 (Sign Language) 는 전 세계 수백만 명의 청각 장애인을 위한 주요 의사소통 수단입니다. 텍스트 입력을 기반으로 자연스럽고 정확한 3D 아바타 수어 동작을 생성하는 것은 접근성, 가상 아바타, 교육 등 다양한 분야에서 중요한 과제입니다.
• 문제점:
  • 기존 연구 (예: SignAvatar) 는 주로 '글로스 (gloss, 수어 단어 라벨)'를 조건으로 사용하지만, 수어의 내재된 음운론적 구조 (phonological structure) 를 무시하는 경향이 있습니다.
  • 수어는 음성 언어의 음소 (phoneme) 와 유사하게 손 모양 (hand shape), 위치 (location), 움직임 (movement), 손바닥 방향 등의 음운론적 매개변수로 구성됩니다.
  • 이러한 구조적 정보를 활용하지 않으면 모델의 일반화 능력과 제어 가능성이 제한됩니다.
  • 또한, 수어 생성을 위한 강력한 확산 모델 (Diffusion Model) 기반의 베이스라인이 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 확산 모델 (Diffusion Model) 기반의 프레임워크를 제안하며, 텍스트 조건부 생성에 음운론적 속성 (phonological attributes) 을 어떻게 효과적으로 통합할지 체계적으로 분석합니다.

2.1. 동작 표현 및 모델 아키텍처

• 동작 표현: SMPL-X 상체 모델 (척추, 몸통, 양손 포함 43 개 관절) 을 사용하며, 각 관절 회전은 6D 연속 회전 표현 (6D continuous rotation representation) 으로 인코딩됩니다.
• 모델 구조: Human Motion Diffusion Model (MDM) 스타일의 Transformer 인코더 기반 확산 모델을 채택합니다.
  • 입력: 노이즈가 추가된 동작 시퀀스 ($x_t$), 시간 단계 ($t$), 조건 토큰 ($c$).
  • 학습 목표: 재구성 손실 (MSE) 과 속도 손실 (Velocity loss) 을 결합하여 손과 팔의 움직임을 강조합니다.
  • 추론: DDIM 샘플링을 사용하여 50 단계로 빠른 생성을 수행합니다.

2.2. 조건부 생성 메커니즘 (Conditioning Mechanism)

텍스트 인코더와 조건부 입력 방식에 대한 다양한 변형을 실험합니다.

• 데이터: ASL3DWord (WLASL 기반) 와 ASL-LEX 2.0 (2,700 개 이상의 수어에 대한 22 가지 음운론적 차원 주석) 을 사용합니다.
• 조건부 입력 유형:
  1. Gloss-only: 단어 라벨만 사용.
  2. Gloss + Attributes: 글로스 + ASL-LEX 의 8 가지 음운론적 속성 (손 모양, 위치, 이동 경로 등) 을 결합.
• 주목할 점 (Notation Format): ASL-LEX 의 기호적 표기 (symbolic notation, 예: "open b") 를 자연어 (natural language, 예: "all four fingers extended") 로 변환하는지 여부에 따라 실험을 수행했습니다.
• 텍스트 인코더 비교:
  • CLIP: 시각 - 언어 대비 학습을 통해 훈련된 인코더.
  • T5: 시퀀스 투 시퀀스 (seq2seq) 언어 모델.

3. 주요 기여 (Key Contributions)

1. 강력한 확산 모델 베이스라인 수립: MDM 스타일 확산 모델을 사용하여 SMPL-X 기반 수어 동작을 생성하는 베이스라인을 구축했습니다. 이 모델은 기존 최첨단 방법인 SignAvatar(CVAE 기반) 보다 글로스 판별력 (discriminability) 에서 우수한 성능을 보였습니다.
2. 음운론적 속성 조건부의 체계적 분석: 텍스트 인코더 (CLIP vs T5), 조건부 모드 (글로스만 vs 속성 포함), 표기 형식 (기호 vs 자연어) 에 대한 철저한 제거 실험 (ablation study) 을 수행했습니다.
3. 입력 표현의 중요성 규명: CLIP 기반 조건부 생성에서 기호적 표기를 자연어로 변환하는 것이 필수적임을 발견했습니다. 반면, T5 는 변환 여부에 크게 영향을 받지 않는 비대칭적인 반응을 보였습니다.

4. 실험 결과 (Results)

4.1. 베이스라인 비교 (Diffusion vs. SignAvatar)

• 판별력 (Discriminability): 제안된 확산 모델 (CLIP, Gloss-only) 은 SignAvatar 대비 정확도 (Accuracy: 0.838 vs 0.758) 와 KNN 정확도에서 현저히 높은 성능을 보였습니다.
• 분포 품질 (Distributional Quality): FID 점수는 유사했으나 (62.44 vs 62.23), 확산 모델은 모드 붕괴 (mode collapse) 없이 더 다양성 (Diversity) 을 유지했습니다.

4.2. 조건부 조건 제거 실험 (Ablation Study)

• CLIP 의 경우:
  • 기호적 표기 (Symbolic) 사용 시: 성능이 급격히 저하됨 (Accuracy 0.838 $\to$ 0.201, FID 62.44 $\to$ 127.95). CLIP 이 훈련 데이터와 다른 분포의 기호 토큰을 처리하지 못함.
  • 자연어 매핑 (Mapped) 사용 시: 성능이 극적으로 회복되어 최상의 결과를 기록 (Accuracy 0.794, FID 55.11). 모든 지표에서 SignAvatar 를 상회함.
• T5 의 경우:
  • 기호적 표기와 자연어 매핑 모두에서 성능 변화가 미미함 (Accuracy 0.525 $\to$ 0.546). T5 의 서브워드 토크나이저가 구조화된 문자열을 자연스럽게 처리하기 때문.
  • 단, T5 는 글로스만 입력 시 CLIP 보다 성능이 낮음 (0.496 vs 0.838).

4.3. 바리에이션 비율 (Variance Ratio) 분석

• SignAvatar 는 손과 팔의 동작이 실제 데이터보다 과소 표현 (under-articulation) 되는 경향이 있었습니다.
• 반면, 모든 확산 모델 변형은 손과 팔에서 약간 과대 표현 (over-articulation) 되는 경향을 보였으나, 이는 조건부 방식보다는 확산 모델 자체의 특성으로 판단됩니다.

5. 논의 및 의의 (Discussion & Significance)

• 입력 표현의 결정적 역할: 텍스트 인코더의 특성에 따라 조건부 입력의 처리 방식이 달라져야 합니다. CLIP 은 훈련 분포와 일치하는 자연어 입력이 필수적이며, T5 는 구조화된 기호에도 강건합니다. 이는 텍스트 인코더가 속성 통합의 주요 병목 현상임을 시사합니다.
• 데이터 정렬 문제: WLASL 비디오의 다양한 수어 변형과 ASL-LEX 의 표준 주석 간의 불일치 (label noise) 가 성능 향상의 한계 요인으로 작용했습니다.
• 미래 방향 (Structured Tensor Conditioning): 텍스트 문자열 인코딩 파이프라인에 의존하는 대신, 글로스 식별자와 음운론적 속성을 독립적인 경로 (예: FiLM modulation) 로 인코딩하는 구조화된 텐서 조건부 방식이 필요함을 제안합니다. 이는 각 음운론적 차원의 구성적 독립성을 보존하고 표현 능력을 극대화할 수 있습니다.

결론

이 논문은 확산 모델을 기반으로 한 수어 동작 생성의 새로운 베이스라인을 제시하고, 음운론적 속성 조건부의 효과를 체계적으로 입증했습니다. 특히, CLIP 기반 조건부 생성을 위해 기호적 표기를 자연어로 변환하는 것의 중요성과 입력 표현 방식의 최적화가 성능 향상의 핵심임을 밝혔습니다. 이는 향후 더 제어 가능하고 언어학적으로 타당한 수어 생성 시스템 개발을 위한 중요한 통찰을 제공합니다.