Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production

기술 요약: 수어 생성을 위한 컨텍스트 인식 자기회귀 확산 모델 (GARD)

문제 정의
현재의 수어 생성(SLP) 방식은 자연스러운 문장 수준의 수어 동작을 생성하는 데 있어 상당한 어려움을 겪고 있습니다. 전체 시퀀스를 한 번에 생성하는 엔드 투 엔드(End-to-end) 접근 방식은 문장 길이가 길어짐에 따라 시간적 드리프트(temporal drift)와 손 동작의 흐릿함(motion blur)이 발생하는 경우가 많으며, 이는 누적된 예측 오류와 손가락 관절 표현과 같은 중요한 의미론적 세부 사항의 저하로 이어집니다. 반대로, 미리 구성된 글로스(gloss) 세그먼트를 이어 붙이는 방식은 수어 특유의 자연스러운 '공수행(coarticulation)'—즉, 한 글로스의 실행이 다음 글로스에 영향을 미치는 현상—을 포착하지 못하는 경우가 많습니다. 기존의 글로스 단위 검색 방식은 연속된 글로스 간의 운동학적 및 의미론적 결합을 명시적으로 모델링하지 못하여, 급격한 경계 전환, 불일치하는 회전, 제한된 동작 변화를 초ق합니다.

방법론: GARD 프레임워크
저자들은 공수행을 명시적으로 모델링하면서 글로스 단위로 수어 동작을 생성하도록 설계된 프레임워크인 GARD(Context-Aware Gloss-wise AutoRegressive Diffusion) 모델을 제안합니다.

1. 자기회귀 확산 프로세스 (Autoregressive Diffusion Process):

   • GARD는 글로스를 근본적인 의미 단위로 취급합니다. 현재 글로스 단어($g_n$)와 이전 글로스 단어($g_{n-1}$)를 조건으로 하여 $n$번째 글로스의 동작($m_n$)을 순차적으로 생성합니다.
   • 모델은 트랜스포머 인코더(Transformer Encoder) 기반의 **컨텍스트 인식 디노이저(Context-Aware Denoiser)**를 활용합니다. 이 디노이저는 노이즈가 섞인 동작 샘플을 입력받아 깨끗한 동작을 재구성하기 위해 주입된 노이즈를 예측합니다.
   • 다중 조건화 (Multi-Conditioning): 디노이저는 세 가지 벡터를 조건으로 합니다:
     • 현재 글로스의 의미론적 컨텍스트($\tau_{gloss}(g_n)$).
     • 이전 글로스의 의미론적 컨텍스트($\tau_{gloss}(g_{n-1})$).
     • 이전 동작의 운동학적 컨텍스트($\omega_{motion}(m_{n-1})$).
   • 의미론적 컨텍스트는 미세 조정된 mBART 모델을 통해 추출되며, 운동학적 컨텍스트는 학습 가능한 트랜스포머 인코더를 사용하여 인코딩됩니다.

2. 글로스 간 전환 가이드 (Inter-Gloss Transition Guidance, IG-Guidance):

   • 연속된 글로스 사이의 경계에서 발생하는 포즈 격차를 해결하기 위해, IG-Guidance는 확산 샘플링 과정 중에 그래디언트 기반 제어를 적용합니다.
   • 이는 현재 글로스의 첫 번째 프레임과 이전 글로스의 마지막 프레임(운동학적 힌트) 사이의 회전 불일치를 최소화합니다.
   • 결정적으로, 회전 오차를 측정할 때 유클리드 거리가 아닌 회전 매니폴드 $SO(3)$ 상의 **측지선 거리(Geodesic distance)**를 사용하여 기하학적으로 정확한 관절 회전 정렬을 보장합니다.

3. 글로벌 모션 하모나이저 (Global Motion Harmonizer, GM-Harmonizer):

   • IG-Guidance가 경계를 정렬한다면, GM-Harmonizer는 이 정렬의 영향력을 전체 글로스 동작 시퀀스 전체로 전파합니다.
   • 메인 디노이저의 학습 가능한 복제본으로 구현되었으며 잔차 학습(residual learning) 전략을 사용하며, 운동학적 힌트를 받아 이후의 프레임들을 정교화합니다.
   • 이 모듈은 초기 생성 과정을 방해하지 않으면서도 경계에서 설정된 자연스러운 흐름을 전체 글로스 지속 시간 동안 유지하기 위해, 계층적으로 교정 사항을 주입하는 제로 초기화 선형 레이어(zero-initialized linear layers)를 사용합니다.

주요 기여

• GARD 아키텍처: 의미론적(언어적) 및 운동학적(동작) 컨텍스트를 모두 활용하여 공수행을 모델링함으로써 글로스 단위의 자기회귀적 생성을 수행하는 새로운 확산 기반 프레임워크입니다.
• 공수행 전략: 두 가지 특화된 모듈을 도입했습니다:
  • IG-Guidance: 매끄러운 포즈 일관성을 보장하기 위해 회전 매니폴드 상의 그래디언트 기반 최적화를 사용하여 경계 포즈를 정렬합니다.
  • GM-Harmonizer: 경계 정렬을 전파하여 시간적으로 매끄럽고 일관된 역학을 유지하도록 글로벌 모션 시퀀스를 정교화합니다.
• 성능: 모델은 언어적 정확도와 동작 유사도 모두에서 최첨단(SOTA) 결과를 달면합니다.

실험 결과
저자들은 두 가지 대규모 벤치마크인 PHOENIX-2014T(독일 수어)와 CSL-Daily(중국 수어)에서 GARD를 평가했습니다.

• 정량적 성능: GARD는 키포인트 기반 및 3D 메쉬 기반 방법들과 비교하여 우수한 점수를 기록했습니다.
  • Phoenix-T에서 BLEU-4 13.16, ROUGE 37.47, DTW-Hand 점수 1.21(낮을수록 좋음)을 달성했습니다.
  • CSL-Daily에서 BLEU-4 12.73, ROUGE 36.76, DTW-Hand 점수 1.56을 달성했습니다.
  • DTW-Hand(손 관절에 대한 동적 시간 워핑)의 유의미한 향상은 수어의 의미 전달에 핵심적인 미세한 손가락 관절 표현을 더 잘 포착했음을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 컨텍스트: 의미론적 컨텍스트와 운동학적 컨텍스트를 결적으로 결합했을 때 가장 높은 성능을 보였으며, 특히 의미론적 컨텍스트가 단어 오류율(WER) 감소에 가장 큰 기여를 했습니다.
  • 모듈: IG-Guidance 또는 GM-Harmonizer 중 하나라도 제거하면 성능 저하가 발생했습니다. IG-Guidance는 공간적 불일치를 해결하는 데, GM-Harmonizer는 이후 프레임의 시간적 매끄러움을 유지하는 데 필수적임이 입증되었습니다.
  • 기하학: IG-Guidance에 측지선 거리를 사용하는 것이 표준 L2 거리를 사용하는 것보다 우수한 성능을 보였습니다.
• 정성적 분석: 시각적 비교를 통해 GARD가 평균화된 포즈나 급격한 전환을 보이는 SOKE 및 S-MotionGPT와 같은 모델에 비해 더 자연스러운 손가락 움직임과 신체 전환을 생성함을 보여주었습니다.

의의 및 한계
본 논문은 GARD가 글로스 간의 의존성을 명시적으로 모델링함으로써 기존 SLP 방법들의 근본적인 한계를 해결한다고 주장합니다. 글로스를 주요 단위로 취und하고 확산 기반 가이드를 통해 운동학적 연속성을 강제함으로써, 모델은 언어적으로 정확하면서도 시각적으로 자연스러운 수어 시퀀스를 생성합니다.

저자들은 주요 한계점으로, 자기회귀적이고 반복적인 확산 샘플링 프로세스에 의존하기 때문에 현재 실시간 상호작용을 수행하기에는 추론 속도가 어렵다는 점을 인정합니다. 그러나 본 연구는 고정밀, 컨텍스트 인식 수어 합성의 새로운 기준을 제시했습니다.