SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning

기술 요약: SIGNER - 시간 분해형 컨디셔닝을 통한 시계열적 접지력을 갖춘 수어 생성

문제 정의

수어 생성(SLG) 또는 텍스트-수어 생성은 음성 언어 텍스트로부터 수어 제스처 시퀀스를 합성함으로써 수어 사용자(Signer)와 비사용자 간의 의사소통 격차를 줄이는 것을 목표로 한다. 일반적인 생성 작업(예: 텍스트-이미지 생성)과 달리, SLG는 엄격한 언어적 요구 사항을 준수해야 한다:

1. 어휘 순서(Lexical Ordering): 수어는 '글로스(gloss)'라고 불리는 단어 형태의 단위와 정렬된 제스처 시퀀스를 통해 의미를 전달한다. 이러한 세그먼트들은 의도된 의미를 보존하기 위해 올바른 어휘 순서로 나타나야 한다.
2. 의미론적 정확성(Semantic Accuracy): 각 제스처는 그것이 나타내는 특정 글로스의 의미를 충실히 반영해야 한다.

기존 방식들은 이러한 제약 조건을 충족하지 못해 잘못된 어휘 순서를 생성하거나, 의미론적으로 모호하거나 불일치하는 세그먼트를 생성하는 경우가 빈번하다. 저자들은 그 근본 원인을 **전역 융합 컨디셔닝 전략(globally fused conditioning strategies)**으로 지목한다. 이전의 접근 방식들(예: 전체 시퀀스에 대한 교차 주의 집중(cross-attention) 사용)에서는 컨디셔닝 신호(텍스트 또는 글로스 특징)가 모든 타임스텝에 걸쳐 공유된다. 이는 시간적 접지력(temporal grounding)—특정 글로스와 실현된 수어 세그먼트 사이의 정밀한 시간적 대응 관계—을 약화시켜, 어휘적 단서의 시간적 혼선과 의미의 혼합을 초래한다.

방법론: SIGNER

저자들은 **시간 분해형 컨디셔닝(time-resolved conditioning)**을 통해 시간적 접지력을 강화하도록 설계된 프레임워크인 SIGNER를 제안한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어진다:

1. 동작 잠재 공간 학습 (PVQ-VAE)

손과 얼굴의 표현력을 높이기 위해, 저자들은 부분 인식 벡터 양자화 변이형 오토인코더(Part-Aware Vector Quantized Variational Autoencoder, PVQ-VAE)를 활용한다.

• 표현(Representation): 입력 동작은 몸(body), 왼손(left hand), 오른손(right hand), 얼굴(face)의 네 부분으로 분해된다.
• 인코딩(Encoding): 각 부분은 고유한 코드북을 가진 전용 1D 컨볼루션 인코더 및 디코더에 의해 처리된다.
• 양자화(Quantization): 연속적인 동작은 벡터 양자화를 통해 이산적인 토큰으로 매핑되며, 이 토کن들은 확산 과정(diffusion process)의 타겟으로 사용된다.

2. 시간적-글로스 컨디션 구축

시간 분해형 신호를 제공하기 위해, 시스템은 시간 차원에 정렬된 컨디션 시퀀스를 구축한다:

• 텍스트-글로스(Text-to-Gloss): 입력 텍스트는 기성 텍스트-글로스 모델을 사용하여 글로스 시퀀스로 변환된다.
• 지속 시간 추정(Duration Estimation): 학습된 MLP가 각 글로스의 지속 시간(프레임 단위)을 예측한다.
• 시퀀스 구축: 글로스 임베딩은 추정된 지속 시간에 따라 반복되어 시간 분해 시퀀스 $S$를 형성한다. 이를 통해 특정 글로스의 의미론이 특정 시간적 창(temporal window)에 명시적으로 할당되도록 보장한다.

3. 국소적 시간 융합(LTF)을 통한 시간 분해형 컨디셔닝

핵 핵심 혁신은 확산 디노이징(denoising) 과정 중 표준 교차 주의 집중과 같은 전역 융합 메커니즘을 대체하는 국소적 시간 융합(Local Temporal Fusion, LTF) 모듈이다.

• 아키텍처: 디노이저는 신체 부위들을 독립적으로 처리하지만, 신체, 손, 얼굴 간의 협응된 움직임을 촉진하기 위한 상호 부분 주의 집중(Inter-Part Attention, IPA) 모듈을 통해 상호작용한다.
• LTF 메커니즘: 모든 글로스 토큰에 전역적으로 주의를 기울리는 대신, LTF는 제한된 국소적 시간 창(constrained local temporal window) 내에서 시간적-글로스 컨디션을 통합한다.
  • 적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN)를 사용하여 현재 토큰 인덱스의 특정 글로스 컨디션에 따라 특징을 조절한다.
  • 1D 컨볼루션을 사용하여 국소적 시간적 문맥(local temporal context)을 집계한다.
• 효과: 이 설계는 글로스 의미론을 해당 토큰 인덱스에 고정하여, 시간 흐름에 따른 언어적 단서의 혼합을 방지하고 올바른 어휘 순서를 강제한다.

모델은 타임스텝-글로스 시퀀스에 조건화된 정답 토큰의 음의 로그 가능도(negative log-likelihood)를 최소화하는 표준 이산 확산 목적 함수를 사용하여 학습된다.

주요 기여

1. SIGNER 프레임워크: 어휘 순서와 의미론적 정확성을 강제하기 위해 시간 분해형 컨디셔닝을 구현한 수어 생성 프레임워크.
2. 국소적 시간 융합(LTF): 디노이징 중에 시간적-글로스 컨디션을 국소적으로 통합하는 새로운 융합 모듈. 이는 컨디셔닝을 국소적 이웃으로 제한함으로써 시간적 접지력을 보존하고, 전역 융합 방식에서 흔히 발생하는 의미론적 과잉 혼합을 방지한다.
3. 향상된 의미론적 정확성: 시간적 국소성을 강제함으로써 세그먼트의 모호성을 완화하고, 각 제스처가 의도된 글로스를 충실히 반영하도록 보장한다.

실험 결과

저자들은 두 개의 대규모 데이터셋인 Phoenix-2014T(독일어)와 CSL-Daily(중국어)에서 SIGNER를 평가했다.

• 최첨단 성능(State-of-the-Art Performance): SIGNER는 두 데이터셋 모두에서 모든 지표에 대해 기존 방식(MoMask, NAT-EA, SOKE 포함)보다 우수한 성능을 보였다.
  • 동작 정확도(Motion Accuracy): 더 낮은 동적 시간 워핑 결합 위치 오차(Dynamic Time Warping Joint Position Error, DTW-JPE)를 달성했다.
  • 언어적 충실도(Linguistic Fidelity): 수어-글로스 역번역(back-translation)에서의 단어 오류율(Word Error Rate, WER)을 유의미하게 개선했으며, 수어-텍스트 역번역에서의 BLEU-4 및 ROUGE 점수를 높였다.
• 어블레이션 연구(Ablation Studies):
  • LTF vs. 전역 융합: LTF를 전역 교차 주의 집중이나 완전 연결 계층(fully connected layers)으로 대체했을 때 상당한 성능 저하가 발생하여, 국소적 시간 집계의 필요성을 확인했다.
  • 상호 부분 주의 집중(IPA): 신체, 손, 얼굴 간의 주의 집중 흐름(B→H, H→B, B→F)을 통합했을 때 최상의 결과를 얻었으며, 이는 협응된 조음(articulation)의 중요성을 강조한다.
  • 강건성(Robustness): 시스템은 텍스트-글로스 모델의 선택 변화와 추정된 글로스 지속 시간의 중간 정도의 섭동(perturbations)에도 견고함을 유지했다.
• 동작 품질(Motion Quality): SIGNER는 가장 낮은 피크 속도(peak velocity)와 피크 저크(peak jerk)를 기록하며 우수한 동작 매끄러움을 입증했다(이는 더 부드러운 전환을 의미한다).
• 정성적 분석: 시각적 비교 결과, 기존 방식들이 종종 잘못된 어휘 순서나 무관한 세그먼트를 생성하는 반면, SIGNER는 정확한 순서로 정확한 수어를 생성함을 보여주었다.

의의 및 주장

본 논문은 기존 SLG 방식의 주요 한계가 컨디셔닝 신호의 **전역 융합(global fusion)**이며, 이것이 시간적 접지력을 약화시킨다고 주장한다. LTF를 통해 시간 분해형 컨디셔닝을 도입함으로써, SIGNER는 이 문제를 직접 해결한다.

저자들은 생성 과정 중 시간적 접지력을 보존하는 것이 올바른 어휘 순서와 의미론적 정확성을 달리는 데 결정적임을 입증한다. 단순히 글로스 시퀀스를 포함하는 것(일부 선행 연구에서 수행된 방식)만으로는 충분하지 않으며, 컨디셔닝 메커니즘이 여전히 전역적으로 융합되어 있다면 부족하다는 것을 보여준다. SIGNER의 성공은 글로스 의미론과 수어 세그먼트 사이의 명시적인 시간적 정렬이 고품질 수어 생성을 위한 근본적인 요구 사항임을 시사한다.

논문은 SIGNER가 우수한 성능을 보이지만 현재 기성 텍스트-글로스 모델에 의존하고 있다는 점을 인정하며 겸허히 마무리한다. 향후 연구는 특히 새로운 수어 언어를 위해 텍스트-글로스와 수어 생성을 공동으로 최적화하여 이러한 의존성을 줄이는 방향을 탐색할 수 있다.