Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation

기술 요약: Text2Sign

문제 정의
수어는 4억 3천만 명 이상의 농인 및 난청 인구에게 주요한 소통 채널이지만, 텍스트로부터 수어 영상을 직접 생성하는 것은 여전히 큰 과제로 남아 있습니다. 대규모 비디오 확산 모델(diffusion models)이 존재하기는 하지만, 이들은 일반적으로 멀티 노드 학습 인프라와 방대한 계산 자원을 필요로 하여 많은 연구자들에게 접근성이 낮고, 자원이 제한된 접근성 애플리케이션에 적용하기에는 비실용적입니다. 또한, 기존의 텍스트-수어 시스템은 중간 표현(예: 골격 포즈 또는 아바타)에 의존하거나 규칙 기반 접근 방식을 사용하는 경우가 많아 시각적 자연스러움이 부족하며, How2Sign과 같은 공유 데이터셋을 활용한 직접적인 생성 연구는 드물고 재현 가능한 베이스라인도 부족한 실정입니다.

방법론
본 논문은 단일 NVIDIA L4 GPU(24 GB VRAM)에서 짧은 수어 영상 클립을 생성하도록 설계된 텍스트 조건부 확산 아키텍처인 Text2Sign을 소개합니다. 이 시스템은 How2Sign 데이터셋에서 추출한 64×64 해상도, 32프레임 클립을 대상으로 작동하며, 정체성 암기를 방지하기 위해 서명자 불일치(signer-disjoint) 90/10 분할 방식을 사용합니다.

아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 동결된 텍스트 인코더(Frozen Text Encoder): 입력 프롬프트를 고정된 차원의 표현으로 매핑하기 위해 사전 학습된 CLIP (ViT-B/32) 텍스트 인코더를 사용합니다. 이 인코더는 텍스트 표현을 처음부터 학습하는 오버헤드를 피하고 견고한 시각-언어 사전 지식을 활용하기 위해 학습 과정 동안 동결됩니다.
2. DiT 스타일 블록을 포함한 3D UNet 백본: 핵심 생성 모델은 Diffusion Transformer (DiT) 블록으로 강화된 3D UNet입니다.
   • 요인화된 시공간 주의 집중(Factorized Spatio-Temporal Attention): 전체 3D 어텐션의 이차 복잡도($O((THW)^2)$)로 인한 메모리 비용 문제를 해결하기 위해, 모델은 요인화된 어텐션 메커니즘을 채택합니다. 이는 어텐션 계산을 순차적인 공간 어텐션(프레임 내)과 시간적 어텐션(프레임 간)으로 분해하여, 움직임의 일관성을 유지하면서 복잡도를 $O(T(HW)^2 + HW \cdot T^2)$로 줄여줍니다.
   • 조건화(Conditioning): 타임스텝 정보는 적응형 레이어 정규화(AdaLN)를 통해 주입되며, 텍스트 특징은 교차 어텐션(cross-attention) 레이어를 통해 통합됩니다.

모델은 코사인 노이즈 스케줄을 사용하는 표준 DDPM 노이즈 예측 목적 함수를 사용하여 학습됩니다. 추론에는 분류기 없는 가이드(classifier-free guidance, CFG)를 사용하는 DDIM 샘플링을 활용합니다.

주요 기여

1. 단일 GPU 베이스라인: 본 연구는 최첨단 비디오 확산 모델의 멀티 노드 요구 사항과 대조되는, 단일 소비자급 GPU에서 완전히 작동하는 실현 가능한 연구 베이스라인을 구축합니다.
2. 아키텍처 절제 실험(Ablation Study): 본 논문은 세 가지 핵심 설계 축을 체계적으로 평가합니다:
   • DiT 블록 vs. 컨볼루션: 트랜스포머 스타일의 블록이 컨볼루션 전용 베이스라인보다 크게 우수함을 입증했습니다.
   • 동결된 vs. 커스텀 텍스트 인코더: 짧은 예산 제약 하에서 커스텀 인코더를 처음부터 학습시키는 것보다 동결된 사전 학습 CLIP 인코더가 더 낮은 검증 손실과 더 나은 일반화 성능을 보임을 보여줍니다.
   • 요인화된 vs. 전체 어텐션: 요인화된 어텐션이 저해상도 설정에서 전체 3D 어텐션과 경쟁할 만한 성능을 보이면서도 우수한 이론적 확장성을 제공함을 증명합니다.
3. 포괄적 평가: 검증 손실, Fréchet Video Distance (FVD) 프록시, 움직임 크기(motion magnitude), 공간 기울기(spatial gradient), 시간적 일관성(temporal consistency)을 포함한 상세한 메트릭 세트와 함께 홀드아웃 조건부 디노이징 감사를 제공합니다.

결과

• 절제 실험 성능: 3 에포크 단기 실행 절제 실험에서, 전체 모델(DiT + Frozen CLIP + Factorized Attention)은 0.0648의 검증 손실을 달이트했습니다. 이는 컨볼루션 전용 베이스라인(0.0805) 대비 19.5% 감소한 수치이며, 커스텀 텍스트 인코더 베이스라인(0.0728) 대비 11.0% 개선된 수치입니다. 요인화된 어텐션 방식은 전체 3D 어텐션보다 약간 더 우수한 성능을 보였습니다 (0.0648 vs. 0.0664).
• 확장 학습: 서명자 불일치 파티션에 대한 100 에포크 장기 학습 결과, 최적 검증 손실은 0.00578 (84 에포크)에 도달했으며 최종 손실은 0.00768이었습니다.
• 생성 품질: 최적의 체크포인트는 1.0000의 시간적 일관성 점수와 0.0987의 움직임 크기를 생성하여 매끄러운 전환을 나타냈습니다. 그러나 픽셀 공간 메트릭(SSIM: 0.2403, PSNR: 15.11 dB)은 여전히 낮게 유지되었는데, 이는 64×64 해상도에서 미세한 디테일을 재구성하는 것의 어려움을 반영합니다.
• 효율성: 모델은 단일 NVIDIA L4에서 8단계 DDIM 샘플링을 사용하여 32프레임 클립을 12.60초(2.54 fps) 만에 생성하며, 피크 추론 메모리는 3.12 GB입니다.
• 조건화 제어: 실제 검증 클립에 대한 홀드아웃 감사 결과, 텍스트를 제거했을 때 후기 타임스텝 디노이징 손실이 증가(0.9875에서 0.9891로)하여 모델이 텍스트를 활용함을 확인했습니다. 그러나 셔플된 프롬프트가 의도된 프롬프트와 거의 구별되지 않았는데, 이는 프롬프트별 의미적 분리 능력이 약함을 나타냅니다.

의의 및 주장
본 논문은 Text2Sign을 고충실도 수어 제작을 위한 완전한 솔루션이 아니라, 제한된 자원 환경에서의 연구 베이스라인으로 규정합니다. 저자들은 이 시스템이 저해상도 짧은 클립에 국한되어 있으며 전문적인 언어학적 평가가 부족하다는 점을 명시적으로 밝히고 있습니다.

주된 의의는 단일 GPU 워크플로우를 위한 아키텍처 트레이드오프를 명확히 하는 데 있습니다. 결과는 다음을 시사합니다:

1. 글로벌 어텐션 메커니즘(DiT)은 수어의 협응되고 동시적인 움직임을 포착하는 데 필수적입니다.
2. 사전 학습된 시각-언어 사전 지식(frozen CLIP)은 데이터가 부족한 환경에서 처음부터 텍스트 인코더를 학습시키는 것보다 최적화를 더 효과적으로 안정화합니다.
3. 요인화된 어텐션은 과도한 메모리 비용 없이 비디오 확산을 확장할 수 있는 실질적인 경로를 제공합니다.

저자들은 모델이 이전 베이스라인보다 시간적으로 매끄럽고 질적으로 더 깨끗한 영상을 생성하지만, 아직 신뢰할 수 있는 언어적 충실도나 미세한 조음(예: 지문자)을 달성하지는 못했다고 결론짓습니다. 향후 발전은 단순히 현재의 학습 레시피를 확장하는 것이 아니라, 해상도, 구성적 생성(compositional generation), 그리고 픽셀 공간 프록시를 넘어서는 평가 메트릭의 진보가 필요하다고 주장합니다.