ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

기술 요약: 글로스 프리(Gloss-Free) 수어 번역을 위한 ViPo-MLLM

문제 정의
수어 번역(SLT)은 수어 영상을 구어 문장으로 변환하여 의사소통의 격차를 해소하는 것을 목표로 한다. 초기 시스템은 단어와 유사한 주석인 '글로스(gloss)'를 중간 매개체로 사용하는 "글로스 기반(gloss-based)" 방식에 의존했으나, 이러한 방법은 높은 주석 비용, 제한된 확장성, 그리고 경직된 문장 구조라는 문제를 안고 있다. "글로스 프리(gloss-free)" SLT는 중간 글로스 없이 비디오를 직접 유창한 텍스트로 번역하는 방식으로, 이는 유망한 대안이지만 여전히 도전적인 과제이다. 기존의 글로스 프리 방식은 단일 모달리티 특징이나 약한 결합 표현에 의존하는 경우가 많아, 정확한 번역에 필요한 미세한 관절 움직임(손, 몸, 얼굴의 단서)과 장기적 시간 의존성을 포착하는 데 실패한다. 또한, 시각 데이터와 포즈 데이터를 단순하게 융합하는 것은 이러한 모달리티들을 효과적으로 정렬하지 못하는 경우가 많다.

방법론: ViPo-MLLM
저자들은 교차 모달 어텐션 메커니즘을 통해 시공간적 RGB 특징과 인간 포즈 단서를 통합하도록 설계된 프레임워크인 ViPo-MLLM(Visual-Pose Multimodal LLM)을 제안한다. 아키텍처는 다음과 같이 작동한다:

1. 특징 추출 (Feature Extraction):

   • 시공간적 RGB 특징 ($Z_s$): 사전 훈련된 USTM 인코더(시간적 어댑터가 포함된 Swin Transformer 스테이지 기반)를 사용하여 추출된다. 인코더는 동결되며, 시간적 편향을 피하기 위해 작업별 헤드(MS-TCN, BiLSTM)는 제거되어 프레임 수준의 표현을 생성한다.
   • 포즈 특징 ($Z_p$): 전신 및 세밀한 손 포즈를 추정하기 위해 OpenPose를 사용하여 추출된다. 히트맵 대신, 중간 특징들은 프레임당 공간적으로 풀링(pooling)되어 고정된 차원의 벡터를 생성한다.

2. 멀티모달 융합 (Multimodal Fusion):

   • 모달리티 내 시간 모델링 (Intra-Modal Temporal Modeling, IMTM): $Z_s$와 $Z_p$는 공유 공간으로 투영된 후, 각 모달리티 내의 국소적 시간 역학을 포착하기 위해 공유된 2계층 1D 시간 합성곱 네트워크(TCN)에 의해 처리된다.
   • 교차 모달 시간 모델링 (Cross-Modal Temporal Modeling, CMTM): IMTM 블록의 출력은 연결(concatenate)되어 4계층 교차 모달 어텐션(CMA) 모듈을 통과한다. 이 블록은 전역적 시간 모델링을 가능하게 하며, 시각 모달리티와 포즈 모달리티 사이의 의존성을 포착한다.
   • 투영 (Projection): 융합된 표현은 대규모 언어 모델(LLM)의 임베딩 차원과 일치하도록 MLP를 통해 투영된다.

3. 언어 모델링 및 학습 (Language Modeling and Training):

   • 프롬프트 구성: 융합된 시각-포즈 특징은 작업 지침과 퓨샷(few-shot) 예시(예: 스페인어/프랑스어/영어 번역)를 포함하는 구조화된 프롬프트와 결합되어 LLM을 조건화한다.
   • 학습 목적 함수 (Learning Objectives): 모델은 다음 두 가지 손실 함수의 조합을 사용하여 엔드투엔드(end-to-end)로 학습된다:
     • 대조 학습 손실 (Contrastive Loss): 융합된 특징에서 풀링된 전역 비디오 표현을 정답 텍스트 임베딩의 전역 표현과 정렬한다.
     • 교차 엔트로피 손실 (Cross-Entropy Loss): 프롬프트와 융합된 특징의 결합 입력을 바탕으로 LLM이 타겟 번역을 생성하는 표준 언어 모델링 손실이다.
   • 미세 조정 (Fine-Tuning): LLM 백본인 mT0-XL은 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정된다.

주요 기여
본 논문은 네 가지 주요 기여를 설명한다:

1. ViPo-MLLM 프레임워크: 교차 모달 어텐션을 통해 시공간적 RGB와 포즈 단서를 통합하는 글로스 프리 SLT를 위한 새로운 아키텍처.
2. 명시적 융합 전략: 포즈 정보가 언제, 어떻게 번역에 영향을 미치는지 모델링하여 국소적 및 전역적 의존성을 모두 포착하는 특정 비디오-포즈 융합 메커니즘(IMTM + CMTM).
3. 포괄적 분석: 글로스 프리 SLT에서 포즈 정보와 시공간적 시각 단서의 상호 보완적 역할을 입증하는 광범위한 실험.
4. 최첨단 성능 (State-of-the-Art Performance): 벤치마크 데이터셋에서 새로운 최고 기록을 달성하는 동시에 글로스 기반 방식과 경쟁력 있는 성능을 유지함.

실험 결과
모델은 두 가지 데이터셋인 PHOENIX14T(독일 수어)와 CSL-Daily(중국 수어)에서 평가되었다.

• PHOENIX14T: ViPo-MLLM은 BLEU-4 점수 27.10과 ROUGE-L 51.50을 달성하여, 기존의 약지도 학습 및 완전한 글로스 프리 방식(예: VAP, ConSLT, MMSLT)보다 우수한 성능을 보였다. 글로스 주석을 사용하지 않았음에도 불구하고 글로스 기반 방식과 경쟁할 만한 수준을 유지했다.
• CSL-Daily: 모델은 BLEU-4 25.85와 ROUGE-L 54.53을 달성하여, 글로스 프리 방식 중 새로운 SOTA(최고 성능)를 기록했으며 글로스 기반 모델의 성능과 일치하는 결과를 냈다.

절제 연구 통찰 (Ablation Insights)

• 모달리티: RGB와 포즈 특징을 결합하는 것이 단일 모달리티만 사용하는 것보다 성능이 크게 향러되었다. 대조 학습은 두 모달리티 모두에 대한 의미론적 정렬을 더욱 강화했다.
• CMA 깊이: 성능은 CMA 깊이가 4일 때 정점에 도달했다. 더 깊은 층(예: 8)은 오버스무딩(over-smoothing) 또는 과적합으로 인해 성능 저하를 초ด했다.
• LLM 선택: mT0 패밀리 내의 더 큰 모델(mT0-XL)이 작은 변형 모델보다 더 나은 결과를 냈다.
• 프롬프팅: 지시형 프롬프트(직접적인 작업 가이드)가 가장 좋은 성능을 보였으며, 의문형이나 역할 연기형 프롬프트는 정확도를 떨어뜨렸다.

의의
본 논문은 ViPo-MLLM이 글로스 프리 학습이 글로스 지도 학습 방식의 성능을 따라잡거나 능가할 수 있음을 보여준다고 주장한다. 제안된 방법은 포즈 단서와 교차 모달 어텐션을 효과적으로 활용함으로써, 막대한 비용이 드는 글로스 주석 없이도 번역에 필수적인 미세한 동작과 장기적 시간 패턴을 성공적으로 포착한다. 이 연구는 멀티모달 LLM 프레임워크 내에서 구조화된 프롬프팅과 대조적 정렬을 통합하는 것의 효과를 검증한다. 향후 연구로는 추가적인 모달리티와 실시간 확장성을 위한 경량화된 포즈 표현을 탐색하는 것이 제안된다.