기술 요약: FEA-SLT

문제 정의

수화 번역 (SLT) 은 수동 신호 (MS) 와 비수동 신호 (NMS) 의 공동 모델링이 필요한 교차 모달 작업입니다. 기존 글로스 없는 (gloss-free) SLT 방법은 제스처 역동성을 효과적으로 포착하지만, 표정 표현을 충분히 활용하지 못하는 경우가 많습니다. 수화에서 표정 표현은 문법적 역할을 수행하고 모호성을 해소하는 데 결정적입니다 (예, 의문문과 서술문을 구분하거나 동일한 손동작을 가진 'REVENGE'와 'RECIPROCATE'와 같은 수화 간의 의미적 모호성을 해소하는 경우).

현재 접근법들은 종종 표정 단서를 문법적 구성 요소가 아닌 보조적인 시각적 맥락으로 취급합니다. 이로 인해 유사한 수동 구성을 공유하는 서로 다른 개념들이 등장할 때 의미적 저하가 발생합니다. 또한, 광범위한 작업으로 사전 훈련된 범용 비전 인코더는 문법적 표지 역할을 하는 미묘한 근육 역동성을 포착하지 못하는 경우가 많습니다. 기존 멀티스트림 아키텍처와 감정 인식 데이터셋 또한 명시적인 표정 추출 메커니즘 부재, 과도한 주석 복잡성, 그리고 불충분한 규모 등의 한계를 겪고 있습니다.

방법론

저자들은 수동 모호성을 해결하기 위해 표정 역동성을 의미적 앵커로 활용하도록 설계된 FEA-SLT(표정 인식 수화 번역) 라는 글로스 없는 엔드투엔드 프레임워크를 제안합니다. 이 프레임워크는 세 가지 연속적인 단계로 구성됩니다:

1. 멀티모달 특징 추출

FEA-SLT 는 공간 구성, 운동 역동성, 그리고 표정 표현을 별도로 처리하기 위해 분리된 멀티패스 아키텍처를 사용합니다:

• 공간 특징: 손 모양과 신체 자세를 포착하기 위해 비전 트랜스포머 (ViT) 를 통해 글로벌 맥락과 로컬 세밀한 디테일을 포함하는 멀티스케일 전략으로 인코딩됩니다.
• 운동 특징: 시간적 역동성을 포착하기 위해 겹치는 비디오 클립에 대해 사전 훈련된 비디오 인코더 (VideoMAE) 를 사용하여 추출됩니다.
• 표정 (FE) 특징: 전용 표정 스트림은 FER2013 데이터셋으로 사전 훈련된 ViT 를 활용합니다. 범주형 분류기로 작용하는 대신, 이 인코더는 도메인 전이된 특징 추출기로 간주됩니다. 이는 표정에 민감한 잠재적 표현을 학습하여 표정 근육 역동성의 세밀한 시간적 변이를 보존합니다. 저자들은 감성적 표현의 운동학적 원시 요소 (예, 놀라움 시 눈썹 올리기) 가 문법적 NMS(예, 의문문 시 눈썹 올리기) 의 운동학적 원시 요소와 겹친다고 주장하며, 이는 수화별 표정 라벨 없이도 효과적인 지식 전이를 가능하게 한다고 합니다.

2. 표정 인식 퓨전 (FEAF)

수동 채널과 표정 채널 간의 언어적 상호의존성을 모델링하기 위해, 프레임워크는 표정 인식 변조 (FEAM) 모듈을 통해 추출된 특징들을 통합합니다.

• 양방향 변조: 단방향 접근법과 달리, FEAM 은 양방향 운율 변조 전략을 사용합니다. 이는 표정 맥락 (FE $\to$ MS) 에 기반하여 공간 및 운동 스트림을 조건화하고, 동시에 공간 및 운동 역동성 (MS $\to$ FE) 에 기반하여 표정 특징을 정제합니다.
• 변조기 메커니즘: 핵심 구성 요소는 교차 어텐션을 사용하여 조건부 특징을 대상 특징에 정렬한 후, 채널별 아핀 이동과 프레임 수준 게이팅 강도를 예측하는 병렬 프로젝션 헤드를 따릅니다. 이를 통해 특징의 적응형 FiLM 스타일 변환이 가능해집니다.
• 시간 모델링: 퓨전된 시퀀스는 언어 모델을 위한 통합 표현을 산출하기 위해 1D 시간 컨볼루션 네트워크 (TCN) 와 MLP 를 통해 처리됩니다.

3. 번역 생성

프레임워크는 퓨전된 멀티모달 표현을 기반으로 대규모 언어 모델 (LLM) 을 조건화하여 대상 텍스트를 생성합니다.

• 훈련 목적: FEA-SLT 는 단일 단계 패러다임을 채택하여, 글로벌 시각 표현과 대상 텍스트 간의 교차 엔트로피 생성 손실 (라벨 스무딩 포함) 과 양방향 대비 정렬 손실 (멀티모달 정렬) 을 공동으로 최적화합니다.
• 효율성: 프레임워크는 사전 훈련된 인코더 가중치를 고정된 상태로 유지하면서 LLM 의 파라미터 효율적 미세 조정을 위해 저랭크 적응 (LoRA) 을 사용합니다.

주요 기여

1. 분리된 멀티패스 아키텍처: 수동 공간 - 운동 표현과 독립적으로 문법적 모호성 해소에 필수적인 표정 민감 역동성을 포착하기 위해 도메인 전이된 FER 표현을 활용하는 전용 표정 스트림의 도입.
2. 표정 인식 퓨전 (FEAF): 양방향 변조를 통해 수동 및 표정 채널 간의 운율적 조화를 명시적으로 모델링하는 새로운 모듈. 이는 단일 스트림 또는 단방향 접근법에서 종종 충분히 활용되지 않는 표정 단서를 보존합니다.
3. 최첨단 성능: 광범위한 평가를 통해 FEA-SLT 가 표준 벤치마크에서 글로스 없는 방법들 중 최상의 성능을 달성하며, 특히 표정 민감 발화의 번역에서 구체적인 개선을 보임을 입증했습니다.

실험 결과

이 프레임워크는 PHOENIX14T(독일 수화) 와 CSL-Daily(중국 수화) 두 가지 벤치마크에서 평가되었습니다.

• 정량적 성능: FEA-SLT 는 두 데이터셋 모두에서 글로스 없는 방법들 중 최첨단 BLEU 점수를 달성했습니다.
  • PHOENIX14T에서 이전 최상의 글로스 없는 방법 (SpaMo) 보다 BLEU-1 에서 +2.79 를 상회했으며, BLEU-2, -3, -4 에서 MMSLT 를 능가했습니다.
  • CSL-Daily에서 보고된 모든 지표에 걸쳐 새로운 최첨단 결과를 수립하여, BLEU-4 에서 MMSLT 보다 +1.83, ROUGE-L 에서 +1.48 더 높은 성능을 보였습니다.
  • 의미적 품질: 의미적 적절성을 측정하는 BLEURT 평가에서 FEA-SLT 는 각 데이터셋에서 기존 베이스라인보다 +1.9 와 +1.4 포인트 더 높은 성능을 기록했습니다.
• 애블레이션 연구:
  • 표정 경로 (FE) 를 제거하면 성능이 저하되어, 도메인 전이된 표정 특징이 수동 전용 표현에는 없는 차별적 신호를 제공함을 확인했습니다.
  • FEAM 모듈을 단방향 변조로 제한하면 양방향 설정에 비해 최적이지 않은 결과가 도출되어, 상호 정제의 유효성을 검증했습니다.
  • FER 적응형 ViT 를 사용하는 것이 범용 비전 인코더 (예, DINOv2) 보다 더 나은 결과를 보여주어, 이 이득이 단순한 모델 용량이 아닌 표정 민감 특징 전이에서 비롯됨을 시사합니다.
• 타겟 분석:
  • 의문문 모호성 해소: 의문문 문장의 하위 집합에서 FEA-SLT 는 구두점 예측 (F1 점수) 에서 상당한 개선을 보여주어, NMS 에 의존하는 구문적 모호성을 해결하는 능력을 입증했습니다.
  • 표정 민감 하위 집합: 감성적 또는 의문적 의미를 포함하는 84 개의 인스턴스로 구성된 선별된 하위 집합에서 FEA-SLT 는 전체 데이터셋에 비해 훨씬 더 큰 개선 (+5.65 BLEU-4) 을 보여주어, 표정에 의존하는 발화에 대한 구체적인 유용성을 확인했습니다.

중요성과 주장

본 논문은 FEA-SLT 가 표정 표현을 수화 번역에서 문법 표지 및 모호성 해소를 위한 명시적 의미 단서로 승격시켰다고 주장합니다. 도메인 전이된 FER 사전 지식을 활용함으로써, 이 프레임워크는 비용이 많이 드는 수화별 표정 주석 없이 범용 비전 모델이 간과하는 연속적인 표정 역동성을 포착합니다.

저자들은 그들의 발견이 글로스 없는 SLT 에서 비수동 신호 (NMS) 의 중요성을 강조한다고 역설합니다. 특히 수동 신호만으로는 불충분한 감성적 또는 의문적 의미를 포함하는 발화의 번역을 개선하는 데 있어, 언어학적 기반을 둔 표정 표현 모델링이 향후 연구의 유망한 방향이라고 주장합니다.

인정된 한계:
저자들은 현재 프레임워크가 표정 역동성으로 엄격히 범위가 제한되어 있으며, 입모양, 머리 움직임, 신체 자세와 같은 다른 NMS 구성 요소는 제외되었다고 지적합니다. 또한, 표정 추출 파이프라인은 비제약 환경 (예, 자기 가림, 극단적인 머리 자세) 의 시각적 열화에 여전히 민감합니다. 향후 작업은 전체 NMS 표현을 포함하도록 양방향 변조 메커니즘을 확장하는 것을 제안합니다.