Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

기술 요약: 저자원 다중 모드 기반의 감정 조건부 수어 아바타를 위한 네팔어 음성 단어 번역

문제 정의
현재의 음성-수어 변환 시스템은 음성의 감정적 맥락을 포착하는 데 실패하여, 어휘적으로는 정확하지만 감정이 결여된 로봇 같은 상호작용을 초래하는 경우가 많습니다. 이러한 한계는 저자원 언어인 네팔어와 그에 대응하는 수어(네팔 수어, NSL) 연구에서 특히 두드러지는데, 관련 연구와 데이터셋이 매우 부족하기 때문입니다. 기존의 솔루션들은 인간 중심적인 자연스러운 의사소통에 필수적인 감정 표현의 통합을 자주 간과합니다. 또한, 많은 현재 시스템은 에지 디바이스(edge devices) 배포에 필요한 계산 효율성이 부족하여 자원이 제한된 환경에서의 접근성을 제한합니다.

방법론
저자들은 음성 네팔어를 감정 조건부 NSL 아바타 애니메이션으로 번nel하는 경량화된 다중 모드 프레임워크인 NEST-V1(Nepali Emotion and Speech Transformer – Version 1)을 제안합니다. 이 시스템은 자동 음성 인식(ASR)과 감정 분류를 동시에 수행하는 통합된 공유 음향 인코더 아키텍처를 통해 작동합니다.

• 데이터셋 구축: 본 연구는 50명의 화자(연령 15~45세)로부터 얻은 600개의 레이블링된 오디오 샘플로 구성된 파일럿 데이터셋을 활용합니다. 데이터셋은 네 가지 일반적인 네팔어 단어("감사합니다", "안녕하세요", "집", "나")와 세 가지 감정 상태(기쁨, 중립, 슬픔)를 다룹니다. 단어 선정 시 역동적인 제스처(연속적인 움직임 포함)와 정적 제스처(고정된 포즈)를 모두 포함하도록 하였습니다. 데이터 부족 문제를 해결하기 위해 저자들은 반음 이동(semitone shifting), 성도 길이 변조(Vocal Tract Length Perturbation, VTLP), 속도 변화를 포함한 데이터 증강 기술을 사용하여 데이터셋을 4,400개 이상의 샘플로 확장했습니다.
• 오디오 전처리: 원본 오디오 파일은 16kHz로 표준화되었으며, 2초 길이에 맞춰 클리핑 또는 패딩 처리된 후 멜 스펙트로그램(128 주파수 빈 × 200 시간 프레임)으로 변환되었습니다. 이는 트랜스포머 모델의 입력값으로 사용하기 위해 128×128 그레이스케일 이미지로 크기가 조정되었습니다.
• 모델 아키텍처: NEST-V1은 오디오 스펙트로그램을 위해 비전 트랜스포머(ViT)를 적응시켰습니다. 이 아키텍처는 스펙트로그램을 2D 이미지로 취급하여 16×16 패치로 나눕니다. 12개의 어텐션 헤드와 768의 임베딩 차원을 가진 3개의 트랜스포머 레이어로 구성된 공유 인코더를 채택합니다. 모델은 단일 [CLS] 토큰을 사용하여 분류를 수행하며, 이는 키워드 인식(4개 클래스)과 감정 분류(3개 클래스)를 위한 두 개의 병렬 헤드로 연결됩니다. 이러한 공유 인코더 설계는 파라미터 중복을 줄여줍니다.
• 아바타 생성: 분류가 완료되면 시스템은 사전 렌더링된 2D 아바타 프레임을 검색합니다. 선형 보간(알파 블렌딩)을 이용한 프레임 블렌딩 파이프라인은 기본 중립 포즈와 감정 표현이 담긴 변형 포즈 사이를 모핑(morphing)함으로써 부드러운 애니메이션을 생성합니다. 출력물은 루핑되는 GIF 형태이며, 이를 통해 고성능 그래픽 렌더링 없이도 웹 브라우저 및 모바일 기기에서 가볍게 배포될 수 있도록 보장합니다.

주요 기여

1. 최초의 NSL 감정 데이터셋: 본 논문은 감정적 맥락이 주석 처리된 최초의 NSL 기반 음성 데이터셋을 제시하여, 저자원 수어 연구의 중요한 공백을 메웁니다.
2. 모듈형 경량 파이프라인: 본 시스템은 ASR과 감정 인식의 독립적인 구성 요소를 갖춘 모듈형 아키텍처를 특징으로 하며, 확장성을 용이하게 합니다. 특히 에지 애플리케이션을 지원하도록 설계되어 저자원 배포에 최적화되어 있습니다.
3. 파라미터 효율성: 태스크 간에 음향 인코더를 공유함으로써, 별도의 모델 아키텍처 대비 파라미터를 37% 감소시키면서도 2,210만 개의 파라미터라는 작은 규모를 유지합니다.

실험 결과
모델은 증강된 데이터셋(훈련, 검증, 테스트 세트) 분할을 통해 평가되었습니다.

• 성능: 시스템은 테스트 세트에서 **81.1%**의 ASR 정확도와 **79.21%**의 감정 인식 정확도를 달 기록했습니다. 검증 정확도는 ASR의 경우 79.6%, 감정 인식의 경우 76.54%에 도달했습니다.
• 효율성: NEST-V1 모델은 약 2,210만 개의 파라미터와 패치 임베딩을 위한 2.189M FLOPs에서 총 473.4M FLOPs의 연산량을 필요로 하며, 추론 시 메모리 점유율은 약 89 MB입니다. 이는 표준 ViT 모델(8,660만 개 파라미터)보다 훨씬 효율적이며, 파라미터 수 측면에서 CNN-LSTM 하이브리드 모델과 대등하거나 그보다 우수한 성능을 보이면서도 경쟁력 있는 정확도를 유지합니다.
• 분류 지표: 4개의 제스처 클래스에 대한 F1-score는 0.69에서 0.78 사이였으며, 감정 클래스는 0.70에서 0.83 사이의 F1-score를 달성했습니다.

의의 및 주장
저자들은 본 연구를 저자원 환경에서 음성 입력을 통한 감정 조건부 수어 아바타 생성이 기술적으로 가능하다는 것을 보여주는 개념 증명(proof-of-concept) 파일럿 연구로 규정합니다. 본 연구의 의의는 청각 장애인을 위한 실시간, 감정 표현형 의사소통 시스템을 위한 확장 가능한 토대를 마련했다는 데 있습니다.

논문은 NEST-V1이 어휘적 번역과 감정적 맥락 사이의 간극을 성공적으로 메웠으며, 단순한 로봇식 제스처 흉내를 넘어 더욱 진정성 있는 인간적 상호작용으로 나아갔다고 주장합니다. 현재 범위는 작은 어휘집과 세 가지 감정으로 제한되어 있으나, 저자들은 이 프레임워크가 더 큰 어휘집, 다양한 감정 표현, 그리고 실제 세계의 보조 애플리케이션으로 확장할 수 있는 명확한 경로를 제공한다고 단언합니다. 본 연구는 이러한 시스템이 에지 디바이스에 배포될 수 있음을 강조하며, 이를 통해 고급 보조 기술에 대한 접근성을 높일 수 있음을 시사합니다.