기술 요약: 수화 대화에서의 감정 인식

문제 제기

대화 내 감정 인식 (ERC) 과 수화 분석에 대한 현재 연구는 중요한 구조적 한계에 직면해 있습니다: 기존 자료들은 주로 분리된 문장이나 일방향적 표현 (예: eJSL Solo, EmoSign) 으로 구성되어 있습니다. 이러한 데이터셋들은 대화 맥락을 결여하고 있어, 모델들이 감정적 역학을 이해하기 위해 역사적 대화 흐름을 활용하는 것을 방해합니다. 그 결과, 분리된 발화들로 훈련된 모델들은 감정적 의미가 지속적인 상호작용과 대화 상대의 응답에 의존하는 실제 시나리오에서 성능이 저하됩니다. 더 나아가, 수화는 얼굴 표정과 상체 움직임이 문법적 구조 (예: 질문) 와 정서적 상태를 동시에 인코딩하는 이중적 역할을 수행한다는 독특한 도전을 제시합니다. 이러한 중첩은 자동 인식 시스템, 특히 구어체 언어를 위해 설계된 범용 멀티모달 ERC 모델을 수화 데이터에 적용할 때 상당한 모호성을 초래합니다.

방법론

데이터셋 구축: eJSL Dialog

대화형 데이터의 부재를 해결하기 위해 저자들은 eJSL Dialog 데이터셋을 구축했습니다.

• 출처: 대본은 STUDIES 일본어 공감 대화 음성 코퍼스에서 유래되었으며, 특히 교사와 학생 간의 상호작용이 포함된 480 개의 고유한 대화 하위 집합을 사용했습니다.
• 규모: 데이터셋은 1,920 개의 비디오 샘플 (대화당 4 개의 발화) 로 구성됩니다.
• 참가자: 두 명의 원어민 일본어 수화 (JSL) 수화자 (남성 1 명, 여성 1 명) 가 교사와 학생 역할을 모두 수행했습니다.
• 녹화: 비디오는 단일 RGB 카메라 (1440 × 1080 해상도, 30 fps) 를 사용하여 흰색 배경이 있는 통제된 실내 환경에서 녹화되었습니다. 배우들은 일관된 수행을 보장하기 위해 화면에 텍스트와 감정 라벨이 제공되었습니다.
• 주석: 각 발화는 중립, 행복, 슬픔, 분노라는 네 가지 감정 카테고리 중 하나로 주석이 달립니다. 데이터셋은 이러한 카테고리 간에 균형을 이루며 명시적인 대화 역사를 포함합니다.
• 목적: 이 데이터셋은 모델의 일반화를 평가하는 금표준으로 활용하기 위해 훈련이 아닌 평가 및 테스트를 위한 벤치마크로 엄격하게 설계되었습니다.

베이스라인 평가 프레임워크

저자들은 모달리티와 맥로의 기여도를 분리하기 위해 eJSL Dialog 데이터셋에서 다섯 가지 서로 다른 모델을 평가함으로써 객관적인 벤치마크를 수립했습니다:

1. 시각 모델:
   • EmoAffectNet: 프레임 수준의 얼굴 특징을 처리합니다.
   • EANwH: 얼굴과 손 골격 특징을 연결하고 LSTM 을 사용하여 시간적 역학을 포착함으로써 EmoAffectNet 을 확장합니다. 두 모델 모두 범용 시각 특징을 학습하기 위해 BOBSL(영국 수화) 데이터셋에서 사전 훈련된 후 미세 조정되었습니다.
2. 텍스트 기반 모델:
   • EmoTrans: 텍스트 입력 (영어로 번역된 일본어 대본) 만으로 작동하는 ERC 모델로, 상태 변화를 포착하기 위해 최근 발화들을 연결합니다.
3. 멀티모달 대화 모델:
   • TelME: 텍스트 및 비언어적 특징을 결합하기 위해 교차 모달 지식 증류 및 이동 융합을 사용합니다.
   • MMGCN: 화자 간 및 화자 내 의존성을 모델링하는 멀티모달 융합 그래프 합성곱 네트워크입니다.
   • 참고: 오디오 모달리티는 데이터셋의 시각/텍스트 특성에 부합하도록 이러한 멀티모달 모델에서 제외되었습니다.

주요 결과

평가 결과 상당한 성능 차이와 뚜렷한 도메인 격차가 드러났습니다:

• 시각 모델: EANwH(가중 F1 점수 33.31) 이 EmoAffectNet(가중 F1 점수 29.06) 보다 우월하여, 손 골격 특징과 시간적 모델링이 명시적인 정서적 정보를 제공함을 확인했습니다. 그러나 두 모델 모두 '슬픔' 카테고리에서 어려움을 겪었습니다 (각각 F1 점수 13.24 및 17.03).
• 텍스트 전용 모델: EmoTrans 는 가장 높은 전체 성능 (가중 F1 점수 55.40) 을 달성하여, 텍스트 의미론이 직접적이고 일반화 가능한 감정적 단서를 제공함을 보여주었습니다. 특히 소스 코퍼스에서 대본 텍스트와 할당된 감정 라벨 간의 높은 상관관계가 이를 뒷받침했습니다.
• 멀티모달 대화 모델: 범용 멀티모달 모델 (TelME 및 MMGCN) 은 심각한 성능 저하를 보였으며, 각각 가중 F1 점수 10.46 및 8.50 을 기록했습니다.
  • 분석: 저자들은 이러한 실패를 도메인 격차로 돌립니다. 비수화 인구를 대상으로 훈련된 범용 모델들은 수화에서 문법적 표지 (문법적 얼굴 표정) 와 감정적 전환을 구별하는 데 어려움을 겪습니다. 수화의 시각적 특징은 융합 과정에서 텍스트 모달리티를 방해하여 전체 성능을 저하시킵니다.

사례 연구

두 가지 사례는 모달리티의 보완적 특성을 강조했습니다:

1. 맥락 의존성: 학생의 시각적 표현은 억제되었으나 맥락이 긍정적이었던 시나리오에서, 텍스트 기반 및 멀티모달 모델은 '기쁨'을 올바르게 식별한 반면, 시각 전용 모델은 '중립'으로 예측하여 실패했습니다.
2. 시각의 필요성: 텍스트가 명시적인 감정 수식어 없이 사실적 사건을 기술한 시나리오에서는 텍스트 전용 모델이 실패한 반면, 시각 인지 모델은 얼굴 단서를 기반으로 '기쁨'을 올바르게 식별했습니다.

기여 사항

본 논문은 세 가지 주요 기여를 합니다:

1. 작업 정의: 수화 비디오 분석을 위한 대화 내 감정 인식 (ERC) 작업을 공식적으로 정의하여 양방향 상호작용 시나리오에 대한 벤치마크를 확립합니다.
2. 데이터셋 공개: 분리된 발화 데이터셋의 구조적 한계를 해결하는 명시적인 다중 턴 대화 맥락과 감정 주석이 포함된 수화 비디오 샘플을 제공하는 최초의 자료인 eJSL Dialog 데이터셋을 소개합니다.
3. 실증적 발견: 체계적인 벤치마킹을 통해 분리된 시각 모델과 범용 멀티모달 대화 아키텍처의 한계를 입증합니다. 범용 아키텍처에 의존하기보다는 수화 특유의 맥락 인지형 시각 추출기에 대한 명시적 필요성을 확인합니다.

중요성 및 향후 방향

본 논문은 대규모 사전 훈련을 지원하기 위해 대화형 수화 데이터셋의 규모를 확장하는 것이 필수적인 다음 단계라고 결론지었습니다. 수화에서 시각적 특징의 독특한 이중적 역할로 인해 현재 범용 멀티모달 모델을 수화 작업으로 단순히 이전할 수 없다는 사실이 발견되었습니다. 향후 연구는 자발적 대화를 수집하고, 데이터셋 규모를 확장하며, 대규모 언어 모델을 통합하여 다중 턴 대화 역사를 더 잘 처리함으로써 통제된 환경과 제한된 수화자 수와 같은 현재 한계를 해결하는 것을 목표로 합니다. 이 연구는 자연스러운 인간 - 컴퓨터 상호작용에서 청각 장애 사용자의 감정적 역사를 추적하고 반응할 수 있는 공감 대화 시스템을 개발하기 위한 토대를 마련합니다.