Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

당신이 친구의 기분을 단지 관찰하는 것만으로 이해하려고 노력한다고 상상해 보세요. 당신은 그들이 하는 말인 '무엇'을 듣기만 하는 것이 아니라, 얼굴 표정을 관찰하고, 목소리의 톤을 듣고, 몸짓을 살핍니다. 컴퓨터 과학의 세계에서 이것은 "멀티모달 감정 이해(multimodal emotion understanding)"라고 불립니다. 이는 텍-오디오, 비디오를 결합하여 기계가 인간이 느끼는 것을 느끼도록 가르치는 데 전념하는 인공지능의 한 분야입니다. 오랫동안 컴퓨터는 이 작업에 서툴렀습니다. 문장을 읽고 그것이 행복한지 슬픈지는 추측할 수 있었지만, 목소리에 담긴 비꼬는 말투나 미소 뒤에 숨겨진 슬픔은 자주 놓치곤 했습니다. 컴퓨터는 이러한 서로 다른 단서들을 하나의 복잡한 그림을 구성하는 조각들이 아니라, 서로 연결되지 않은 별개의 퍼즐 조각처럼 취급했습니다. 이것이 중요한 이유는, 만약 우리가 컴퓨터가 정신 건강을 돕거나, 우리와 자연스럽게 대화하거나, 소셜 미디어를 분석하는 데 능숙해지기를 원한다면, 컴퓨터가 단어뿐만 아니라 전체적인 감정적 맥락을 이해해야 하기 때문입니다.

여기에 새로운 연구팀이 EGMF(Expert-Guided Multimodal Fusion, 전문가 유도 멀티모달 융합)라는 시스템을 구축했습니다. 이 시스템을 거대한 언어 뇌 내부에서 일하는 초스마트 탐정 부대라고 생각해 보세요. 단순히 오디오, 비디오, 텍스트를 하나로 붙이는 대신, 그들은 세 종류의 서로 다른 전문가 셰프들이 협력하여 완벽한 감정적 이해를 요리해내는 특별한 "융합 주방"을 만들었습니다. 한 셰프는 미세한 찌푸림이나 떨리는 목가 있는 목소리와 같은 아주 작고 미묘한 디테일에 집중하는 "로컬 전문가(Local Expert)"입니다. 또 다른 "시맨틱 전문가(Semantic Semantic Expert)"는 목소리와 얼굴이 단어와 어떻게 일치하는지를 살핍니다. 세 번째 "글로벌 전문가(Global Expert)"는 한 걸음 물러나 대화 전체의 큰 그림을 봅니다. 이 전문가들은 단순히 자신의 의견을 외치기만 하는 것이 아니라, 현재 상황에 따라 누가 발언할지를 결정하는 스마트한 "게이팅 시스템(gating system)"을 사용합니다. 대화가 혼란스러우면 글로벌 전문가가 주도권을 잡고, 조용한 순간에는 로컬 전문가가 빛을 발합니다.

연구진은 이러한 팀 접근 방식이 놀라울 정도로 효과적이라는 것을 발견했습니다. 그들은 영어와 중국어 대화를 포함한 네 가지 데이터셋에서 이 시스템을 테스트했습니다. 영어 감정 데이터셋인 MELD에서, 이 시스템은 가중치 F1 점수 **65.57%**를 기록하며 기존 최고 방식을 0.06% 차이로 앞질렀습니다. 중국어 데이터셋인 CHERMA에서는 점수를 3.36% 대폭 끌어올려 **73.90%**에 도달했습니다. 감성 분석(어떤 것이 얼마나 긍정적인지 또는 부정적인지를 측정하는 것)의 경우, 영어 MOSEI 데이터셋에서 87.09%, 중국어 SIMS-V2 데이터셋에서 **82.43%**를 달성했습니다.

이것을 얼마나 더 인상적으로 만드는 것은 바로 그 방법입니다. 그들은 거대한 뇌 전체를 다시 훈련시키는 대신(그것은 엄청난 시간이 걸리고 막대한 비용이 들 것입니다), LoRA(Low-Rank Adaptation, 저차원 적응)라는 영리한 트릭을 사용했습니다. 거대한 언어 모델이 방대한 책들이 있는 거대한 도서관이라고 상상해 보세요. 모든 책을 새로 쓰는 대신, 그들은 새로운 지침이 적힌 몇 장의 포스트잇을 추가했을 뿐입니다. 이를 통해 그들은 도시 크기만한 슈퍼컴퓨터 없이도 시스템이 감정을 이해하도록 가르칠 수 있었습니다. 그들은 또한 자신들의 시스템이 특히 중국어를 처리하는 데 뛰어나다는 것을 발견했는데, 이는 "전문가 팀"이 중국어의 복잡한 시각 및 오디오 단서들을 해독하는 데 특히 유능하다는 것을 시사합니다. 이 시스템이 완벽한 것은 아닙니다. 여전히 "혐오"와 같은 매우 미묘한 감정이나 극도로 강렬한 감정을 다루는 데는 다소 어려움을 겪지만, 이는 통합된 전문가 유도 접근 방식이 기계가 인간의 무질서하고 아름다운 감정의 복잡성을 이해하도록 돕는 강력한 새로운 방법임을 증명합니다.