C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

당신이 친구가 말하는 영상을 보고 그 친구의 기분을 추측하려고 한다고 상상해 보세요. 당신에게는 세 가지 단서가 있습니다: 무엇을 말하고 있는지(텍스트), 목소리가 어떻게 들리는지(오디오), 그리고 얼굴 표정이 어떤지(비디오)입니다. 인공지능의 세계에서는 이를 멀티모달 감정 인식(Multimodal Emotion Recognition)이라고 부릅니다. 이것은 마치 단일한 단서만으로 파악할 때보다 더 잘 인간의 감정을 이해하기 위해 이 모든 단서들을 결합하는 초스마트 탐정과 같습니다. 하지만 문제는 현실 세계에서는 일이 잘못될 수 있다는 점입니다. 마이크가 꺼지거나, 카메라가 멈추거나, 인터넷 연결이 끊길 수도 있습니다. 갑자기 당신의 탐정은 단서의 절반을 잃게 됩니다. 만약 AI가 이러한 누락된 조각들을 처리할 수 있도록 설계되지 않았다면, 혼란에 빠져 잘못된 추측을 하게 될 것입니다. 이것이 바로 과학자들이 해결하려 노력하는 문제입니다. 어떻게 하면 컴퓨터가 진정한 감정의 의미를 잃지 않으면서도 누락된 정보의 빈칸을 "채울" 수 있도록 가르칠 수 있을까요?

이 논문은 C2MOE(Consistency and Complementarity-guided Mixture of Experts, 일관성 및 상보성 유도 전문가 혼합)라고 불리는 새로운 솔루션을 소개합니다. 이것은 단서가 일부 누락되었을 때 사건을 해결하기 위해 협력하는 전문 탐정 팀이라고 생각하면 됩니다. 연구진들은 기존의 방법들이 다른 단서들로부터 알고 있는 것을 단순히 복사하여 누락된 데이터를 보완하려 했으며, 이로 인해 독특한 세부 사항을 놓치는 지루하고 반복적인 추측이 발생했다는 점을 깨달았습니다. C2MOE는 더 똑똑하게 작동합니다. 이 시스템은 업무를 두 가지 뚜렷한 역할로 나눕니다. 한 명의 전문가인 "일관성 탐정(Consistency Detective)"은 단서들 사이의 공유된 패턴, 예를 들어 슬픈 목소리는 보통 찌푸린 얼굴과 함께 나타난다는 점을 찾습니다. 또 다른 전문가인 "상보성 탐정(Complementarity Detective)"은 오직 하나의 단서만이 제공할 수 있는 고유한 세부 사항, 예를 들어 텍스트만이 밝혀낼 수 있는 특정한 단어 선택 등을 찾습니다. 주어진 순간에 어떤 탐정의 말을 들을지 결정하는 스마트한 "매니저"(라우팅 네트워크)를 사용함으로써, 이 시스템은 누락된 정보를 훨씬 더 정확하게 재구성할 수 있습니다. 저자들은 이를 두 개의 유명한 비디오 댓글 데이터셋(CMU-MOSI 및 CMU-MOSEI)에서 테스트했으며, C2MOE가 특히 많은 양의 데이터가 누락되었을 때 기존 방식들보다 일관되게 우수한 성능을 보였다는 것을 발견했습니다. 그들은 공유된 패턴과 고유한 세부 사항 사이의 균형을 맞춤으로써 AI가 데이터가 불완전할 때도 견고함을 유지할 수 있다고 제안합니다.

탐정 팀: C2MOE의 작동 원리

C2MOE가 어떻게 작동하는지 이해하기 위해, 당신이 깨진 퍼즐을 다시 맞추려고 하는데 조각이 절반밖에 없다고 상상해 봅시다. 과거의 AI 모델들은 가지고 있는 조각들만 보고 운 좋게 맞추기를 바라며 누락된 조각을 추측하려고 했습니다. 때로는 운이 좋았지만, 종종 그들은 그림을 특별하게 만드는 독특한 세부 사항을 놓친 채 똑같은 것만을 반복해서 추측하곤 했습니다.

이 논문의 저자들은 우리가 복구해야 할 정보에는 두 가지 서로 다른 종류가 있다고 주장합니다.

1. 일관성(Consistency): 이것은 단서들 사이의 "공유된 언어"입니다. 만약 누군가 소리를 지르고 있다면, 목소리는 크고, 얼굴은 붉으며, 말은 공격적입니다. 이 세 가지는 서로 일관성이 있습니다.
2. 상보성(Complementarity): 이것은 각 단서의 "고유한 풍미"입니다. 텍스트는 그들이 무엇에 대해 소리치고 있는지를 알려줄 수 있고, 오디오는 그들이 얼마나 화가 났는지를 알려주며, 비디오는 그들이 누구에게 소리치고 있는지를 보여줄 수 있습니다. 이것들은 서로 겹치지는 않지만 모두 필요한, 퍼즐의 서로 다른 조각들입니다.

문제는 이 두 가지 목표가 종종 서로 충돌한다는 점입니다. 만로 모든 것을 일치시키는 데 너무 집중하면 고유한 세부 사항을 지워버릴 수 있습니다. 반대로 고유한 세부 사항에 너무 집중하면 단서들 사이의 연결 고리를 잃을 수 있습니다.

전문가 혼합(Mixture of Experts, MoE)의 등장.
하나의 거대한 뇌가 모든 것을 하려고 하는 대신, C2MOE는 "전문가 혼합" 방식을 사용합니다. 두 명의 전문가가 있는 탐정 사무소를 상상해 보세요:

• 일관성 전문가: 이 탐정은 패턴을 찾아내는 데 능숙합니다. 만약 텍스트에 "나는 행복해"라고 적혀 있다면, 이 전문가는 목소리가 쾌활해야 하고 얼굴이 웃고 있어야 한다는 것을 압니다. 이들의 역할은 누락된 조각들이 이미 가지고 있는 조각들과 완벽하게 어우러지도록 만드는 것입니다.
• 상보성 전문가: 이 탐정은 특이하고 독특한 것들을 찾아내는 데 능숙합니다. 만약 텍스트에는 "나는 행복해"라고 되어 있지만 목소리가 비꼬는 듯하다면, 이 전문가는 목소리가 텍스트가 포착하지 못하는 고유한 "풍미"를 가지고 있다는 점을 알아차립니다. 이들의 역할은 빈칸을 채울 때 이러한 고유한 세부 사항을 놓치지 않도록 하는 것입니다.

스마트한 매니저
AI는 어떤 탐정의 말을 들어야 할지 어떻게 알까요? 이 시스템은 라우팅 네트워크라는 역할을 하는 "스마트한 매니저"를 사용합니다. AI가 데이터를 보면, 매니저는 묻습니다. "패턴을 맞춰야 합니까, 아니면 고유한 세부 사항을 찾아야 합습니까?" 이 질문에 기초하여, 매니저는 각 전문가에게 점수를 부여합니다. 만약 누락된 조각이 다른 것들과 일치해야 한다면 일관성 전문가에게 높은 점수를 줍니다. 만약 누락된 조각이 새로운 것을 추가해야 한다면 상보성 전문가에게 점수를 줍니다. 최종 답변은 매니저가 각 전문가를 얼마나 신뢰하느냐에 따라 가중치가 부여된 두 결과의 혼합물입니다.

실험: C2MOE의 검증

연구진은 인터넷의 대규모 비디오 댓글 컬렉션(CMU-MOSI 및 CMU-MOSEI)을 통해 새로운 시스템을 테스트했습니다. 이 데이터셋들은 사람들이 다양한 주제에 대해 이야기하는 수천 개의 영상을 포함하고 있으며, AI는 그들이 행복한지, 슬픈지, 화가 났는지 등을 추측해야 합니다.

현실적인 테스트를 위해, 그들은 비디오의 일부를 무작위로 숨김으로써 "누락된 데이터"를 시뮬레이션했습니다. 때로는 오디오를 숨겼고, 때로는 비디오를, 때로는 텍스트를 숨겼습니다. 심지어 데이터의 70%가 누락된 시나리오에서도 테스트를 진행했습니다!

결과
결과는 인상적이었습니다. 거의 모든 시나리오에서 C2MOE는 다른 최상위 방법들을 앞질렀습니다.

• CMU-MOSI 데이터셋에서 세 가지 단서(텍스트, 오디오, 비디오)가 모두 사용 가능할 때, C2MOE는 88.5%(이진 정확도)와 47.4%(7개 클래스 정확도)의 정확도를 달랐습니다.
• 비디오와 오디오를 숨기고 텍스트만 남겼을 때도, C2MOE는 여전히 **87.3%**의 정확도를 기록하며 차순위 모델보다 더 나은 성과를 보였습니다.
• 누락률이 높을 때(데이터의 0.7, 즉 70%가 사라졌을 때)도 C2MOE는 다른 모델들보다 훨씬 더 잘 버텨냈습니다. 다른 모델들의 성능이 데이터가 사라짐에 따라 급격히 떨어지는 반면, C2MOE의 성능은 약간만 감소했습니다.

저자들은 또한 AI가 누락된 조각들을 얼마나 잘 채웠는지도 살펴보았습니다. 그들은 "재구성된" 데이터가 실제 데이터와 어떻게 다른지 보기 위해 t-SNE라는 시각화 도구를 사용했습니다. 그 결과, C2MOE의 추측은 실제 데이터와 훨씬 더 가까웠으며 데이터의 형태와 구조를 온전히 유지하고 있는 반면, 다른 방법들은 지저치고 흩어진 추측을 만들어낸다는 것을 발견했습니다.

이것이 왜 중요한가

핵심적인 결론은 모든 것을 동일하게 만들려고 강요하는 것(일관성)만으로는 충분하지 않다는 것입니다. 또한 각 단서의 고유한 차이점(상보성)을 존중해야 합니다. 전문화된 전문가 팀과 그들 사이를 전환하는 스마트한 매니저를 사용함으로써, C2MOE는 불완전한 데이터가 존재하는 현실 세계를 이전 모델들보다 훨씬 더 잘 다룰 수 있습니다.

이 논문은 이 접근 방식이 데이터가 불완전할 때도 인간의 감정을 이해할 수 있는 AI를 만드는 데 있어 중요한 진전임을 시사합니다. 저자들이 이 문제가 영원히 해결되었다고 주장하는 것은 아니지만, 그들의 실험은 이 "일관성 및 상보성" 전략이 AI를 더욱 견고하고 신뢰할 수 있게 만드는 강력한 방법임을 강력하게 시사합니다. 그들이 언급했듯이, 최고의 결과는 공유된 패턴과 고유한 세부 사항을 모두 균형 있게 다룰 때 나타났으며, 이는 서로 다른 유형의 전문가들 사이의 작은 팀워크가 얼마나 큰 효과를 발휘하는지를 증명합니다.