당신이 친구와 대화하며 그를 이해하려고 노력하는 모습을 상상해 보세요. 당신은 단순히 그들의 말만 듣는 것이 아니라, 얼굴 표정을 살피고 목소리의 톤도 듣습니다. 때때로 그들이 하는 말이 그들의 표정 및 목소리와 일치할 때가 있고, 그러면 모든 것이 딱 맞아떨어집니다. 하지만 때로는 상황이 까다로워지기도 합니다. 예를 들어, 친구가 "정말 신나!"라고 말하지만, 목소리는 단조롭고 얼굴은 지루해 보일 수 있습니다. 그런 순간에는 말과 분위기 사이의 불일치가 사실 가장 중요한 단서가 됩니다. 그것은 친구가 비꼬거나 농담을 하고 있다는 것을 의미할 수 있기 때문입니다. 이것이 바로 **멀티모달 의도 인식(multimodal intent recognition)**이라는 분야의 핵심입니다. 이 분야의 과학자들은 텍스트, 오디오, 비디오를 결нет하여 사람이 실제로 무엇을 의미하는지 파악하는 컴퓨터 프로그램을 만듭니다. 큰 과제는 항상 이것이었습니다. 어떻게 하면 컴퓨터가 이 신호들을 단순히 섞어서 모호한 평균값으로 만드는 것이 아니라, 그 신호들이 서로 일치하는지 아니면 서로 충돌하고 있는지를 실제로 이해하도록 가르칠 것인가 하는 점입니다.

이 논문은 MACH(Modality Agreement- and Conflict-aware prototype Hypergraph)라고 불리는 새로운 시스템을 소개합니다. 이 시스템은 일치(agreement)와 갈등(disagreement)을 두 개의 별개이면서 강력한 도구로 취급함으로써 이 문제를 해결합니다. 모든 정보를 하나의 커다란 더미로 뭉쳐버리는 대신, MACH는 모든 문장을 위한 특별한 종류의 "팀"을 구축합니다. 하나는 텍스트, 목소리, 얼굴이 모두 일치하는 부분을 찾는 팀이고, 다른 하나는 그들이 서로 어긋나는 부분을 구체적으로 찾아내는 별도의 팀입니다. 논문은 이 두 팀을 별도로 유지하고, 이들이 공통된 패턴이 담긴 "메모리 뱅크"와 그 결과를 공유하게 함으로써, 컴퓨터가 화자의 실제 의도를 훨씬 더 잘 추측할 수 있게 된다고 제안합니다. 저자들은 이를 세 가지 실제 대화 데이터셋으로 테스트했으며, MACH가 이전 방식들보다 일관되게 우수한 성능을 보였다는 것을 입증했습니다. 이는 신호 사이의 "충돌"에 주목하는 것이 "조화"에 귀를 기울이는 것만큼 중요하다는 것을 증명합니다.

문제점: 말과 행동이 일치하지 않을 때

대화를 세 명의 밴드 멤버가 있는 밴드로 생각해 보세요: 텍스트 싱어, 오디오 드러머, 그리고 비디오 기타리스트입니다. 보통 이들은 같은 노래를 연주합니다. 만약 싱어가 "이 노래 정말 좋아"라고 말할 때, 드러머가 즐거운 비트를 연주하고 기타리스트가 미소를 짓는다면, 컴퓨터는 그 의도가 "긍정적"임을 알 수 있습니다.

하지만 싱어가 눈을 부라리고 비웃는 표정과 단조로운 목소리로 "이 노래 정말 좋아"라고 말한다면 어떻게 될까요? 과거에 컴퓨터들은 이를 해결하기 위해 모든 것을 평균화하려고 시도했습니다. 그들은 행복한 단어, 슬픈 목소리, 화난 얼굴을 가져와서 블렌더에 넣고 섞은 뒤, 운 좋게 결과가 나오기를 바랐습니다. 문제는 그 블렌더가 가장 중요한 단서인 **갈등(conflict)**을 파괴하는 경우가 많다는 것입니다. 논문은 이러한 불일치가 무시되어야 할 "노이즈"가 아니라, 사르카즘(비꼼)이나 놀림을 의미하는 구체적인 신호라고 주장합니다.

해결책: MACH의 투 트랙 시스템

저자들은 밴드 멤버들을 억지로 섞는 대신, 그들이 구조적인 방식으로 논쟁하게 해야 한다고 제안합니다. 그들은 두 개의 특화된 팀이 있는 탐정 사무소처럼 작동하는 MACH를 구축했습니다:

1. 일치 팀 (The Agreement Squad): 이 팀은 텍스트, 목소리, 얼굴이 모두 같은 것을 말하는 패턴을 찾습니다. 이들은 "프로토타입 하이퍼그래프"를 구축하는데, 이는 멋진 표현으로, 공통된 "일치 패턴"의 라이브러리를 만드는 것을 의미합니다. 만약 텍스트, 목소리, 얼굴이 모두 일치하는 새로운 문장을 발견하면, 이들은 라이브러리를 확인하여 이것이 알려진 "진심 어린 행복"이나 "진심 어린 감사"의 패턴과 일치하는지 확인합니다.
2. 갈등 팀 (The Conflict Squad): 이 팀은 반항아입니다. 이들은 밴드 멤버들이 서로 맞지 않는 순간을 구체적으로 찾아냅니다. 이들은 자신들만의 별도 "갈등 패턴" 라이브러리를 가지고 있습니다. 만약 텍스트는 "좋다"고 하는데 목소리가 슬프게 들린다면, 갈등 팀은 이를 "사르카즘"이나 "조롱"과 같은 특정 유형의 불일치로 표시합니다.

작동 방식: 퍼즐을 맞춰가는 과정

MACH는 전체 그림을 한꺼번에 보는 것이 아니라, 퍼즐을 맞추듯 단계별로 이해를 구축합니다:

• 레벨 1 (솔로이스트): 먼저 텍스트, 오디오, 비디오를 각각 살펴봅니다. "텍스트 단독으로 말이 되는가? 목소리 단독으로 말이 되는가?"라고 묻습니다.
• 레벨 2 (듀엣): 다음으로 이들을 쌍으로 묶습니다. 텍스트와 오디오가 어떻게 함께 작용하는지, 텍스트와 비디오가 어떤지, 오디오와 비디오가 어떤지를 체크합니다. 각 쌍에 대해 작은 "일치" 및 "갈등" 지도를 만듭니다.
• 레벨 3 (트리오): 마지막으로, 이 세 가지를 모두 가져와 전체 그림을 봅니다.

매 단계마다 MACH는 자신의 "프로토타입 라이브러리"를 사용하여 이러한 패턴이 어떤 모습인지 기억합니다. 만약 비꼬는 듯한 코멘트를 발견하면, 단순히 추측하는 것이 아니라 "이것은 이전에 우리 라이브러리에서 보았던 '사르카즘 텍스트 + 단조로운 목소리' 패턴과 매우 유사하다"라고 판단합니다.

"중재자" (The Arbitrator)

두 팀(일치 팀과 갈등 팀)이 작업을 마치면, MACH에는 **중재자(Arbitrator)**라는 똑똑한 매니저가 있습니다. 이 매니저는 최종 답변을 위해 각 팀에 얼마만큼의 가중치를 줄지 결정합니다.

• 만약 텍스트와 목소리가 완벽하게 일치한다면, 매니저는 주로 일치 팀의 말에 귀를 기울입니다.
• 만 만약 텍ex트와 목소리가 충돌하고 있다면, 매니저는 사르카즘을 파악하기 위해 주로 갈등 팀의 말에 귀를 기울입니다.
  이 결정은 모든 문장의 각 특징에 대해 자동으로 일어나며, 이로 인해 시스템은 매우 유연해집니다.

실험 결과가 보여준 것

저자들은 세 가지 실제 대화 데이터셋(MIntRec, MIntRec2.0, MELD-DA)에서 MACH를 테스트했습니다. 그리고 이를 이전에 사용되었던 많은 똑똑한 컴퓨터 모델들과 비교했습니다.

결과는 명확했습니다: MACH가 승리했습니다.

• MIntRec 데이터셋에서 MACH는 **80.99%**의 정확도를 달성하여, 80.00%를 기록한 이전 최고 모델(HIER)을 앞질렀습니다.
• 더 어려운 MIntRec2.0 데이터셋에서 MACH는 **65.67%**의 정확도에 도달했으며, 이 역시 이전 최고 모델인 64.15%를 능가했습니다.
• 또한 MELD-DA 데이터셋에서도 좋은 성과를 거두어, 특정 유형에 국한되지 않고 다양한 종류의 대화에서도 작동함을 보여주었습니다.

저자들은 또한 엔진을 분해하여 각 부품이 어떤 역할을 하는지 살펴보는 "어블레이션 연구(ablation studies)"를 수행했습니다. 그 결과는 다음과 같습니다:

• 갈등 팀을 제거하면 시스템 성능이 저하되었으며, 이는 불일치를 살피는 것이 필수적임을 입증했습니다.
• 일치 팀을 제거해도 성능이 저하되었는데, 이는 양쪽 모두가 필요함을 보여줍니다.
• 프로토타입 라이브러리(메모리 뱅크)를 제거하면 성능이 크게 떨어졌으며, 이는 과거의 패턴을 기억하는 것이 학습의 핵심임을 의미합니다.
• 단계별 구축 과정(바로 최종 혼합 단계로 가는 것)을 제거하면 점수가 낮아졌으며, 이는 작은 조각에서 큰 조각으로 이해를 쌓아가는 방식이 더 효과적임을 증명합니다.

요약

이 논문은 인간의 의사소통을 진정으로 이해하기 위해서 컴퓨터가 모든 것이 일치하도록 강요하는 것을 멈춰야 한다고 제안합니다. 대신, 그 혼란스러움을 받아들여야 합니다. "무엇이 일치하는가"와 "무엇이 충돌하는가"를 명시적으로 분리하고 각각의 메모리 뱅크를 부여함으로써, MACH는 더 똑똑하고 인간에 가까운 의도 이해를 만들어냅니다. 이는 때때로 컴퓨터가 배울 수 있는 가장 중요한 것이, 두 신호가 서로 다른 이야기를 하고 있다는 사실임을 보여줍니다.