CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

사람들이 말하는 내용이 아니라, 그들의 말과 목소리, 그리고 얼굴이 서로 일치하지 않는 미세한 균열을 포착함으로써 분위기를 읽는 것을 상상해 보십시오. 이것은 인공지능의 한 분야인 **멀티모달 감정 인식(multimodal affect recognition)**의 매혹적인 세계입니다. 이 기술은 우리가 어떻게 말하고, 어떻게 움직이며, 무엇을 타이핑하는지를 관찰함으로써 인간의 감정을 이해하려고 노력합니다. 보통 사람들이 행복할 때는 미소, 웃음소리, 그리고 "야호!"라는 외침이 모두 완벽하게 일치합니다. 하지만 '양가감정과 망설임(ambivalence and hesitancy)'이라는 더 까다롭고 인간적인 감정이 있습니다. 이는 당신이 "예"라고 말하고 싶지만 목소리가 떨리거나, 확신에 찬 표정을 짓고 있지만 목소리는 불확inc한데도 자신감 있게 보이려 하는 어색한 순간을 말합니다. 이는 마치 드럼은 재즈를 연주하고, 기타는 록을 연주하며, 가수는 자장가를 흥얼거리는 음악적 삼중주와 같습니다. 그 '느낌'은 단 하나의 악기에 있는 것이 아니라, 그들 사이의 무질서하고 혼란스러운 충돌 속에 존재합니다. 이를 탐지하는 것은 컴퓨터에게 매우 어려운 일인데, 대부분의 AI는 명확하고 행복한 미소를 포착하도록 훈련되어 있지, 이러한 미묘하고 모순적인 신호는 잡아내지 못하기 때문입니다.

이 특정 퍼즐을 풀기 위해 연구자 퉁 훙 부이(Tung Hung Bui), 홍 하이 응우옌(Hong Hai Nguyen), 반 통 휘엔(Van Thong Huynh)이 구축한 새로운 디지털 탐정, CF-Net이 등장했습니다. 그들은 이 시스템을 가지고 제3회 모호성/망설임 비디오 인식 챌린지(ABAW 11 대회 부문)에 참여하여, 사람의 다양한 '감각'들 사이의 논쟁을 듣고 추측을 멈추도록 설계되었습니다.

문제점: "정체성 함정"과 "혼란 신호"

연구진은 까다로운 상황에 직면했습니다. 그들은 인터뷰 영상 클립을 담고 있는 BAH라는 데이터셋을 사용했습니다. 목표는 화자가 언제 양가감정을 느끼는지 포착하는 것이었습니다. 그러나 세 가지 큰 장애물이 있었습니다:

1. 신호의 불일치: 명확한 "행복"한 얼굴과 달리, 양가감정은 **부조화(incongruence)**에 의해 정의됩니다. 만약 어떤 사람이 긍정적인 말을 하지만 목소리가 떨린다면, 컴퓨터는 단지 단어나 목소리 하나만을 보는 것이 아니라 그 불일치를 알아차려야 합니다.
2. "낯선 사람" 문제: 테스트 영상에는 컴퓨터가 한 번도 본 적 없는 사람들이 등장했습니다. 만약 AI가 특정 인물의 얼굴이나 목소리 음색(예: 친구의 웃음소리를 기억하는 것)을 인식하도록 학습한다면, 낯선 사람을 마주했을 때 완전히 실패할 것입니다. AI는 누가 말하고 있는지보다는 어떻게 말하고 있는지에 집중해야 했습니다.
3. "아마도"라는 라벨: 때로는 인간 전문가들조차 어떤 클립이 양가감정을 보여주는지 아닌지에 대해 의견이 일치하지 않을 수 있습니다. 데이터셋에는 각 클립에 대한 "확신도 점수(certainty score)"가 포함되어 있어, 인간 주석가들이 얼마나 동의했는지를 나타냈습니다. AI는 언제 라벨을 믿고 언제 주의해야 하는지를 알아야 했습니다.

해결책: CF-Net의 3단계 마법 주문

팀은 시각(눈), 청각(귀), 텍스트(말) 사이의 삼자 논쟁에서 초스마트 중재자 역할을 하는 CF-Net을 구축했습니다.

1단계: "유령" 필터 (화자 정규화)
먼저, 시스템은 비디오와 오디오를 살펴봅니다. 하지만 여기에는 비결이 있습니다. 감정을 분석하기 전에 "화자 정규화(speaker normalisation)"를 수행합니다. 당신이 가수의 공연을 심사하려고 하는데, 먼저 그 가수의 고유하고 영구적인 목소리 질감을 제거하여 그 특정 노래를 부르는 동안의 목가적인 '변화'만을 듣는다고 상상해 보십시오. CF-Net은 수학적으로 이 작업을 수행합니다. 각 화자의 평균적인 "얼굴"과 "목소리"를 계산하고 이를 빼버립니다. 이를 통해 "정체성 누출(identity leakage)", 즉 AI가 단순히 "A라는 사람은 불안해 보인다"라고 기억해 버릴 위험을 제거하고, 시스템이 오직 순간적인 망설임이나 갈등에만 집중하도록 강제합니다.

2단계: "갈등" 탐지기 (ConflictFusion)
다음으로, 시스템은 눈, 귀, 텍스트로부터 정제된 신호를 가져옵니다. 단순히 이들을 하나로 뭉치는 대신(이는 모두가 일치한다고 가정하는 것입니다), CF-Net은 ConflictFusion이라 불리는 특별한 모듈을 사용합니다. 이것은 플레이어들의 말을 단순히 듣는 것이 아니라, 그들의 의견이 얼마나 떨어져 있는지를 구체적으로 측정하는 심판과 같습니다. 시스템은 텍스트와 목소리, 텍스트와 얼굴, 그리고 목소리와 얼굴 사이의 "거리"를 계산합니다. 만약 텍스트는 "나는 아주 좋다"라고 말하는데 목소리가 떨린다면, 시스템은 거대한 간극을 발견합니다. 이 간극을 하나의 특징(feature)으로 전환하여, 불일치 자체가 AI가 찾고 있는 신호임을 명시적으로 가르칩니다.

3단계: "정직함" 체크 (확신도 가중치 부여)
마지막으로, 시스템은 겸손하도록 훈련됩니다. 연구진은 AI에게 인간 주석가들이 클립에 대해 얼마나 확신했는지를 추측하는 추가적인 뇌 세포인 "확신도 헤드(certainty head)"를 부여했습니다. 만약 인간이 확신이 없었다면(낮은 확신도), AI는 "당신의 답에 너무 확신을 갖지 마세요. 이것은 까다로운 사례입니다"라는 메시지를 받습니다. 이는 **확신도 가중치 초점 손실(certainty-weighted focal loss)**이라는 특별한 수학적 기법을 사용하여 수행되며, AI가 명확하고 분명한 사례에는 더 집중하고 혼란스러운 사례에는 더 부드럽게 대응하도록 지시합니다.

결과: 가벼운 터치, 무거운 승리

팀은 BAH 데이터셋을 통해 CF-Net을 테스트했습니다. 그들은 이미지와 소리를 읽는 거대한 사전 훈련된 뇌(backbones)를 다시 훈련시키려 하지 않았습니다. 대신 시간을 절약하고 과적합(overfitting)을 방지하기 위해 이를 고정(frozen) 상태로 유지했습니다. 그들은 단지 이들을 연결하는 작은 "접착제" 부분만을 훈련시켰습니다.

결과는 인상적이었습니다. 검증 세트(연습 테스트)에서 CF-Net은 0.7155의 Macro F1 점수를 달랐습니다. 하지만 진짜 마법은 AI가 한 번도 본 적 없는 새로운 화자들이 포함된 프라이빗 테스트 세트에서 일어났습니다. 거기서 점수는 **0.$7364$(평균 정밀도$0.7392$)**로 뛰어올랐습니다.

이는 매우 중요한데, 많은 다른 시스템들이 연습 테스트에서는 성적이 좋아졌으나 실제 테스트에서는 성적이 나빠졌기 때문입니다(이는 그들이 연습용 얼굴을 단순히 암기했다는 신호입니다). CF-Net은 그 반대로 행동했습니다. 즉, 낯선 사람을 마주했을 때 오히려 더 좋아졌습니다. 이는 "유령 필터"(화자 정규화)와 "정직함 체크"(확신도 가중치 부여)가 실제로 작동하여, AI가 예전 사람들을 암기하여 속임수를 쓰는 대신 새로운 사람들에게 일반화될 수 있도록 도왔음을 증명합니다.

다른 팀들이 거대한 모델을 미세 조정(fine-tuning)하느라 수 시간을 보내면서도 "낯선 사람" 문제로 고전할 때, CF-Net은 단일 소비자용 그래픽 카드에서 15분 미만으로 훈련되는 가벼운 접근 방식을 사용하여 최고 이전 기록을 경신했습니다. 이는 인간의 망설임을 이해하기 위해 그 사람이 누구인지 알 필요는 없으며, 단지 그들의 말과 목소리, 그리고 얼굴이 서로 어떻게 어긋나고 있는지에 귀를 기울이면 된다는 것을 보여주었습니다.