기술 요약: EAMF – 대화형 감정 인식을 위한 증거 인식 다중 모달 융합

1. 문제 정의

다중 모달 대화형 감정 인식(MERC)은 텍스트, 음향, 시각 신호를 통합하여 각 발화의 감정을 예측하는 것을 목표로 합니다. 기존 방식들은 문맥 모델링과 전역적 다중 모달 표현 학습을 발전시켜 왔으나, 주로 전역적 표현을 집계하고 모든 감정 클래스에 대해 동시에 예측하는 데 집중해 왔습니다.

저자들은 현재의 접근 방식에서 나타나는 결정적인 한계를 지적합니다. 즉, 많은 어려운 예측 오류는 다중 모달 정보의 부족 때문이 아니라, 서로 밀접하게 경쟁하는 감정 범주 간의 모호한 국소적 결정(예: "행복"과 "흥분" 또는 "분노"와 "좌절"을 구분하는 문제)에서 발생한다는 것입니다. 이러한 시나리오에서 전역적 융합은 두 개의 상위 후보 클래스 사이의 구체적인 충돌을 해결하지 못할 수 있습니다. 또한, 실제 대화에는 이질적인 신호 신뢰도, 교차 모달 불일치, 모호한 결정 경계, 동적인 감정 변화가 포함되며, 전역 모델은 이러한 요소들을 충분히 세밀하게 다루지 못하는 경우가 많습니다.

2. 방법론: EAMF 프레임워크

제안된 증거 인식 다중 모달 융합(EAMF) 프레임워크는 전역적 표현 강화에서 결정 지향적 국소 모델링으로 초점을 전환합니다. 모든 감정 클래스를 일률적으로 수정하는 대신, EAMF는 기본 다중 모달 예측을 바탕으로 가장 경쟁적인 두 가지 감정 클래스를 식별하고, 이 쌍에 대해 특정 증거 인식 보정(calibration)을 수행합니다.

2.1 아키텍처 개요

EAMF는 세 가지 주요 단계로 작동합니다:

1. 공유 다중 모달 백본(Shared Multimodal Backbone): 단일 모달 및 상호 모달 트랜스포머 인코더를 사용하여 텍스트, 음향, 시각 입력을 공통 은닉 공간으로 인코딩합니다. 이는 모든 클래스에 대한 기본 다중 모달 표현($h_i$)과 초기 로짓($z_i$)을 생성합니다.
2. 증거 구축(Evidence Construction): 각 발화에 대해 모델은 상위 2개의 경쟁 클래스($c_1, c_2$)를 선택하고, 네 가지 상호 보완적인 유형의 신호 유도 증거를 구축합니다:
   • 상태 증거(State Evidence): 정서적 연속성과 상호작용적 영향을 포착하기 위해 관련 과거 문맥(동일 화자 및 교차 화자)을 검색합니다.
   • 충돌 증거(Conflict Evidence): 모달리티별 결정과 표현을 비교하여 교차 모달 불일치(예: 중립적인 텍스트와 화난 어조)를 식별합니다.
   • 경계 증거(Boundary Evidence): 학습 가능한 감정 프로토타입을 사용하여 경쟁하는 범주 간의 모호성을 모델링하고, 보조적인 경계 감독을 제공합니다.
   • 트리거 증거(Trigger Evidence): 잠재적인 감정 변화와 관련된 시간적 단서를 탐지하여, 상태 증거에 대한 의존도를 조절합니다.
3. 쌍별 마진 보정(Pair-wise Margin Calibration): 프레임워크는 선택된 두 클래스 사이의 결정 경계만을 보정합니다. 상태 및 충돌 증거는 직접적인 마진 보정 점수를 제공하며, 경계 및 트리거 증거는 보조적인 감독과 상태 조절을 제공합니다. 두 경쟁 클래스의 최종 로짓은 보정된 마진을 기반으로 업데이트되는 반면, 경쟁하지 않는 클래스들은 변경되지 않습니다.

2.2 핵심 메커니즘

• 신뢰도 및 모호성 추정: 모델은 신뢰도, 엔트로피, 그리고 기본 예측과의 일치 여부를 바탕으로 모달리티 신뢰도를 추정합니다. 또한 모호성 점수를 계산하여 교차 모달 불일치나 낮은 마진이 존재하는 어려운 샘플을 식별합니다.
• 게이트 융합(Gated Fusion): 학습 가능한 게이트($\alpha$)가 각 증거 유형의 기여도를 제어하여, 샘플의 특정 난이도에 따라 상태, 충돌, 경계, 트리거 단서의 가중치를 적응적으로 조절합니다.
• 학습 목적 함수(Training Objective): 모델은 메인 분류 손실과 더불어 단일 모달 감독, 자기 증류(self-distillation), 그리고 각 증거 브랜치(상태, 충돌, 경계, 트리거)의 정규화를 위한 보조 손실을 사용하여 학습됩니다. 이러한 보조 손실은 자동으로 도출된 감독 신호를 사용하며 추가적인 수동 주석을 필요로 하지 않습니다.

3. 주요 기여

1. 결정 지향적 프레임워크: EAMF는 전역적 표현 강화에만 의존하는 방식과 달리, 가장 경쟁적인 두 감정 클래스 사이의 모호한 국소적 결정을 명시적으로 타겟팅합니다.
2. 네 가지 상호 보완적 증거 구성 요소: 저자들은 다음으로부터 증거를 도출하기 위한 특정 메커니즘을 설계했습니다:
   • 대화 상태 검색 (문맥적 연속성).
   • 교차 모달 충돌 비교 (신호 불일치).
   • 프로토타입 기반 경계 모델링 (결정 경계 모호성).
   • 트리거 인식 시간적 단서 (감정 변화 탐지).
3. 증거 인식 쌍별 모델링: 보조 경계 감독과 상태 조절에 의해 뒷받라되는 전략으로서, 가장 어려운 국소적 결정에 보정 자원을 집중하는 동시에 비경쟁 클래스는 보존합니다.

4. 실험 결과

프레임워크는 두 가지 표준 벤치마크인 IEMOCAP(이인 대화, 6개 클래스)와 MELD(다자간 대화, 7개 클래스)에서 평가되었습니다.

• IEMOCAP 성능: EAMF는 강력한 SDT 베이스라인(73.38%)보다 0.92포인트 높은 74.30%(±0.28)의 최고 가중치 F1-score를 달성했습니다. 특히 "행복"과 "중립" 범주를 구분하는 데 개선을 보였습니다.
• MELD 성능: EAMF는 가중치 F1-score **66.59%**를 달성하여 SDT 베이스라인(66.32%)을 소폭 상회했습니다. 주목할 점은, 데이터셋의 심각한 클래스 불균형을 반영하듯 모든 클래스에서 일률적으로 우수한 성능을 보이지는 않았으나, 까다로운 소수 범주인 **공포(fear)**와 **혐오(disgust)**에서 최고의 F1-score를 기록했습니다.
• 절제 연구(Ablation Studies): 단일 증거 구성 요소를 제거할 때마다 성능 저하가 발생하여, 이들의 상호 보완적인 성격을 확인했습니다. 특히 "경계(Boundary)" 브랜치 제거 시 눈에 띄는 하락이 발생하여 프로토타입 기반 모호성 모델링의 중요성을 입증했습니다.
• 모달리티 분석: IEMOCAP에서 음향 신호는 텍스트에 상당한 보완적 가치를 제공했습니다. MELD에서는 텍스트가 지배적인 모달리티였으며, 음향 및 시각 신호는 추가적인 이득이 제한적이었습니다. 이는 고정된 융합 전략보다 적응형 증거 인식 융합의 필요성을 입증합니다.
• 효율성: 모델은 중간 정도의 추론 지연 시간(발화당 약 1.77ms)을 추가하며, 모든 클래스를 재보정할 필요 없이 상위 2개의 경쟁 클래스에 대해서만 수행합니다.

5. 의의 및 주장

본 논문은 EAMF가 MERC의 특정 격차, 즉 전역 융합 방식이 경쟁하는 감정들 사이의 국소적 결정 모호성을 해결하지 못하는 문제를 다룬다고 주장합니다. 대화 이력, 교차 모달 충돌, 프로토타입 경계, 변화 트리거로부터 과업 지향적 증거를 구축함으로써, EAMF는 전체 분류 공간을 방해하지 않으면서도 어려운 결정을 보정하는 타겟 메커니즘을 제공합니다.

저자들은 자신들의 접근 방식이 그 범위에 있어 **겸허함(modest)**을 유지한다고 강조합니다:

• 모든 MERC 과제, 특히 MELD와 같은 데이터셋에서의 심각한 클래스 불균형이나 텍스트 중심의 예측 패턴을 해결한다고 주장하지 않습니다.
• 증거 구축이 기초적인 신호 표현의 품질에 의존한다는 점을 인정합니다.
• 기존의 표현 학습 전략을 완전히 대체하는 것이 아니라, 기존의 다중 모달 백본 위에 구축될 수 있는 결정 지향적 메커니즘으로 자리매김합니다.

연구는 전역적 표현 학습이 필수적이긴 하지만, 증거 인식 국소 결정 모델링이 모호한 대화 시나리오에서 견고성을 향상시키기 위한 중요한 보완 단계라고 결론짓습니다.