기술 요약: CONFER

문제 정의

멀티모달 감정 인식(Multimodal Emotion Recognition, MER)은 전통적으로 자기 보고식(self-reported) 가치(valence) 및 각성(arousal) 점수를 정답(ground-truth) 감독 신호로 활용한다. 그러나 본 논문은 이러한 라벨이 개인의 평가 습관, 인지적 편향, 기억 왜곡 및 실험적 맥락으로 인해 본질적으로 신뢰할 수 없는 "약한 관측치(weak observations)"라고 주장한다. 또한, 기존 방법들은 서로 다른 모달리티(예: 얼굴, 오디오, 생체 신호) 간의 예측 불일치인 **교차 모달 갈등(cross-modal conflict)**을 간과하는 경우가 많다.

현재의 접근 방식들은 어텐션 메커니즘이나 게이팅(gating)을 통해 모달리티 이질성을 다루지만, 특정 샘플에 대해 어떤 모달리티가 다른 모달리티에 영향을 미쳐야 하는지를 결정하지 못한 채 융합 가중치를 통해 갈등을 강제로 통합한다. 마찬가지로, 약한 라벨(weak-label) 방법들은 전역 통계나 신뢰도 점수에 기반하여 감독 신뢰도를 추정하며, 모달리티별 예측 간의 쌍별 일치성(pairwise agreement)과 갈목(conflict)을 활용하지 못한다. 이러한 단절은 정보 전달의 효율적인 조율과 노이즈가 있는 자기 보고로부터의 강건한 학습을 방해한다.

방법론: CONFER 프레임워크

저자들은 모달리티 전문가들을 동적 협상 그래프 내의 노드로 모델링하는 통합 그래프 기반 프레임워크인 CONFER(Regime-Calibrated Weak Supervision을 위한 갈등 인식 증거 협상)를 제안한다. 이 프레임워크는 세 가지 주요 단계로 작동한다.

1. 모달리티 전문가 구축 (Modality Expert Construction)

각 모달리티는 독립적인 전문가로 취급된다.

• 표현(Representation): 인코더는 시간적 윈도우를 임베딩으로 매핑한다. 생성기(constructor)는 전역 평균 풀링(global mean-pooling), 희소 Top-$k$ 어텐션(sparse top-$k$ attention), 그리고 시간적 분산(temporal dispersion)을 사용하여 이를 시도(trial) 단위의 표현으로 집계한다.
• 증거 생성(Evidence Generation): 각 전문가는 예측 신념(predictive belief, $\mu$)과 경계 기반 불확실성(boundary-based uncertainty, $u$) 점수를 생성한다. 여기서 불확실성은 예측이 결정 경계에 가까워질수록 증가한다.
• 런타임 신뢰도(Runtime Reliability): 신뢰도($c$)는 과거의 Out-of-Fold(OOF) 성능과 현재 샘플의 불확실성을 결합하여 추정된다. 이는 신뢰도가 정적이지 않고 샘플별로 가변적임을 보장한다.

2. 갈등 인식 증거 협상 (Conflict-Aware Evidence Negotiation)

전문가들은 동적 그래프를 통해 상호작용하며 반복적으로 갈등을 해결한다.

• 노드 상태(Node State): 예측 신념, 불확실성, 런타임 신뢰도로 정의된다.
• 호환성 및 엣지 가중치(Compatibility & Edge Weights): 쌍별 호환성($A_{mn}$)은 불확실성으로 정규화된 예측 불일치를 기반으로 계산된다. 확신을 가진 전문가들 사이의 높은 불일치는 낮은 호환성을 의미한다.
• 비대칭 메시지 전달(Asymmetric Message Passing): 호환성은 수신자 특정 방향성 엣지 가중치($\gamma_{m \leftarrow n}$)로 변환된다. 이를 통해 신뢰할 수 있는 송신자가 덜 신뢰할 수 있는 수신자에게 영향을 미칠 수 있게 하며, 수신자의 자체 신뢰도는 유입되는 정보를 얼마나 수용할지를 결정한다.
• 반복(Iteration): 프로세스는 두 라운드($\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$) 동안 실행되며, 피어(peer)에 의해 지지되는 집계(aggregation)를 바탕으로 신념을 업데이트한다.

3. 레짐 교정 약한 감독 (Regime-Calibrated Weak Supervision)

협상 결과는 샘플을 세 가지 레짐(regime) 중 하나로 분류하여 손실 함수를 교정한다.

• 합의(Consensus): 높은 일치도와 낮은 잔여 갈등.
• 불일치(Dissent): 협상 후에도 지속되는 불일치.
• 모호성(Ambiguity): 높은 전체 불확실성.
• 샘플 가중치(Sample Weighting): 추론된 레짐 확률은 각 샘플의 약한 라벨 손실에 대한 기여도인 가중치($\omega_i$)를 결정한다. "합의" 레짐의 샘플은 전체 가중치를 받는 반면, "불일치" 및 "모호성" 샘플은 신뢰할 수 없는 감독에 과적합되는 것을 방지하기 위해 가중치가 낮아지지만 완전히 버려지지는 않는다.

프레임워크는 세 단계로 훈련된다: (A) 초기 신념을 위한 인코더 훈련, (B) 신뢰도 사전 확률 및 레짐 계수를 추정하기 위한 OOF 교정, (C) 협상 모듈 및 예측 리드아웃(readout)의 공동 최적화.

주요 기여

1. 통합 프레임워크: CONFER는 모달리티 신뢰도 추정, 교차 모달 협상, 그리고 약한 라벨 교정을 단일 그래프 기반 아키텍처로 통합한다.
2. 동적 협상 메커즘: 불확지성을 고려한 호환성을 신뢰도 기반의 비대칭 메시지 전달로 변환하는 방법을 도입하여, 교차 모달 갈등이 전문가 간의 조정과 감독 신뢰도 추정 모두를 가이드할 수 있도록 한다.
3. 레짐 기반 교정: 합의(Consensus), 불일치(Dissent), 모호성(Ambiguity) 레짐을 정의함으로써, 모든 라벨을 동일하게 신뢰하거나 신뢰할 수 없다고 취급하는 대신, 샘-별 갈등 해결에 기반하여 약한 라벨의 기여도를 동적으로 조정한다.

실험 결과

저자들은 AMIGOS, MAHNOB-HCI, DEAP 세 가지 벤치마크에서 주체 의존적(subject-dependent) 10-겹 교차 검증과 엄격한 Leave-One-Subject-Out (LOSO) 프로토콜을 사용하여 CONFER를 평가했다.

• 성능: CONFER는 경쟁력 있는 결과를 달-성했으며, 특히 엄격한 LOSO 평가 하에서 AMIGOS-V (Valence)에 대해 0.873 정확도 및 0.879 F1을, MAHNOB-V에 대해 0.854 정확도를 기록하며 Late Fusion, TFN, MISA 및 다양한 전문가 라우팅(MoE) 방법론을 능가했다.
• 강건성: CONFER는 합성된 약한 라벨 오염(synthetic weak-label corruption)에 대해 우수한 강건성을 보여주었다. 30%의 대칭 라벨 오염 상황에서도 CONFER는 0.723의 정확도를 유지하며 베이스라인들을 크게 앞질렀다.
• 갈등 분석: 절제 연구(Ablation studies)를 통해 협상, 송신자 신뢰도, 또는 수신자 양보(concession)를 제거할 경우 성능이 저하됨을 확인했다. 분석 결과, 협상은 **고갈등 샘플(high-conflict samples)**에서 가장 큰 이득(5.4–8.9 포인트)을 얻었으며, 올바른 예측을 방해하기보다 잘못된 예측을 바로잡는 데 훨씬 더 효과적이었다.
• 감독 탐지: 추론된 갈등 레짐(합의, 불일치, 모호성)은 예측 엔트로피보다 불일치한 라벨을 탐지하는 데 있어 더 효과적인 지표임을 보여주었다.

의의 및 주장

본 논문은 교차 모달 갈등이 단순한 오류의 원인이 아니라 유용한 정보 신호임을 CONFER가 입증한다고 주장한다. 모달리티 간의 협상을 명시적으로 모델링함으로써, 프레임워크는 다음을 수행할 수 있다:

1. 모달리티 조정: 균일한 융합을 강제하는 대신, 상대적 신뢰도와 호환성에 따라 전문가의 예측을 선택적으로 업데이트한다.
2. 감독 신뢰도 추정: 교차 모달 갈등의 해결(또는 미결 해결) 과정을 사용하여, 샘플별로 자기 보고식 라벨의 신뢰도를 교정한다.

저자들은 결론적으로, 이들의 접근 방식이 특히 자기 보고된 감정 상태의 본질적인 불확실성과 센서 데이터의 이질성을 다룰 때, 멀티모달 환경에서 약한 감독으로부터 학습하기 위한 더 강건한 메커니즘을 제공한다고 밝히고 있다.