💬 NLP

Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?

모든 누락된 양상(modality)을 반드시 복구해야 한다는 가설에 이의를 제기하며, 본 논문은 충분성 신호(sufficiency signals)와 인식론적 불확실성(epistemic uncertainty)을 활용하여 예측 성능을 최적화하기 위해 누락된 입력을 복구할지 여부에 대한 샘플 수준의 결정을 내리도록 학습하는 플러그 앤 플레이(plug-and-play) 프레임워크인 SIEVE를 제안한다.

원저자: Yubo Gao, Haotian Wu, Xiaoyu Xu, Yibo Yan, Hong Chen, Ruoshui Peng, Fei Pan, Puay Siew Tan, Zhuoran Gao, Yonghua Hei, Jie Zhang, Xuming Hu

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yubo Gao, Haotian Wu, Xiaoyu Xu, Yibo Yan, Hong Chen, Ruoshui Peng, Fei Pan, Puay Siew Tan, Zhuoran Gao, Yonghua Hei, Jie Zhang, Xuming Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구의 얼굴을 보고, 목소리를 듣고, 문자 메시지를 읽으며 그 친구가 어떤 기분일지 추측하려고 노력하는 상황을 상상해 보세요. 인공지능의 세계에서는 이것을 **멀티모달 감성 분석(Multimodal Sentiment Analysis)**이라고 부릅니다. 이는 시각, 청각, 언어와 같은 다양한 단서들을 결합하여 컴퓨터에게 인간의 감정을 이해하도록 가르치는 것을 의미하는 멋진 표현입니다. 보통, 이 똑똑한 컴퓨터 프로그램들은 세 가지 단서를 모두 한꺼번에 얻을 수 있는 완벽한 데이터로 학습됩니다. 하지만 현실 세계는 매우 복잡합니다. 마이크가 고장 났을 수도 있고, 카메라가 가려졌을 수도 있으며, 문자 메시지가 유실되었을 수도 있습니다.

오랫동안 과학자들은 이러한 누락된 단서를 처리하는 유일한 방법이 "수리하기(fix-it)"라고 생각했습니다. 퍼즐 조각 하나가 빠져 있다면, 컴퓨터는 그것이 무엇이었을지 추측하여 빈칸을 채운 뒤 결정을 내리는 방식입니다. 이는 마치 지문이 발견되지 않았을 때, 사건을 해결하기에 앞서 즉시 가짜 지문을 그려 넣으려는 탐정과 같습니다. 이 논문이 던지는 핵심 질문은 이것입니다: 그것이 항상 옳은 선택일까요? 만약 특정 상황에서 누락된 조각이 사실 중요하지 않다면 어떨까요? 만약 당신이 가진 단서들만으로도 이미 미스터리를 풀기에 충분하다면, 누락된 것을 "수리"하려는 시도가 오히려 소음이나 혼란을 가중시키는 것은 아닐까요?

"멀티모달 감성 분석을 위해 누락된 양식(modality)을 반드시 수리해야 하는가?"라는 제목의 이 논문은 기존의 "먼저 수리하라"는 규칙에 도전합니다. Yubo Gao와 Xuming Hu가 이끄는 연구진은 많은 구체적인 순간에 컴퓨터가 데이터를 전혀 수리할 필요가 없다는 사실을 발견했습니다. 그들은 모든 불완전한 입력값에 대해 강제로 수리 과정을 거치게 하는 것이 종종 시간 낭비이며, 심지어 컴퓨터의 정확도를 떨어뜨릴 수 있다는 것을 찾아냈습니다. 대신, 그들은 SIEVE(Sufficiency-Informed Evidential ValvE)라고 불리는 새로운 시스템을 제안합니다. SIEVE를 번잡한 교차로에 있는 똑똑한 교통 경찰이라고 생각해 보세요. 모든 차량을 자동으로 길고 구불구불한 "수리 도로"로 보내는 대신, SIEVE는 먼저 차량을 점검합니다. 만약 차량에 목적지까지 갈 충분한 연료(단서)가 있다면, SIEVE는 차량을 빠른 차선으로 통과시킵니다. 하지만 연료가 부족하다면, SIEVE는 차량을 수리소로 보냅니다.

연구팀은 이 아이디어를 두 개의 유명한 인간 대화 데이터셋인 CMU-MOSI와 IEMOCAP을 통해 테스트했습니다. 새로운 시스템을 구축하기 전, 그들은 모든 비디오 클립에 대해 완벽한 정답이 무엇인지 확인하기 위해 "만약에(what-if)" 실험(오라클 분석)을 수행했습니다. 결과는 놀라웠습니다. 세 가지 단서(텍스트, 오디오, 비디오)를 모두 갖추는 것이 한 테스트에서는 약 15.5%, 다른 테스트에서는 **33.2%**의 샘플에서만 최선의 선택이었습니다. 나머지 클립들의 경우, 누락된 비디오를 억지로 추측하는 것보다 텍-오디오와 같은 일부 단서만을 갖는 것이 실제로 더 나았습니다. 이는 누락된 데이터의 "유용성"이 전적으로 특정 샘플에 따라 달라진다는 것을 증명했습니다. 즉, 때로는 더 많은 정보가 오히려 더 많은 소음이 될 수 있다는 것입니다.

이를 해결하기 위해 SIEVE는 영리한 이중 트랙 시스템을 사용합니다. 모든 데이터 조각에 대해 다음 두 가지 병렬 시뮬레이션을 실행합니다:

직접 경로(The Direct Branch): 가지고 있는 단서만을 사용하여 감정을 추측합니다.
수리 경로(The Repair Branch): 누락된 단서를 먼저 추측한 다음, 그 결과를 바탕으로 다시 추측합니다.

그 후 SIEVE는 결과를 비교합니다. 만약 직접 경로가 수리 경로만큼 잘 수행된다면, SIEVE는 누락된 단서가 필요하지 않다고 판단하여 수리 과정을 건너뜁니다. 만약 수리 경로가 더 나은 성능을 보인다면, SIEVE는 수리가 필요하다고 판단하여 수리를 진행합니다. 이 결정을 신뢰할 수 있도록 하기 위해, SIEVE는 단순히 추측하는 것이 아니라 **증거 기반 딥러닝(Evidential Deep Learning)**이라는 수학적 개념을 사용합니다. 이를 통해 시스템은 "수리가 필요하지 않다고 매우 확신한다"거나 "확신할 수 없으니 안전하게 수리를 진행하자"라고 말할 수 있습니다. 또한, 특정 유형의 누락된 데이터(예: 오디오 누락)가 보통 얼마나 자주 수리가 필요한지에 따라 스스로의 규칙을 조정합니다.

실험 결과, SIEVE는 매우 효과적이었습니다. 기존의 수리 시스템에 SIEVE를 적용했을 때, 기존 모델들의 성능을 일관되게 향상시켰습니다. CMU-MOSI 데이터셋에서 최고 성능 모델인 GCNet에 SIEVE를 추가했을 때, 정확도가 0.7027에서 0.7165로 상승했습니다. IEMOCAP에서는 점수가 0.6816에서 0.6942로 개선되었습니다. 이러한 개선은 데이터 누락률이 최대 0.7에 달하는 높은 수준에서도 전반적으로 나타났습니다. 더욱 흥격미로운 점은, 데이터가 전혀 누락되지 않은 상황에서도 SIEVE가 도움이 되었다는 것인데, 이는 때때로 "수리" 단계 자체가 불필요한 소음을 유발한다는 것을 시사합니다.

연구진은 컴퓨터가 실제로 무엇을 "생각"하고 있는지도 살펴보았습니다. 그들은 두 경로(직접 및 수리)가 서로를 단순히 복제하는 것이 아니라, 매우 다른 것들을 학습하고 있다는 것을 발견했습니다. 컴퓨터가 수리를 건너뛰기로 결정했을 때는 주로 텍스트 단서가 충분히 강력하여 역할을 수행할 수 있을 때였습니다. 반면, 수리를 결정했을 때는 누락된 단서가 해당 순간에 결정적이라고 판단했을 때였습니다. 이 시스템은 이전의 어떤 방법보다도 이론적인 완벽한 정답(오라클)에 더 가깝게 도달하도록 학습되었으며, 이는 언제 멈추고 도움을 요청할지를 아는 것이 어떻게 도와야 하는지를 아는 것만큼 중요하다는 것을 입증했습니다.

요약하자면, 이 논문은 모든 누락된 데이터를 무조건 수리하려고 해서는 안 된다고 제안합니다. 때로는 우리가 가진 단서만으로도 이미 완벽할 수 있습니다. AI에게 언제 "충분한지" 그리고 언제 "수리가 필요한지"를 가르침으로써, 우리는 더 정확할 뿐만 아니라 더 효율적이고 과도한 생각으로 인한 실수를 덜 범하는 시스템을 구축할 수 있습니다. 이는 "모든 것을 수리하라"에서 "필요한 것만 수리하라"로의 전환이며, 이 원칙은 AI를 불완전하고 복잡한 현실 세계에서 훨씬 더 똑똑하게 만들 수 있습니다.

기술 요약: 충분성 기반 증거적 밸브 (Sufficiency-Informed Evidential ValvE, SIEVE)

1. 문제 정의 및 동기

멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 언어, 음향, 시각 신호를 통합하여 인간의 정동(affect)을 추론하는 것을 목표로 합니다. 기존의 강건한 MSA 방법론들은 결측 모달리티(예: 손상된 오디오 또는 가려진 비디오) 문제를 해결하기 위해 노력하고 있지만, 이들은 주로 "선(先) 복구(repair-first)" 패러다임을 따릅니다. 명시적 재구성이나 암묵적 보상을 사용하는 이러한 방법들은 불완전한 모든 샘플에 대해 예측을 수행하기 전, 결측된 모달리티를 복구하기 위해 개입합니다.

본 논문은 모든 결측 모달리티를 반드시 복구해야 한다는 근본적인 가정에 의문을 제기합니다. 저자들은 CMU-MOSI 데이터셋에 대한 샘플별 오라클 분석(per-sample oracle analysis)을 통해 다음을 입증했습니다:

전체 모달리티 입력이 최적인 경우는 극히 일부 샘플(MISA의 경우 15.5%, GCNet의 경우 33.2%)에 불과합니다.
모든 가능한 모달리티의 부분 집합(subset)은 특정 샘플들에 대해 선호되는 입력 형태입니다.
특정 샘플의 경우, 누락된 모달리티를 추가하거나 복구하는 것이 오히려 중복성이나 노이즈를 유발하여, 관찰된 모달리티만을 사용할 때보다 예측 성능을 저하시킬 수 있습니다.

결과적으로, 핵심 질문은 "어떻게 복구할 것인가"에서 **"해당 샘플에 대해 복구를 수행할 것인가"**로 전환됩니다. 본 논문은 모델이 먼저 관찰된 모달ity가 직접적인 예측을 위한 충분한 증거를 담고 있는지 평가해야 하며, 만약 그렇다면 복구는 불필요할 뿐만 아니라 해로울 수 있다고 주장합니다.

2. 방법론: SIEVE 프레임워크

저자들은 복구 모듈의 호출 여부에 대해 학습 가능한 샘플 수준의 결정을 내리는 플러그 앤 플레이(plug-and-play) 프레임워크인 **Sufficiency-Informed Evidential ValvE (SIEVE)**를 제안합니다. SIEVE는 "복구 불가지론적(repair-agnostic)"이며, 이는 내부 설계를 수정하지 않고도 기존의 모든 명시적 또는 암묵적 복구 백본 위에 배치될 수 있음을 의미합니다.

2.1 이중 분기 예측 (Dual-Branch Prediction)

결측 모달리티 마스크가 있는 각 입력 샘플에 대해, SIEVE는 두 개의 병렬 경로를 구축합니다:

직접 분기 (Direct Branch): 관찰된 모달리티로부터 직접 감성을 예측합니다 (결측된 부분에는 학습된 플레이스홀더 사용).
복구 분기 (Repair Branch): 먼저 기존의 복구 모듈( $R_\omega$ )을 적용하여 결측된 정보를 재구성하거나 보상한 후, 관찰된 표현과 복구된 표현을 모두 사용하여 감성을 예측합니다.

2.2 경험적 충분성 신호 (Empirical Sufficiency Signal)

특정 샘플의 관찰된 모달리티가 "충분한지"를 나타내는 정답 레이블(ground-truth label)은 존재하지 않으므로, SIEVE는 학습 과정 자체에서 경험적 충분성 신호를 도출합니다. 이는 두 분기 사이의 샘플별 손실 차이( $A_i$ )를 계산합니다:

만약 직접 분기의 손실이 복구 분기의 손실보다 낮다면, 해당 관찰된 모달리티는 경험적으로 충분한 것으로 간주됩니다.
이 격차는 라우팅 메커니즘을 훈련시키기 위한 부드러운(soft) 내부 감독 신호( $s^*_i$ ) 역할을 합니다.

2.3 증거적 밸브 (Evidential Sufficiency Valve)

샘플을 두 분기 사이로 라우팅하기 위해, SIEVE는 주관적 논리(Subjective Logic)와 증거적 딥러닝(Evidential Deep Learning)에 기반한 **증거적 밸브(Evidential Valve)**를 사용합니다.

매개변수화: 밸브는 충분성의 확률을 나타내는 베타 분포(Beta distribution)의 매개변수( $\alpha_i, \beta_i$ )를 예측합니다. $\alpha_i$ 는 충분성에 대한 증거를 축적하고, $\beta_i$ 는 불충분성에 대한 증거를 축적합니다.
불확실성 모델링: 이 분포는 또한 **인식론적 불확실성(epistemic uncertainty, $u_i$ )**을 포착합니다. 높은 불확실성은 모델이 복구가 필요한지 여부를 확신하지 못함을 나타냅니다.
불확실성 인지 라우팅 (Uncertainty-Aware Routing): 라우팅 결정은 고정된 임계값을 사용하지 않습니다. 대신, 예측된 충분성 점수와 인식론적 불확실성, 그리고 "패턴 기저율(pattern base rate, 특정 결측 패턴에 대한 역사적 충분성 확률)"을 결합한 **동적 임계값( $\theta(u_i)$ $θ (u_{i})$ )**을 사용합니다.
- 충분성이 높고 불확실성이 낮으면, 샘플은 직접 분기로 라우팅됩니다.
- 충분성이 낮거나 불확실성이 높으면(사전 패턴에 따라 복구 분기를 선호함), 샘플은 복구 분기로 라우팅됩니다.

2.4 최적화 (Optimization)

학습은 두 단계 프로토콜을 따릅니다:

웜업 (Warmup): 손실 격차 신호를 안정화하기 위해 밸브를 동결한 상태에서 두 분기를 동일하게 훈련합니다.
결합 훈련 (Joint Training): 시스템은 세 가지 손실을 최적화합니다:
- 예측 손실 (Prediction Loss): 부드러운 라우팅 확률에 의해 가중치가 부여됩니다.
- 밸브 교정 손실 (Valve Calibration Loss): 예측된 베타 분포를 경험적 충분성 타겟에 정렬시킵니다.
- 증거 정규화 항 (Evidence Regularizer): 잘못된 방향으로 할당된 증거(예: 복구 분기가 실제로 더 나은 성능을 보였음에도 높은 충분성을 예측하는 경우)에 대해 페널티를 부여하여 불확실성 추정을 안정화합니다.

3. 주요 기여

"선(先) 복구" 가정에 대한 도전: 본 논문은 모든 불완전한 입력에 대해 강제로 복구를 수행하는 것이 하위 최적(suboptimal)임을 입증했습니다. 모달리티의 효용은 샘플에 따라 달라지기 때문입니다.
SIEVE 프레임워크: 외부의 충분성 레이블 없이도 이중 분기 손실 격차와 증거적 불확실성 모델링을 활용하여, "복구할 것인가"를 결정하는 학습 가능한 플러그 앤 플레이 방식의 선택적 복구 프레임워크를 제안합니다.
성능 향상: SIEVE는 다양한 결측률과 데이터셋에 대해 다양한 복구 백본(명시적 및 암묵적 모두)의 성능을 일관되게 개선하며, 이론적인 "샘플별 달성 가능 최적치(per-sample achievable optimum)"에 근접하는 성과를 보여줍니다.

4. 실험 결과

실험은 CMU-MOSI 및 IEMOCAP 데이터셋에서 다양한 결측률(최대 70% 결측) 하에 수행되었습니다.

베이스라인과의 비교: 세 가지 대표적인 백본(GCNet, CorrKD, MoMKE)과 결합된 SIEVE는 베이스라인 단독 모델 및 다른 최첨단(SOTA) 강건한 MSA 방법론들을 일관되게 능가했습니다. 예를 들어, GCNet + SIEVE는 두 데이터셋 모두에서 최고의 전체 성능을 달了했습니다.
결측률에 따른 강건성: 결측률 전 구간에서 성능 향상이 관찰되었으며, 여기에는 전체 모달리티 설정($MR=0.0$)도 포함됩니다. 이는 선택적 라우팅이 모든 데이터가 존재하는 상황에서도 불필요한 노이즈를 피하는 데 도움이 됨을 시사합니다.
절제 연구 (Ablation Studies): 밸브 교정 손실, 증거 정규화 항, 또는 동적 임계값을 제거하면 성능이 크게 저하되었으며, 이는 불확실성 인지 라우팅과 적절한 감독의 필요성을 검증합니다.
라우팅 동작 분석:
- 밸브는 의미 있는 충분성 신호를 학습했으며, 텍스트 중심의 패턴이 직접 예측에 흔히 충분하다는 것을 정확히 식별했습니다.
- t-SNE 시각화는 직접 분기와 복구 분기가 표현 공간(representation space)에서 서로 다른 영역을 차지하고 있음을 확인시켜 주었으며, 이는 두 분기가 중복되지 않음을 증명합니다.
- SIEVE는 "오라클 상한선(oracle upper bound)"과의 격차를 크게 좁혀, 단일 정적 전략을 사용할 때 손실되는 잠재적 성능의 상당 부분을 회복했습니다.

5. 의의 및 주장

본 논문은 SIEVE가 결측 모달리티가 있는 MSA에서 "어떻게 복구할 것인가"와 더불어 **"복구할 것인가"**를 일급 질문(first-class question)으로 정립했다고 주장합니다. 충분성을 샘플 의존적 특성으로 취급하고 이 결정의 불확실성을 모델링함으로써, SIEVE는 강건한 멀티모달 시스템이 선택적으로 개입할 수 있게 합니다. 저자들은 이러한 선택적 개입 원칙이 감성 분석에 국한되지 않고, 더 넓은 범위의 강건한 멀티모달 시스템을 위한 가치 있는 설계 패턴이 될 것이라고 주장합니다.

본 논문은 연구 범위를 현재 감성 분석 및 특정 데이터셋으로 제한하고 있으며, 두 분기를 모두 평가해야 하므로 연산 비용(training overhead)이 제로가 아니라는 점을 인정하며 신중한 태도를 유지합니다. 향후 연구로는 더 넓은 응용 분야(예: 의료 진단, 행동 인식) 탐색과 계산 비용을 줄이기 위한 분산 훈련(amortized training) 방식이 제안되었습니다.