Unified Multimodal Uncertain Inference

1. 문제 정의 (Problem)

기존의 불확실성 추론 (Uncertain Inference) 연구는 주로 텍스트 영역에 국한되어 있었습니다. 인간은 자연어 추론 (NLI) 에서 이진법 (참/거짓) 이 아닌, 신념의 정도나 확률적 추정을 통해 추론을 수행합니다. Chen et al. (2020) 은 이를 텍스트 영역에서 '불확실한 자연어 추론 (UNLI)'으로 정립하여 스칼라 확률 값을 예측하도록 했습니다.

그러나 오디오, 비디오, 그리고 이들의 결합 (멀티모달) 영역에서는 다음과 같은 한계가 존재했습니다:

• 기존 멀티모달 추론 작업은 대부분 이진법 (Entailment/Non-entailment) 판단에 그쳤으며, 세밀한 확률적 추론을 위한 프레임워크가 부재했습니다.
• 멀티모달 AI 시스템이 고위험 분야에 배포될 때, 다양한 모달리티 (텍스트, 오디오, 비주얼) 에 기반한 증거를 종합하여 보정된 (Calibrated) 불확실성을 표현하지 못하면 신뢰성과 유용성이 떨어집니다.
• 기존 모델들은 멀티모달 입력에 대해 잘 보정되지 않은 (Overconfident 또는 Calibrated되지 않은) 확률 값을 출력하는 경향이 있었습니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 UMUI (Unified Multimodal Uncertain Inference) 태스크와 이를 수행하는 CLUE (Calibrated Latent Uncertainty Estimation) 모델을 제안했습니다.

A. UMUI 태스크 및 데이터 수집

• 정의: 텍스트, 오디오, 비디오, 또는 이들의 조합을 '전제 (Premise)'로 받아, 가설 (Hypothesis) 이 참일 확률을 [0, 1] 사이의 스칼라 값으로 예측하는 태스크입니다.
• 데이터: 텍스트 영역의 기존 UNLI 데이터를 확장하여, 오디오, 비주얼, 오디오 - 비주얼 전제 - 가설 쌍에 대한 인간이 직접 주석한 스칼라 확률 판단 데이터를 수집했습니다. (WIKIVIDEO 데이터셋 기반, 10 개 주제, 4 명의 전문가 주석가 참여)

B. CLUE 모델 아키텍처

CLUE 는 단일 멀티모달 모델에서 보정된 예측을 생성하기 위해 세 가지 핵심 기술을 결합합니다.

1. Self-Consistent Teacher Calibration (자기 일관성 교사 보정):

   • 고품질의 미세한 확률 레이블이 부족하므로, 강력한 교사 모델 (Teacher Model, Qwen3-VL/Omni 등) 을 활용합니다.
   • 교사 모델이 단일 추론이 아닌 **여러 번의 추론 경로 (Reasoning Traces)**를 생성하게 하고, 이를 평균 (Mean) 또는 최대값 (Max) 으로 집계하여 보정된 훈련 레이블을 생성합니다. 이는 제로샷 (Zero-shot) 상태의 교사 모델의 보정 오류를 줄여줍니다.

2. Latent Distribution Confidence Modeling (잠재 분포 신뢰도 모델링):

   • 기존 방식처럼 이산적인 토큰 (예: "0.8") 을 생성하는 대신, 모델이 **신뢰도 토큰들 ($<CONF_i>$) 에 대한 잠재 분포 (Latent Distribution)**를 예측하도록 설계합니다.
   • [0, 1] 구간을 $N$개의 빈 (Bin) 으로 나누고, 각 빈에 전용 토큰을 할당합니다.
   • 학습 시, 정답 레이블 $y$를 중심으로 하는 가우시안 분포 $Q \sim N(y, \sigma^2)$를 타겟으로 하여, 모델의 예측 분포 $P$와 KL 발산 (Kullback-Leibler Divergence) 을 최소화합니다.
   • 추론 시에는 가중 합산을 통해 매끄러운 확률 추정치 ($\hat{p}$) 를 복원합니다. 이는 이산적 토큰 출력보다 더 세밀한 불확실성 표현을 가능하게 합니다.

3. Modality-Specific Batching (모달리티별 배치 전략):

   • 텍스트, 오디오, 비디오의 길이와 그래디언트 크기가 크게 달라 발생하는 불안정성을 해결하기 위해, 동일한 모달리티의 샘플을 하나의 배치로 그룹화하여 학습합니다.
   • 이는 그래디언트 간섭을 줄이고 패딩 오버헤드를 감소시켜 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. UMUI 태스크 정립: 텍스트, 오디오, 비디오 및 그 조합에 걸친 보정된 확률적 추론을 위한 새로운 태스크를 정의했습니다.
2. 고품질 데이터셋 구축: 오디오 - 비주얼 전제 - 가설 쌍에 대한 인간이 주석한 스칼라 확률 데이터를 수집하여, 기존 이진 레이블을 세밀한 불확실성 레이블로 확장했습니다.
3. CLUE 모델 제안 및 검증: 자기 일관성 교사 보정, 잠재 분포 모델링, 모달리티별 배치를 결합한 CLUE 를 개발했습니다.

4. 실험 결과 (Results)

저자들은 3B 파라미터 규모의 모델 (Qwen2.5-Omni 기반) 을 사용하여 다양한 벤치마크 (CLOTHO, UNLI, WIKIVIDEO) 에서 실험을 수행했습니다.

• 성능 우위: 제안된 3B 모델은 최대 32B 파라미터 규모의 기존 베이스라인 모델들 (Audio Flamingo, Qwen2.5-VL, Qwen3 등) 보다 모든 모달리티 (텍스트, 오디오, 비주얼, 오디오 - 비주얼) 에서 동등하거나 더 우수한 성능을 보였습니다.
• 보정 정확도 (Calibration):
  • 이진 분류 (Binary): CLOTHO 와 WIKIVIDEO 에서 CLUE 는 기존 오디오 전용 및 비주얼 - 언어 모델들을 크게 능가하는 정확도를 기록했습니다.
  • 스칼라 추론 (Scalar): 평균 제곱 오차 (MSE) 기준, CLUE-D(분포 기반) 는 텍스트 전용 32B 모델보다 낮은 MSE 를 기록했으며, 멀티모달 설정에서도 가장 낮은 오차를 보였습니다.
• 모델 비교:
  • 분포 기반 (CLUE-D) vs 토큰 기반 (CLUE-T): 분포 기반 모델이 더 낮은 MSE 와 안정적인 성능을 보였습니다. 이는 이산적 토큰 생성의 한계를 극복하고 내부 신뢰도 분포를 더 정교하게 포착했기 때문입니다.
  • 모달리티 간 시너지: 텍스트 전용으로 훈련된 14B 모델 (TMTO) 보다, 멀티모달 데이터로 훈련된 3B CLUE-D 가 텍스트 영역 (UNLI) 에서 더 좋은 성능을 보였습니다. 이는 보조 모달리티의 신호가 단일 모달리티 성능 향상에도 기여함을 시사합니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 멀티모달 AI: 고위험 분야에서 멀티모달 AI 가 인간의 판단과 유사한 '보정된 불확실성'을 표현할 수 있는 첫 번째 체계적인 프레임워크를 제시했습니다.
• 효율성: 거대 모델 (32B+) 없이도, 효율적인 학습 전략 (잠재 분포 모델링, 모달리티별 배팅) 을 통해 소규모 모델 (3B) 로도 최첨단 성능을 달성할 수 있음을 증명했습니다.
• 미래 방향: 멀티모달 불확실성 정량화 연구가 초기 단계임을 고려할 때, 이 작업은 추론의 신뢰성 향상과 자원 할당 (예: 인간 전문가에게 위임 여부 결정) 에 중요한 기여를 할 것으로 기대됩니다.

요약하자면, 이 논문은 멀티모달 환경에서 모델이 "무엇을 알고 있는지"뿐만 아니라 **"얼마나 확신하는지"**를 정량적이고 보정된 확률로 표현할 수 있도록 하는 새로운 태스크와 모델을 제안하며, 소규모 모델로도 대규모 모델 대비 우수한 보정 성능을 달성할 수 있음을 입증했습니다.