기술 요약: 부분 정보 분해(Partial Information Decomposition)를 통한 멀티모달 언어 모델의 모달리티 상호작용 이해를 향하여

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 과학, 의료 및 체화된(embodied) 맥락에서 의사결정 에이전트로 점점 더 많이 배치되고 있습니다. 그러나 현재의 평가 패러다임은 주로 결과의 정확도만을 평가하며, 모델이 결정을 내리기 위해 감각적(시각, 오디오) 입력과 언어적 입력을 어떻게 활용하는지에 대한 통찰은 제한적입니다. 표현 정렬(representation alignment), 어텐션 분석(attention analysis), 모달리티 제거(modality ablation)와 같은 기존의 해석 가능성 방법들은 모달리티가 어떻게 인코딩되는지 또는 섭동(perturbation)에 따라 예측이 어떻게 변화하는지는 보여줍니다. 하지만 이들은 **의사결정 수준의 분해(decision-level decomposition)**를 제공하지 못합니다. 구체적으로, 특정 모달리티가 고유한(unique) 정보를 제공하는지, 다른 모달리티와 중복되는(redundant) 정보를 제공하는지, 아니면 시너지(synergistic) 효과(두 모달리티를 결합하여 관찰할 때만 나타나는 정보)를 내는지 구분하지 못합니다. 결과적으로, 다양한 형태의 멀티모달 상호작용이 동일한 정확도나 제거 신호 아래에서 서로 혼동되어 나타납니다.

2. 방법론

저자들은 **부분 정보 분해(Partial Information Decomposition, PID)**를 사용하여 멀티모달 추론을 의사결정 수준의 정보 분해 문제로 공식화합니다.

2.1. 의사결정 수준 PID 프레임워크

잠재 표현(latent representations)을 분석하는 기존 연구와 달리, 이 프레임워크는 **모델 유도 예측 분포(model-induced predictive distributions)**에 대해 정보 지표를 계산합니다.

• 이중 모달(Bi-modal) 공식화: 시각-언어 모델의 경우, 예측 $Y$와 입력(시각 $X_v$, 텍스트 $X_t$) 사이의 상호 정보량(mutual information)은 다음 네 가지 비음수 성분으로 분해됩니다:
  • $U_{vis}$: 시각에 고유한 정보.
  • $U_{txt}$: 텍스트에 고유한 정보.
  • $R_{vl}$: 두 모달리티가 공유하는 중복 정보.
  • $S_{vl}$: 결합 관찰을 통해서만 발생하는 시너지 정보.
• 감각 PID (삼중 모달): 옴니모달(omni-modal) 모델(비디오 $V$, 오디오 $A$, 텍스트 $T$)을 위해, 저자들은 언어를 지시적 제어 신호로 취급하는 조건부 공식을 도입합니다. 이는 감각 정보 이득 $I(Y; V, A | T)$를 고유 시각 정보($U_{vis}$), 고유 오디오 정보($U_{aud}$), 중복 감각 정보($R_{sens}$), 그리고 감각 시너지($S_{av}$) 성분으로 분해합니다. 이는 조합적 확장을 피하면서도 작업 명세(task specification)와 감각적 근거(sensory evidence) 사이의 기능적 구분을 보존합니다.

2.2. 추정 파이프라인

고차원 연속 은닉 상태(hidden states)로부터 PID를 추정하기 위해, 저자들은 MLLM을 재학습시키지 않고 다음 과정을 수행합니다:

1. 보정된 임베딩 마스킹(Calibrated Embedding Masking): 단일 모달 조건부(예: $P(Y|X_v)$)를 근사하기 위해, 마스킹된 모달리티의 토큰 임베딩을 보정된 가우시안 노이즈로 대체하여, 인스턴스별 정보는 제거하면서 분포 통계는 보존합니다.
2. BATCH 추정기: 소스-타겟 주변 확률 분포(marginals)를 보존하는 Sinkhorn 정규화된 커플링 $\tilde{Q}$를 학습하는 BATCH 추정기(Liang et al., 2023)를 사용하여, 연속 변수에 대한 PID 항을 다룰 수 있게 최적화합니다.
3. 로컬 진단 점수(Local Diagnostic Scores): 이 프레임워크는 샘플별 가산 기여도로 확장되어, "시너지 격차(synergy-gap)" 샘플(높은 융합 잠재력, 낮은 현재 시너지)과 "지름길(shortcut)" 샘플(높은 텍스트-고유 의존도)을 식별할 수 있게 합니다.

3. 주요 기여

1. MLLM을 위한 의사결정 수준 PID: 모달리티 상호작용을 정보 분해 문제로 공식화하여, 표현 유사성이나 제거(ablation)만으로는 식별할 수 없는 고유, 중복, 시너지 기여를 분리했습니다.
2. 옴니모달 모델을 위한 감각 PID: 언어를 제어 신호로 취급하여 비디오-오디오 정보 이득을 분해하는 조건부 PID 공식을 제시함으로써, 삼중 모달 의사결정에 대한 원칙적인 분석을 가능하게 했습니다.
3. 진단적, 예측적 및 실행 가능한 발견:
   • 모달리티 사용 프로필: 추론/그라운딩(grounding) 작업은 높은 시너지를 유발하는 반면, 전문가/지식 작업은 강한 텍스트-고유 의존도를 보이는 등의 반복적인 패턴을 식별했습니다.
   • 예측 타당성: PID 항은 모달리티 수준의 개입(예: 이미지 제거)에 대한 민감도를 예측합니다.
   • 감각 시너지 병목 현상: 옴니모달 모델이 명시적으로 오디오-비주얼 융합을 요구하는 작업에서도 여전히 시각 정보에 의해 지배된다는 것을 발견했습니다.
   • 계층별 역학(Layer-wise Dynamics): 교차 모달 융합은 후기 단계의 현상이며, 시너지는 네트워크의 최종 레이어에서 주로 나타난다는 증거를 제시했습니다.
4. PID 가이드 가중치 재설정(PID-Guided Reweighting): 로컬 진단 점수를 사용하여 LoRA 미세 조정 시 샘플의 가중치를 재설정하는 개념 증명 전략을 제시했습니다. 즉, 시너지가 부족한 샘플의 가중치는 높이고, 언어 지름길 샘플의 가중치는 낮춥니다.

4. 실험 결과

4.1. 시각-언어 분석

20개의 모델과 6개의 벤치마크에 걸쳐, PID는 두 가지 뚜렷한 체제를 드러냈습니다:

• 시너지 주도형(Synergy-Dominant): MMBench, MMStar, POPE(grounding)와 같은 벤치마크는 높은 $S_{vl}$과 시각 입력에 대한 강한 의존성을 보입니다.
• 텍스트 사전 주도형(Text-Prior Dominant): MMMU, PMC-VQA, Reefknot와 같은 벤치마크는 높은 $U_{txt}$를 보이며 시각 제거에 거의 무감각합니다.
• 모델 제품군: Qwen, InternVL3, LLaVA-OV 제품군은 공동 모달리티 의존적인 경향이 있는 반면, Gemma3와 Cambrian은 언어 사전 의존적인 경향이 있습니다. 스케일링은 이러한 기존 프로필을 지우기보다는 오히려 증폭시킵로 만듭니다.
• 예측: $S_{vl}$은 시너지 기반 작업에서 정확도 및 시각 제거 민감도와 강한 상관관계($\rho \geq 0.798$)를 갖는 반면, $U_{txt}$는 사전 주도형 작업에서 더 많은 정보를 제공합니다.

4.2. 옴니모달 분석

MUSIC-AVQA 벤치마크(특히 AV-Fusion 서브셋)에서:

• 감각 시너지 병목 현상: 결합 추론을 위해 설계된 작업임에도 불구하고, $S_{av}$는 미미한 구성 요소로 남았습니다. 결정은 단일 모달 정보, 특히 시각 정보($U_{vis} > U_{aud}$)에 의해 지배됩니다.
• 시각적 헤게모니(Visual Hegemony): 샘플 셔플링을 통한 기능적 검증 결과, 모델은 오디오 불일치보다 시각적 불일치 상황에서 더 큰 성능 저하를 겪는 것으로 확인되었습니다.
• 지시문 게이팅(Instruction Gating): 계층별 분석 결과, 언어 프롬프트는 제어 신호 역할을 합니다. 융합을 요구하는 지시문을 약화시키면 후기 레이어의 감각 시너지가 크게 감소합니다.

4.3. PID 가이드 가중치 재설정

Qwen2.5-VL-7B에 대한 LoRA 미세 조정 시 PID 유도 로컬 점수를 적용했을 때:

• 성능 향상: PID 가이드 재설정은 균등 미세 조정(uniform fine-tuning) 및 베이스라인(random, accuracy-based, ablation-based)에 비해 추론 및 그라운딩 성능을 개선했습니다 (예: MMStar에서 +2.3, POPE에서 +1.3).
• 프로필 변화: 미세 조정 후 진단 결과, 시너지($S_{vl}$ 점유율이 67.5%에서 73.9%로 증가)가 높아지고 텍스트-고유 의존도가 낮아지는 방향으로의 변화가 확인되었으며, 이는 이 방법이 모델 행동을 조절할 수 있음을 입증합니다.

5. 의의 및 주장

본 논문은 PID를 단순한 사후 해석 도구가 아니라, 멀티모달 융합을 진단하고 가이드하는 실질적인 신호로 포지셔닝합니다.

• 정확도를 넘어: 저자들은 전체 상호 정보량이 전반적인 성능을 추적하지만, 개입 민감도를 포착하는 데는 실패한다고 주장합니다. 즉, 정보가 어떻게 사용되는지 이해하기 위해서는 PID 분해가 필수적입니다.
• 메커니즘적 통찰: 연구 결과는 현재의 옴니모달 모델이 교차 감각 통합이 지연되고 언어 지시에 의해 게이팅되는 "시각 우선(visual-first)" 계산 패턴을 겪고 있음을 시사합니다. 이는 통합이 중간 표현의 지속적인 특징이라기보다 후기 단계의 현상임을 의미합니다.
• 실행 가능성: 본 연구는 로컬 진단 점수가 모델의 전체 재학습 없이도 추론 및 그라운딩을 강화할 수 있는 실행 가능한 신호로 기능할 수 있다는 초기 증거를 제공합니다.

저자들은 자신의 재설정 방식이 개념 증명 단계이며, PID가 인과 메커니즘이 아닌 통계적 의존성을 측정한다는 점을 언급하며 겸허한 태도를 유지합니다. 또한 이산적 결정 공간(다지선다형) 및 마스킹을 통한 단일 모달 조건부의 근사 방식에 대한 한계를 인정합니다.