기술 요약: 멀티모달 LLM의 모달리티 선호도 평가 및 조절

문제 정의

멀티모달 대규모 언어 모델(MLLMs)은 이질적인 데이터(텍스트, 이미지, 비디오)를 처리하는 데 있어 탁월한 능력을 입증해 왔습니다. 그러나 이러한 모델들이 서로 충돌하는 멀티모달 문맥을 처리할 때, 특정 모달리티를 다른 모달리티보다 더 선호하는 경향인 **모달리티 선호도(modality preference)**를 보이는지에 대한 이해에는 여전히 중요한 격차가 존재합니다. 기존의 평가 방식은 모달리티를 분리하여 테스트하거나(예: 텍스트 전용 vs. 이미지 전용 입력) 샤플리 값(Shapley values)에 의존하는데, 이는 모달리티가 공존하며 잠재적으로 충돌하는 실제 시나리오를 반영하지 못한다는 한계가 있습니다. 또한, 이러한 내재적 선호도가 제어 가능한 것인지, 혹은 다운스트림 태스크 성능과 상관관계가 있는지도 불분명합니다.

방법론

1. MC2 벤치마크

저자들은 모달리티 선호도를 엄격하게 평가하기 위해 통제된 증거 충돌 시나리오를 설계한 MC2(Modality Context Conflict) 벤치마크를 도입합니다.

• 데이터 구축: 이 데이터셋은 8가지 태스크(예: 개수 세기, 속성 인식, 감성 분석)에 걸쳐 2,000개의 샘피를 포함합니다. 이는 TDIUC와 MS-COCO에서 파생되었습니다.
• 충돌 메커니즘: 각 샘플에 대해 시각적 문맥($c_v$)과 텍스트 문맥($c_t$)을 구성하여 특정 질문($q$)에 대해 서로 모순되는 증거를 제공하도록 합니다.
• 검증: 구축 파이프라인은 모델이 충돌 테스트를 받기 전, 단일 모달리티 상태에서 두 모달리티를 정확하게 이해할 수 있음(단일 모달리티 테스트에서 95% 이상의 정확도 달성)을 보장합니다. 이를 통해 불량한 시각 인식이나 내부 지식 편향과 같은 혼란 변수를 제거합니다.
• 주석 작업: DeepSeekV3, GPT-4o-mini와 같은 LLM을 사용하는 반자동 프레임워크를 통해 방해되는 답변(distractor answers)과 충돌하는 텍스트를 생성한 후, 모달리티 간의 의미적 불일치를 보장하기 위해 인간의 검증 과정을 거칩니다.

2. 평가 지표: 비전 비율 (Vision Ratio)

저자들은 선호도를 정량화하기 위해 비전 비율을 정의합니다:
$$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$$
여기서 $S$는 모델의 응답이 각각 시각적 또는 텍스트 문맥과 일치하는 샘플의 비율을 나타냅/다. 비율이 0.5보다 크면 시각을 선호함을 의미하며, 0.5보다 작으면 텍스트를 선호함을 의미합니다.

3. 동인(Drivers) 분석

본 연구는 이러한 선호도를 유발하는 요인을 조사합니다:

• 어텐션 패턴: 저자들은 비전 비율과 어텐션 비율(시각적 어텐션 vs. 전체 어텐션) 사이의 상관관계를 분석하여, 불균형한 어텐션 분포가 선호도를 유도한다는 것을 발견했습니다.
• 규모 및 학습: 실험 결과, 모델의 규모가 커질수록 일반적으로 더 강한 시각적 선호도를 보입니다. 또한, 멀티모달 충돌 데이터로 미세 조정(fine-tuning)을 수행하면 선호도가 변화하며, 이는 훈련 과정 중 충돌하는 문맥에 노출되는 것이 이러한 편향에 영향을 미친다는 것을 시사합니다.

4. 조절을 위한 표현 엔지니어링 (Representation Engineering for Steering)

모달리티 선호도가 잠재 표현(latent representations)에 인코딩되어 있다는 발견을 바탕으로, 저자들은 **학습이 필요 없는 조절 방법(training-free steering method)**을 제안합니다:

• 프로빙(Probing): 모델에 시각 또는 텍스트를 우선시하라는 지침을 주어 쿼리를 보냅니다. 마지막 토큰의 레이어 전반에 걸친 은닉 상태의 차이($x^t_{i,\ell} - x^v_{i,\ell}$)를 계산하여 모달리티 선호 방향 벡터($u^\ell_t$)를 식별합니다.
• 레이어 선택: 분석 결과, 레이어 20–23(Qwen2.5VL 모델 기준)이 가장 안정적이고 유의미한 선호 신호를 나타냅니다.
• 조절(Steering): 추론 과정에서 선택된 레이어의 은닉 상태에 스케일링된 조절 벡터($s^\ell = w \cdot u^\ell$)를 더합니다. 가중치 $w$는 프로브된 방향의 평균을 원래 분포와 일치시키도록 계산되어, 언어 능력을 저해하지 않으면서 개입이 효과적으로 이루어지도록 합니다.

주요 결과

MLLM의 모달리티 선호도

• 보편성: 테스트된 20개의 모든 MLLM에서 명확한 모달리티 선호도가 나타났습니다.
• 텍스트 편향: 대부분의 모델(예: LLaVA1.5-7B)은 "언어적 사전 지식(language prior)" 가설과 일치하는 강한 텍스트 선호도(비전 비율 ~13.4%)를 보입니다.
• 시각적 선호: Qwen2.5VL 및 InternVL3와 같은 모델은 더 강한 시각적 선호도를 보이며, 이는 모델 규모가 커짐에 따라 증가합니다.
• 상관관계: 비전 비율과 다운스트림 벤치마크(예: MathVista, TallyQA)에서의 시각적 이해 성능 사이에는 강한 양의 상관관계($\rho = 0.964$)가 존재하며, 이는 선호도가 능력을 나타내는 신뢰할 수 있는 지표임을 시사합니다.

조절의 효과성

제안된 표현 엔지니어링 방법은 미세 조정 없이도 모델을 원하는 모달리티로 성공적으로 조절합니다:

• MC2 성능: 이 방법은 비전 비율을 조정하는 데 있어 제로샷(Zero-shot), 지시문 설계(Instruction Design), 생각의 사슬(Chain-of-Thought), 퓨샷(Few-shot) 등의 베이스라인보다 우수한 성능을 보입니다. 예를 들어, Qwen2.5VL-7B를 텍스트 쪽으로 조절했을 때 텍�스트 정렬 점수가 35.4%에서 63.6%로 증가했습니다.
• 다운스트림 태스크:
  • 추론: MathVista(62.3% vs. 59.0% 베이스라인)와 TallyQA(76.6% vs. 74.4%)에서 정확도가 향 향상되었습니다.
  • 환각 완화: PhD 벤치마크(특히 오도하는 텍스트가 포함된 서브셋)에서, 시각 쪽으로 조절하면 충돌하는 텍스트로 인한 환각 현상이 유의미하게 감소했습니다.
  • 번역: AmbigCaps(멀티모달 기계 번역)에서, 텍스트 쪽으로 조절하면 가짜 시각적 단서에 대한 의존도를 줄임으로써 BLEU 점수를 개선했습니다.

내부 메커니즘

어텐션 분석은 조절 방법이 모델의 어텐션 분포를 성공적으로 변화시킨다는 것을 확인해 줍니다. 텍스트 쪽으로 조절될 때, 텍스트 토큰에 대한 어텐션 가중치는 크게 증가하는 반면(예: ~55%에서 ~83%로), 시각적 어텐션은 감소하여 개입이 표현 수준에서 작동함을 입증합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 평가 프레임워크: MC2의 도입은 MLLM의 모달리티 선호도를 체계적으로 평가하고, 선호도를 이해 능력과 분리할 수 있는 최초의 통제된 대규모 벤치마크를 제공합니다.
2. 잠재 공간에 대한 통찰: 본 연구는 모달리티 선호도가 MLLM의 잠재 표현 내에 조절 가능하고 식별 가능하다는 것을 밝혀내어, 멀티모달 추론 메커니즘에 대한 새로운 관점을 제시합니다.
3. 학습이 필요 없는 제어: 제안된 프로빙 및 조절 방법은 추가 데이터나 미세 조정 없이도 모달리티 선호도를 명시적이고 제어 가능하게 조정할 수 있게 합니다. 이는 특정 모달리티 의존도가 중요한 다운스트림 태스크(예: 시각적 추론 시 텍스트로 인한 환각 방지)에서 성능을 높여줍니다.

저자들은 모달리티 선호도를 이해하고 제어하는 것이, 특히 정보가 충돌하는 시나리오에서 더욱 신뢰할 수 있고 견고한 멀티모달 시스템을 개발하는 데 필수적이라고 결론짓습니다.