Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

이 논문은 대규모 시각 - 언어 모델 (LVLM) 의 오작동을 효과적으로 탐지하기 위해 모델 출력의 긍정적 및 부정적 증거를 증거 이론을 기반으로 분석하여 내부 지식 충돌과 정보 부재를 정량화하는 '증거 기반 불확실성 정량화 (EUQ)' 방법을 제안합니다.

핵심

🧐 거대 시각-언어 모델의 '착각'과 '무지'를 찾아내는 새로운 나침반

이 논문은 최근 각광받고 있는 **거대 시각 - 언어 모델 **(LVLM)이 왜 가끔 엉뚱한 소리를 하거나 위험한 행동을 하는지, 그리고 이를 어떻게 빠르게 찾아낼 수 있는지 설명합니다.

마치 똑똑하지만 가끔은 착각하는 친구를 상상해 보세요. 이 친구는 사진을 보고 설명할 때, 때로는 없는 물체를 보기도 하고 (착각), 때로는 모르는 것을 모른다고 솔직히 말하지 않고 임의로 추측하기도 합니다 (무지).

이 논문은 이 친구의 두 가지 주요 문제점을 정확히 구분해 내는 새로운 방법, EUQ(증거 기반 불확실성 정량화)를 제안합니다.

---

🕵️‍♂️ 문제: 왜 이 모델들은 엉뚱한 말을 할까요?

기존 연구들은 "모델이 불확실하다"는 것만 알았을 뿐, 왜 불확실한지 구체적으로 구분하지 못했습니다. 이 논문은 불확실성이 크게 두 가지 원인에서 비롯된다고 말합니다.

1. **내부 갈등 **(Conflict, CF) 🤯

   • 상황: 모델의 머릿속에서 정보가 서로 충돌할 때 발생합니다.
   • 예시: 사진에는 '고양이'가 있는데, 모델은 '개'라고 생각하느라 혼란스러워합니다. 혹은 사진 속 배경과 텍스트가 서로 모순될 때, "이게 진짜 고양이일까, 아니면 개일까?"라며 내부적으로 싸우는 상태입니다.
   • 결과: **환각 **(Hallucination)이 주로 이 원인에서 나옵니다. 없는 것을 있는 것처럼 말하거나, 사실을 왜곡하는 경우죠.

2. **무지 **(Ignorance, IG) 🤷‍♂️

   • 상황: 모델이 정보를 전혀 가지고 있지 않을 때 발생합니다.
   • 예시: 아주 낯선 모양의 물체를 보여줬을 때, 모델은 "이게 뭐지? 색과 모양은 보이지만 이름은 모르겠어. 그냥 추측해 볼까?"라고 생각합니다.
   • 결과: **분포 외 **(OOD) 실패가 주로 이 원인에서 나옵니다. 훈련된 데이터와 전혀 다른 상황을 마주했을 때, 정보가 부족해 엉뚱한 답을 내놓는 경우죠.

---

💡 해결책: EUQ (증거 기반 불확실성 정량화)

저자들은 이 두 가지 문제를 한 번의 계산으로 빠르게 찾아내는 방법을 개발했습니다.

🧩 비유: 재판관과 증거들

모델이 답을 내놓기 직전 (출력 헤드) 의 상태를 재판관이 증거를 검토하는 과정으로 비유해 봅시다.

1. 증거 수집: 모델이 가진 정보 (특징) 를 **지지하는 증거 **(Positive Evidence)와 **반대하는 증거 **(Negative Evidence)로 나눕니다.
   • 지지: "이건 고양이야!"라고 말해주는 증거들.
   • 반대: "아니, 저건 개처럼 생겼어"라고 말해주는 증거들.
2. **신뢰도 계산 **(Dempster-Shafer 이론) 이 증거들을 수학적으로 합쳐봅니다.
   • **갈등 **(CF) 지지하는 증거와 반대하는 증거가 동시에 강하게 존재하면? → 내부 갈등이 큽니다. (재판관이 "이건 고양이인데, 저건 개라고 하네? 도대체 뭐지?"라며 혼란스러워함)
   • **무지 **(IG) 지지도 반대도 약하거나, 정보가 아예 없으면? → 무지가 큽니다. (재판관이 "증거가 하나도 없는데, 그냥 아무거나 말해야 하나?"라며 당황함)

이 방법은 모델을 다시 훈련시킬 필요도 없고, 여러 번 질문을 던져볼 필요도 없습니다. 단 한 번의 계산으로 모델이 "혼란스러운지", "정보 부족인지"를 바로 알아챕니다.

---

📊 실험 결과: 얼마나 잘할까요?

저자들은 이 방법을 4 가지 다른 거대 모델에 적용하여 4 가지 유형의 실수 (환각, 해킹 시도, 적대적 공격, 낯선 상황) 를 찾아냈습니다.

• 기존 방법 vs 새로운 방법: 기존 방법들보다 최대 10.5% 더 정확하게 실수를 찾아냈습니다.
• 특이한 발견:
  • **환각 **(Hallucination) 모델이 **갈등 **(CF)이 높은 상태일 때 주로 발생합니다. (무언가를 확신하면서도 반대되는 정보가 있을 때)
  • **낯선 상황 **(OOD) 모델이 **무지 **(IG)가 높은 상태일 때 주로 발생합니다. (정보 자체가 부족할 때)
• 층별 분석: 모델의 각 층 (Layer) 을 살펴보면, 정보가 깊어질수록 '무지'는 줄어들고 '갈등'은 더 뚜렷해진다는 흥미로운 패턴을 발견했습니다.

---

🚀 왜 이 기술이 중요한가요?

이 기술은 안전하고 신뢰할 수 있는 AI를 만드는 데 필수적입니다.

• 실시간 감시: 자율주행차나 의료 진단처럼 실수가 치명적인 분야에서, 모델이 "내가 지금 혼란스러워" 혹은 "내가 이걸 모른다"는 신호를 보내면 즉시 경고할 수 있습니다.
• 비용 절감: 기존 방법처럼 모델을 여러 번 돌려보거나 복잡한 추가 학습이 필요 없어, 빠르고 저렴하게 적용할 수 있습니다.

🎯 한 줄 요약

"AI 가 엉뚱한 말을 할 때, 그것이 '내부적인 혼란' 때문인지, '정보 부족' 때문인지 구별해 주는 똑똑한 감시관을 만들어냈습니다.

이 기술은 AI 가 인간과 더 잘 소통하고, 위험한 실수를 미리 막아주는 신뢰의 나침반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 시각 - 언어 모델 (LVLMs) 은 멀티모달 이해 능력에서 괄목할 만한 발전을 이루었으나, 도전적인 입력이나 분포 이동 (distribution-shifted) 데이터가 주어질 때 할루시네이션 (hallucinations), 조브레이킹 (jailbreaks), 적대적 취약점 (adversarial vulnerabilities), 분포 외 (OOD) 실패와 같은 심각한 오작동 (misbehaviors) 을 일으킵니다.

기존의 불확실성 정량화 (Uncertainty Quantification, UQ) 방법들은 주로 **전체 예측 불확실성 (total predictive uncertainty)**만을 포착할 뿐, 이러한 오작동의 근본 원인을 구분하지 못합니다. 저자들은 LVLM 의 오작동이 주로 두 가지 서로 다른 **인지적 불확실성 (epistemic uncertainty)**에서 비롯된다고 주장합니다:

1. 내부 모순 (Conflict, CF): 모델 내부의 증거들 간의 상충 (예: 텍스트와 이미지의 의미 불일치).
2. 지식 부재 (Ignorance, IG): 모델을 뒷받침하는 정보의 결여 (예: 모호한 입력으로 인한 추측).

기존 방법론 (베이지안 접근법, 샘플링 기반 방법, 언어적 표현 등) 은 계산 비용이 너무 크거나, LVLM 의 메타인지 능력 부족으로 인해 불안정하며, 위 두 가지 원인을 명확히 분리하지 못한다는 한계가 있습니다.

2. 제안 방법: 증거 기반 불확실성 정량화 (Evidential Uncertainty Quantification, EUQ)

저자들은 훈련이 필요 없는 (training-free) 프레임워크인 EUQ를 제안합니다. 이 방법은 Dempster-Shafer Theory (DST, 증거 이론) 를 활용하여 모델의 단일 순전파 (single forward pass) 내에서 CF 와 IG 를 명시적으로 분해하고 정량화합니다.

핵심 메커니즘:

1. 예비 로그이트 (Pre-logits) 특징 활용: LVLM 의 출력 헤드의 선형 투영 계층 (projection layer) 에서 추출된 특징을 '증거 (evidence)'로 간주합니다. 이는 모델의 결정과 직접적으로 연결된 고수준 신호입니다.
2. 신념 할당 (Belief Assignment): 선형 변환을 증거 융합으로 해석합니다. 입력 특징을 양의 증거 (지지) 와 음의 증거 (반대) 로 분해하여 기본 신념 할당 (Basic Belief Assignment, BBA) 을 수행합니다.
3. 증거 융합 (Evidence Fusion): Dempster 의 결합 규칙 (Dempster's rule of combination) 을 적용하여 증거를 융합합니다.
   • Conflict (CF): 양의 증거와 음의 증거 간의 충돌 정도를 계산합니다.
   • Ignorance (IG): 융합된 증거에서 누락된 정보 (전체 프레임에 할당된 신념) 를 계산합니다.
4. 최소 헌신 원칙 (Least Commitment Principle, LCP): 불필요한 가정을 최소화하기 위해 최적의 증거 가중치를 폐쇄형 해 (closed-form solution) 로 추정합니다.

이 과정을 통해 EUQ 는 추가적인 학습 없이도 모델의 내부 상태 (internal representations) 에서 발생하는 불확실성의 원인을 토큰 수준에서 식별할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 불확실성 분류 및 탐지: LVLM 의 다양한 오작동이 '내부 모순 (CF)'과 '정보 부재 (IG)'라는 두 가지 인지적 불확실성에서 비롯됨을 규명하고, 이를 단일 순전파로 효율적으로 탐지하는 방법을 최초로 제안했습니다.
2. 레이어별 동적 분석 (Layer-wise Dynamics): 모델의 디코더 레이어를 따라 CF 와 IG 가 어떻게 진화하는지 분석했습니다.
   • 관찰 1: 깊어질수록 (deep layers) **무지 (Ignorance)**는 감소하고 **충돌 (Conflict)**은 증가하는 경향이 있습니다. 이는 정보 병목 현상 (information bottleneck) 과 일치하며, 더 깊은 레이어가 과잉 정보를 압축하고 작업 관련 정보를 강화함을 시사합니다.
   • 관찰 2: 특정 레이어에서 CF 와 IG 는 서로 다른 오작동 유형을 구별하는 데 효과적입니다.
3. 성능 및 효율성: 네 가지 최신 LVLM (DeepSeek-VL2, Qwen2.5-VL, InternVL2.5, MoF-Models) 을 대상으로 한 광범위한 실험을 통해, 기존 강력한 베이스라인 (샘플링 기반, 엔트로피 기반 등) 보다 AUROC 에서 최대 10.5%, AUPR 에서 5.5% 이상의 상대적 개선을 달성했습니다.

4. 실험 결과 (Results)

• 오작동 유형별 특성:
  • 할루시네이션 (Hallucinations): 주로 **높은 내부 충돌 (High CF)**과 연관됩니다. (모델이 서로 모순되는 정보를 동시에 처리할 때 발생)
  • OOD 실패 (OOD Failures): 주로 **높은 무지 (High IG)**와 연관됩니다. (모델이 훈련 분포 밖의 정보를 처리할 때 관련 지식이 부족함)
  • 조브레이킹 및 적대적 예제: CF 와 IG 모두 효과적으로 탐지했으나, 적대적 예제의 경우 분포 이동이 뚜렷하여 다른 유형과 명확히 구분되었습니다.
• 성능 비교: 제안된 CF/IG 방법은 Self-Consistency (SC), Semantic Entropy (SE), Predictive Entropy (PE) 등 기존 방법들보다 일관되게 우수한 성능을 보였습니다. 특히 샘플링 기반 방법 (SC, SE) 에 비해 계산 오버헤드가 극히 낮아 (단일 순전파) 실시간 적용에 유리합니다.
• 모델 규모 확장성: 4B 에서 72B 에 이르는 다양한 규모의 모델에서 동일한 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LVLM 의 신뢰성 확보를 위한 중요한 통찰을 제공합니다.

• 해석 가능성 (Interpretability): 모델이 왜 실패했는지 (모순 때문인지, 정보 부족 때문인지) 를 정량적으로 설명할 수 있어, 모델 디버깅 및 개선에 기여합니다.
• 실용성: 추가 학습이나 복잡한 샘플링 과정 없이도 내부 특징을 활용해 효율적으로 오작동을 탐지할 수 있어, 자율주행, 의료 진단, 신원 인증 등 안전이 중요한 분야에서의 LVLM 배포에 필수적인 기술이 될 수 있습니다.
• 이론적 확장: Dempster-Shafer Theory 를 LVLM 의 선형 변환 계층에 적용하여 불확실성 정량화의 새로운 패러다임을 제시했습니다.

결론적으로, EUQ 는 LVLM 의 오작동을 단순히 '불확실하다'고 판단하는 것을 넘어, 그 근본 원인 (Conflict vs. Ignorance) 을 구분하여 더 정교하고 신뢰할 수 있는 AI 시스템 구축을 가능하게 합니다.