Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models

이 논문은 대형 시각 - 언어 모델의 환각 문제를 해결하기 위해 진실성과 시각 지각 능력이 서로 다른 어텐션 헤드를 사용하며 진실성 조향 벡터가 문맥에 따라 달라진다는 발견을 바탕으로, 훈련 없이 입력의 의미적 유사성에 따라 가장 영향력 있는 어텐션 헤드를 대상으로 동적으로 조향 벡터를 선택하여 적용하는 '동적 멀티모달 활성화 조향' 방법을 제안하고 그 유효성을 입증합니다.

핵심

거대 시각 - 언어 모델의 '환각'을 치료하는 새로운 방법: DMAS

이 논문은 최근 화제가 되고 있는 **거대 시각 - 언어 모델 **(LVLM)의 치명적인 약점인 **'환각 **(Hallucination) 문제를 해결하는 새로운 방법을 제안합니다.

쉽게 말해, 이 모델들은 그림을 보고 설명할 때 "없는 물건을 있는 것처럼 말하거나", "있는 물건을 잘못 묘사하는" 실수를 자주 합니다. 마치 눈이 좋은데도 뇌가 착각을 일으켜 없는 사물을 보거나, 실제 사물의 색을 다르게 기억하는 것과 비슷합니다.

이 논문은 이 문제를 해결하기 위해 **모델을 다시 학습 **(재훈련)하는 획기적인 방법을 제시합니다.

---

🧐 문제: 왜 모델은 '환각'을 볼까요?

연구자들은 모델의 내부 (특히 '주의 집중'을 담당하는 부분) 를 자세히 들여다보며 두 가지 놀라운 사실을 발견했습니다.

1. 진실성과 시각 인지는 다른 부서가 담당합니다:

   • 모델이 "이게 사실인가?"를 판단하는 부분과 "이게 무슨 그림인가?"를 보는 부분은 서로 다른 뇌 세포 (어텐션 헤드) 를 사용합니다.
   • 비유: 마치 한 회사에서 **감사팀 **(진실성)과 **디자인팀 **(시각)이 완전히 다른 부서에서 일하는 것과 같습니다.

2. 상황에 따라 '진실'의 기준이 달라집니다:

   • "사과"에 대한 진실과 "자동차"에 대한 진실은 서로 다른 방식으로 모델에 저장되어 있습니다.
   • 비유: 모든 상황에 똑같은 **법전 **(정해진 규칙)을 적용하는 것은 비효율적입니다. 상황 (맥락) 에 따라 다른 법률 전문가를 불러야 합니다.

기존 방법들은 이 복잡한 상황을 무시하고 "한 가지 고정된 규칙"을 모든 상황에 적용하려다 보니 효과가 제한적이었습니다.

---

💡 해결책: DMAS (동적 다중 모드 활성화 조향)

저자들은 이 문제를 해결하기 위해 DMAS라는 방법을 개발했습니다. 이 방법은 마치 스마트한 교정 코치가 모델의 말하기 과정을 실시간으로 도와주는 것과 같습니다.

1. '진실성 지도'를 만든다 (데이터베이스 구축)

• 연구자들은 먼저 다양한 주제 (동물, 사물, 상황 등) 로 데이터를 **4 개의 그룹 **(클러스터)으로 나눕니다.
• 각 그룹마다 "사실"인 답변과 "거짓"인 답변을 비교하여, 어떤 상황에서 모델이 헛소리를 하는지를 분석합니다.
• 그리고 각 그룹에 맞는 **최고의 '진실성 코치' **( steering vector)를 만들어 데이터베이스에 저장해 둡니다.
  • 비유: "동물에 관한 질문이 들어오면 동물 전문가 코치, 자동차 질문이면 자동차 전문가 코치"를 미리 준비해 두는 것입니다.

2. '시각 코치'도 준비한다

• 모델이 그림을 제대로 보지 못할 때 (예: 노이즈가 섞인 그림), 모델이 어떻게 반응하는지 분석하여 시각을 선명하게 하는 코치도 준비합니다.

3. 실시간으로 '맞춤형 코칭'을 한다 (동적 개입)

• 사용자가 질문을 하면, 모델은 **질문의 내용 **(의미)을 분석합니다.
• 그다음, 미리 준비된 가장 적합한 '진실성 코치'를 데이터베이스에서 찾아냅니다.
• 그리고 모델이 답변을 생성하는 순간, **가장 중요한 뇌 세포 **(어텐션 헤드)에 코치의 지시를 전달하여 "거짓말하지 말고, 그림을 정확히 봐!"라고 실시간으로 교정합니다.

---

🚀 왜 이 방법이 특별한가요?

1. **학습이 필요 없습니다 **(Training-free)

   • 기존 방법들은 모델을 다시 학습시키려면 엄청난 비용과 시간이 들었습니다. 하지만 이 방법은 이미 훈련된 모델을 그대로 사용하면서, 답변을 내는 순간에만 코칭을 해줍니다. 마치 유명 요리사에게 요리할 때만 '소금 양 조절 팁'을 알려주는 것과 같습니다.

2. **상황에 맞춰 변합니다 **(Dynamic)

   • 고정된 규칙을 쓰는 대신, 질문의 맥락에 따라 가장 적절한 코치를 불러옵니다. 그래서 어떤 질문이 들어와도 유연하게 대처합니다.

3. 눈과 뇌를 동시에 다스립니다:

   • 단순히 "거짓말하지 마"라고만 하는 게 아니라, "그림을 더 잘 봐"라는 시각적 교정도 동시에 수행합니다.

---

📊 결과는 어떨까요?

실험 결과, 이 방법은 기존 최고의 방법들보다 훨씬 뛰어난 성과를 보였습니다.

• **MME **(다양한 능력 평가) 점수가 94 점이나 올랐습니다. (기존 최고 기록을 크게 깨뜨림)
• **CHAIR **(환각 평가) 모델이 만들어낸 거짓말 (환각) 이 20% 이상 감소했습니다.
• 속도: 학습을 다시 하지 않기 때문에, 답변을 내는 속도도 매우 빠릅니다.

🎯 결론

이 논문은 거대 AI 모델이 **눈을 감고 (시각 무시) 상상만 하는 **(환각) 문제를, 상황에 맞는 맞춤형 코칭으로 해결했습니다.

마치 **AI 에게 "질문하는 주제에 따라 가장 똑똑한 감시관과 시각 전문가를 실시간으로 배치"**하여, 거짓말을 하지 않고 그림을 정확히 묘사하도록 만든 셈입니다. 이는 AI 가 자율주행, 로봇 등 안전이 중요한 분야에서 더 신뢰할 수 있게 쓰일 수 있는 중요한 한 걸음입니다.

기술 요약

1. 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLMs) 은 시각 - 언어 작업에서 뛰어난 성능을 보이지만, 할루시네이션 (Hallucination) 문제가 심각한 한계로 작용합니다. 이는 존재하지 않는 객체를 생성하거나 이미지 내용을 잘못 설명하는 현상을 의미하며, 자율 주행, 로봇 공학 등 안전이 중요한 분야에서 LVLM 의 적용을 제한합니다.

기존의 할루시네이션 완화 방법은 크게 두 가지로 나뉩니다:

• 학습 기반 (Training-based): 편향 없는 데이터셋 구축 또는 강화학습 (RLHF) 을 통한 모델 미세조정. 하지만 이는 방대한 계산 자원과 정제된 데이터가 필요하며, 모델 아키텍처마다 재학습이 필요합니다.
• 디코딩 기반 (Decoding-based): VCD, ICD 등 디코딩 전략 수정. 학습은 불필요하지만 생성된 콘텐츠의 품질이 저하되는 경향이 있습니다.

최근 연구들은 모델의 활성화 (Activation) 를 조작하는 **활성화 엔지니어링 (Activation Engineering)**을 시도했으나, 기존 방법들은 입력의 의미적 맥락 (Semantic Context) 에 따른 차이를 고려하지 않고 고정된 스티어링 벡터 (Steering Vector) 를 사용하거나, 시각적 수준에만 초점을 맞추는 등 한계가 있었습니다.

2. 제안 방법: 동적 멀티모달 활성화 조종 (DMAS)

저자들은 LVLM 의 내부 메커니즘을 분석하여 두 가지 핵심 사실을 발견하고, 이를 바탕으로 학습이 필요 없는 (Training-free) 방법인 DMAS를 제안합니다.

핵심 발견 (Key Findings)

1. 기능별 어텐션 헤드의 분리: 진실성 (Truthfulness) 과 시각적 지각 (Visual Perception) 능력은 모델 아키텍처 내의 서로 다른 어텐션 헤드 (Attention Heads) 서브셋을 주로 사용합니다.
2. 맥락 의존성: 진실성 조종 벡터는 서로 다른 의미적 맥락 (Semantic Context) 에 따라 크게 달라집니다. 즉, 고정된 벡터보다는 동적인 접근이 필요합니다.

방법론의 3 단계

1. 동적 진실성 스티어링 벡터 데이터베이스 구축:

   • SEED 및 AMBER 데이터셋을 의미에 따라 4 개의 클러스터로 분류합니다.
   • 각 클러스터 내에서 사실적인 답변 (Ground Truth) 과 할루시네이션 답변 (Hallucinated) 간의 어텐션 활성화 차이를 계산하여 진실성 스티어링 벡터를 추출합니다.
   • PCA 를 통해 노이즈를 제거한 후, 각 클러스터의 질문 임베딩을 키 (Key), 해당 벡터를 값 (Value) 으로 하는 키 - 값 (Key-Value) 데이터베이스를 구성합니다.

2. 시각적 지각 스티어링 벡터 계산:

   • 원본 이미지와 노이즈가 추가된 (또는 왜곡된) 이미지 입력 간의 어텐션 활성화 차이를 계산합니다.
   • 이를 통해 시각적 정보에 대한 주의를 높이는 시각적 지각 스티어링 벡터를 도출합니다.

3. 추론 시 동적 개입 (Dynamic Intervention):

   • 동적 검색: 입력된 질문의 의미적 임베딩과 데이터베이스의 키를 비교하여, 가장 의미적으로 유사한 진실성 스티어링 벡터를 동적으로 선택합니다.
   • 타겟팅된 적용: 선택된 진실성 벡터와 시각적 지각 벡터를 모델의 가장 영향력 있는 Top-K 어텐션 헤드에만 적용합니다.
   • 수식: 표준 어텐션 메커니즘에 $\alpha$ (진실성 강도) 와 $\beta$ (시각적 강도) 를 곱한 스티어링 벡터를 가중치로 추가하여 히든 상태를 수정합니다.

3. 주요 기여 (Key Contributions)

• 메커니즘 분석: LVLM 에서 진실성과 시각적 지각이 서로 다른 어텐션 헤드를 사용하며, 진실성 벡터가 의미적 맥락에 따라 변한다는 것을 시각화 및 실험을 통해 입증했습니다.
• 새로운 방법론 제안: 의미 기반 데이터베이스와 동적 검색을 통해 추론 시 맥락에 맞는 스티어링 벡터를 선택하는 DMAS를 제안했습니다. 이는 학습이 필요 없으며, 고정된 벡터 방식의 한계를 극복합니다.
• 성능 입증: 다양한 모델 (LLaVA, QwenVL) 과 데이터셋 (MME, POPE, CHAIR 등) 에서 기존 SOTA 방법 (ICT, VAF, VTI 등) 을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

• MME (다중 태스크 벤치마크): LLaVA v1.5 모델에서 기존 SOTA 대비 94.66 점 향상, QwenVL 에서 46 점 향상을 기록했습니다.
• POPE (객체 할루시네이션): MSCOCO 데이터셋에서 LLaVA v1.5 의 정확도를 5.43%, F1 점수를 7.14% 향상시켰습니다.
• CHAIR (개방형 생성): 문장 수준 할루시네이션 (CHAIRS) 을 20.2% 감소시켰으며, 기존 SOTA 방법인 VTI 보다 5 포인트 더 낮은 할루시네이션율을 보였습니다.
• 일반화 및 확장성: 과학 QA (ScienceQA), 지식 기반 QA (ViQuAE) 등 학습에 사용되지 않은 데이터셋에서도 성능 향상을 보였으며, 모델 크기 (7B, 13B) 가 달라져도 효과적이었습니다.
• 추론 속도: 기존 디코딩 기반 방법 (VCD) 에 비해 추론 지연 시간이 훨씬 짧아 효율적입니다.

5. 의의 및 중요성 (Significance)

이 논문은 LVLM 의 할루시네이션 문제를 해결하기 위해 모델의 내부 표현 (Internal Representations) 을 정밀하게 조작하는 새로운 패러다임을 제시합니다.

1. 효율성: 모델 재학습 없이 추론 시에만 적용 가능한 학습 불필요 (Training-free) 방식이라서 실제 적용 비용이 낮습니다.
2. 맥락 인식: 고정된 규칙이 아닌 동적 검색을 통해 입력의 의미에 맞춰 최적의 개입을 수행하므로, 다양한 시나리오에서 강건한 성능을 보입니다.
3. 정밀 제어: 모든 헤드가 아닌 영향력 있는 어텐션 헤드만 타겟팅하여 모델의 기본 능력을 해치지 않으면서 할루시네이션만 선택적으로 제거합니다.

결론적으로, DMAS 는 안전이 중요한 분야에 LVLM 을 적용할 때 발생할 수 있는 신뢰성 문제를 해결하는 데 있어 실용적이고 효과적인 솔루션을 제공합니다.