One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

이 논문은 시각 토큰을 증강된 의미 강화와 가지치기를 통한 부정적 샘플 생성이라는 두 가지 방식으로 조작하여 MLLM 의 환각을 해결하는 통합 프레임워크를 제안함으로써, 언어 편향을 보정하고 객체 환각을 효과적으로 줄입니다.

핵심

한 개의 토큰, 두 가지 운명: AI 의 환각을 막는 새로운 방법

이 논문은 **멀티모달 대형 언어 모델 (MLLM)**이 가진 치명적인 약점인 '환각 (Hallucination)' 문제를 해결하는 새로운 방법을 제안합니다.

쉽게 말해, AI 가 그림을 보고 설명할 때 **"사실은 없는 물건을 마치 있는 것처럼 말하거나, 실제와 다른 내용을 지어내는 현상"**을 막는 기술입니다.

기존 방법들은 "눈 (시각) 을 더 크게 뜨게 하거나" 혹은 "입 (언어) 을 더 조심스럽게 하거나" 중 하나만 선택했는데, 이 논문은 **"눈과 입을 동시에, 똑똑하게 조절하자"**는 아이디어를 제시합니다.

---

🎭 왜 AI 는 환각을 일으킬까요? (비유: 무능한 통역사)

AI 를 **사진을 보고 설명해주는 '통역사'**라고 상상해 보세요.

• 시각 신호 (눈): 사진 속 내용을 전달합니다.
• 언어 신호 (입): AI 가 평소 배운 말투나 상식 (언어적 편견) 을 바탕으로 말을 잇습니다.

문제는 시간이 지날수록 통역사의 '눈'이 점점 흐려지고, '입'이 평소 습관대로 말을 지어낸다는 것입니다.

• 처음에는 사진을 잘 보지만, 설명이 길어질수록 "아마도 저건 개일 거야"라고 말하며 실제 사진 속 개가 아닌, AI 가 상상한 개를 말해버립니다.
• 기존 연구들은 "눈을 더 크게 뜨게 해라 (시각 강화)"거나 "입을 막아라 (언어 억제)"는 식으로 따로 해결하려 했지만, 둘 다 한계가 있었습니다.

---

💡 이 논문의 핵심 아이디어: "눈 (Vision Token) 을 두 가지 방식으로 쓰자"

이 논문은 AI 가 사진을 이해하는 핵심 요소인 **'비전 토큰 (Vision Token)'**을 두 가지 다른 역할로 동시에 활용하는 통합 프레임워크를 제안합니다. 마치 한 명의 배우가 주인공과 악역을 동시에 연기하며 극을 완성하는 것과 같습니다.

1. 역할 1: 시야를 넓혀주는 '보조 카메라' (SVC - 시너지 시각 보정)

• 문제: 통역사가 사진을 보다가 지쳐서 중요한 부분을 놓칩니다.
• 해결: 원본 사진뿐만 아니라, 화살표로 뒤집거나 흐리게 만든 '변형된 사진'도 함께 보여줍니다.
• 비유: 마치 3D 안경을 끼거나, 여러 각도에서 찍은 사진을 동시에 보여주는 것과 같습니다. 원본에서는 놓친 '강아지'의 귀가 변형된 사진에서는 또렷하게 보입니다. AI 는 이 두 가지 정보를 합쳐서 "아, 저건 확실히 강아지구나!"라고 더 정확하게 파악하게 됩니다.

2. 역할 2: AI 의 나쁜 버릇을 잡아주는 '거울' (CRC - 인과 표현 보정)

• 문제: 통역사가 "저건 개일 거야"라고 말하려는 나쁜 습관 (편견) 이 있습니다.
• 해결: 사진에서 핵심 정보를 일부러 지운 (가려진) 상태로 AI 에게 물어봅니다.
• 비유: 사진에서 강아지 얼굴만 가리고 AI 에게 "이게 뭐야?"라고 물으면, AI 는 "아, 내가 아는 상식대로 개라고 말해야지"라고 실수 (환각) 를 저지릅니다.
  • 이때 AI 가 실제 사진을 볼 때의 생각과, 가려진 사진을 볼 때의 실수한 생각을 비교합니다.
  • **"실제 사진 - 가려진 사진 = AI 의 나쁜 버릇 (편견)"**을 계산해냅니다.
  • 그리고 이 '나쁜 버릇'을 AI 의 머릿속에서 빼버립니다. 마치 거울을 통해 자신의 나쁜 버릇을 보고 고치는 것과 같습니다.

---

🚀 왜 이 방법이 특별한가요?

1. 한 번에 두 마리 토끼를 잡습니다: 시각을 강화하면서도 언어적 편견을 제거하는 두 가지 작업을 하나의 시스템으로 통합했습니다.
2. 학습이 필요 없습니다 (Training-Free): AI 를 다시 가르칠 필요가 없습니다. 이미 만들어진 AI 에게 이 '보조 카메라'와 '거울'만 연결하면 바로 작동합니다.
3. 빠르고 정확합니다: 기존 방법들보다 계산 비용이 거의 들지 않으면서 (약 1.06 배의 지연만 발생), 정확도는 크게 향상되었습니다.

📊 실제 성과

이 방법을 적용한 결과, AI 가 물체를 잘못 인식하는 경우 (환각) 가 크게 줄어들었습니다. 특히 LLaVA-1.5 같은 유명한 모델에서 정확도가 평균 2% 이상 향상되었으며, AI 가 더 이상 "없는 물건을 있는 것처럼" 말하지 않게 되었습니다.

📝 한 줄 요약

"AI 가 사진을 볼 때, 원본과 변형된 사진을 함께 보여줘 시력을 돕고 (SVC), 일부러 정보를 지운 사진을 보여줘 AI 의 나쁜 버릇을 찾아내서 제거하는 (CRC) 방식으로, AI 의 환각을 완벽하게 잡았다!"

이 기술은 AI 가 현실 세계를 더 정확하게 이해하고, 우리가 믿고 사용할 수 있는 신뢰할 수 있는 도구가 되는 데 큰 기여를 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대형 언어 모델 (MLLM) 은 이미지와 텍스트를 결합하여 강력한 추론 능력을 보이지만, 할루시네이션 (Hallucination, 환각) 이라는 치명적인 결함을 가지고 있습니다. 이는 모델이 시각적 증거와 모순되는 유창한 텍스트를 생성하는 현상입니다.

• 근본 원인: 시각 신호가 출력 생성 과정에서 점차 약해지는 반면, 모델 내부의 강력한 언어적 선입관 (Language Prior) 이 지배적이 되어 시각적 근거가 약화될 때 할루시네이션이 발생합니다.
• 기존 방법의 한계: 현재 훈련이 필요 없는 (Training-free) 방법들은 시각 신호 강화 (Visual Enhancement) 나 텍스트 관성 억제 (Text Inertia Suppression) 중 한 가지에만 초점을 맞추거나, 이를 단순히 결합하는 방식을 사용합니다.
  • 시각만 강화하면 강력한 언어적 관성을 이기지 못합니다.
  • 언어만 억제하기 위해 입력 이미지를 왜곡 (Modality-gap) 하면 불필요한 노이즈가 추가되어 결과가 불안정해집니다.
  • 두 방법을 단순히 합치면 (Naive combination) 서로 상충되는 신호로 인해 성능이 오히려 저하됩니다.

2. 방법론 (Methodology)

저자들은 할루시네이션을 해결하기 위해 비트 (Vision Token) 를 핵심 자산으로 활용하는 통합된 잠잠 표현 보정 (Unified Latent Calibration) 프레임워크를 제안합니다. 이 프레임워크는 훈련 없이 작동하며, 중간 표현 (Intermediate Representation) 단계에서 비트 토큰을 두 가지 상반된 역할로 활용합니다.

핵심 통찰 (Key Insights)

1. 시각적 보완성 (Semantic Complementarity): 원본 이미지와 증강된 (Augmented) 이미지의 비트 토큰은 서로 보완적인 시각적 의미를 제공합니다.
2. 정보 격차 (Information-gap) 의 우위: 이미지 픽셀을 왜곡하는 방식 (Modality-gap) 보다, 잠재 공간 (Latent space) 에서 비트 토큰을 제거하는 방식 (Information-gap) 이 더 안정적이고 정확한 할루시네이션 편향을 포착할 수 있습니다.

주요 모듈

1. 시너지 시각 보정 (Synergistic Visual Calibration, SVC):
   • 목적: 시각적 신호의 감쇠 (Visual Fading) 를 막고 시각적 근거를 강화.
   • 작동 방식: 원본 이미지와 증강된 이미지 (회전, 블러, 노이즈 등) 의 비트 토큰을 결합하여 '시너지 시각 메모리 뱅크'를 생성합니다. 이를 모델의 중간 레이어 (예: 16 번째 레이어) 에서 주입하여 시각적 컨텍스트를 풍부하게 합니다.
2. 인과적 표현 보정 (Causal Representation Calibration, CRC):
   • 목적: 모델의 내재적 편향 (Bias) 을 정제하고 텍스트 관성을 억제.
   • 작동 방식: 비트 토큰을 무작위로 제거 (Pruning, 예: 5 개만 남김) 하여 '잠재 공간의 부정적 샘플 (Negative Samples)'을 생성합니다. 원본 표현과 이 부정적 샘플 표현의 차이 (차분 벡터) 를 계산하여 '할루시네이션 방향 벡터'를 추출한 후, 이를 원본 표현에서 빼서 편향을 제거합니다. 이는 구조적 인과 모델 (SCM) 에 기반하여 시각적 진실에 가까운 표현을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 문제 재정의: 할루시네이션 완화 문제를 시각 - 언어 불균형 문제로 재정의하고, 기존 분리된 접근법의 한계와 단순 결합의 실패를 체계적으로 분석했습니다.
2. 최초의 통합 프레임워크: 비트 토큰의 이중적 잠재력 (강화와 억제) 을 활용하여, 중간 표현 단계에서만 작동하는 최초의 통합된 훈련 불필요 프레임워크를 제안했습니다.
3. 효율적인 모듈 설계: SVC 와 CRC 모듈을 통해 시각적 근거 강화와 편향 정제를 동시에 수행하며, 추론 지연 (Latency) 을 최소화했습니다.

4. 실험 결과 (Results)

LLaVA-1.5, MiniGPT-4, Shikra, InstructBLIP 등 다양한 MLLM 아키텍처와 여러 벤치마크에서 검증되었습니다.

• 객체 할루시네이션 (POPE Benchmark):
  • LLaVA-1.5 에서 GQA 분할 기준 81.54% 의 정확도를 기록하여 기존 최상위 방법들 (VCD, PAI, VISTA 등) 을 능가했습니다.
  • 평균적으로 2% 절대 정확도 향상을 보였습니다.
• 자유형 캡션 할루시네이션 (CHAIR Benchmark):
  • 생성된 객체 중 할루시네이션 비율 (CHAIRI, CHAIRS) 을 가장 낮게 기록하여, 근거 없는 객체 생성을 효과적으로 억제함을 입증했습니다.
• 종합 성능 (MME & MMHal-Bench):
  • 할루시네이션을 줄이면서도 모델의 일반적 지각 (Perception) 과 인지 (Cognition) 능력을 유지하거나 오히려 향상시켰습니다.
• 효율성:
  • 추론 지연 (Latency) 은 기존 Greedy 방식 대비 1.06 배만 증가하여 매우 효율적입니다. (VCD 는 2.4 배, VISTA 는 1.1 배 증가)
  • GPU 메모리 사용량도 경쟁 방법들보다 적게 소모합니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 할루시네이션 문제를 해결하기 위해 시각 토큰을 단일 소스로 활용하여 강화와 억제를 조화시키는 통합적 접근의 중요성을 강조합니다.

• 기술적 혁신: 이미지 왜곡 대신 '정보 격차 (Token Pruning)'를 활용한 부정적 샘플링과 증강된 시각적 컨텍스트의 결합은 할루시네이션의 근본 원인인 시각 - 언어 불균형을 효과적으로 해결합니다.
• 실용성: 추가적인 훈련 (Fine-tuning) 이 필요 없으며, 추론 속도와 메모리 오버헤드가 매우 낮아 실제 응용 환경에 바로 적용 가능한 솔루션을 제공합니다.

결론적으로, 이 연구는 MLLM 의 신뢰성을 높이기 위한 새로운 패러다임을 제시하며, 멀티모달 모델의 할루시네이션 문제를 체계적이고 효율적으로 해결하는 중요한 이정표가 됩니다.