1. 문제 정의 (Problem)

대형 비전 - 언어 모델 (LVLMs) 은 이미지와 텍스트 입력을 기반으로 추론하여 다양한 멀티모달 작업에서 뛰어난 성능을 보이지만, **할루시네이션 (Hallucination)**이라는 심각한 문제를 안고 있습니다. 할루시네이션은 문법적으로나 구문론적으로 일관된 내용을 생성하지만, 실제 시각적 입력 (이미지) 과는 무관하거나 모순되는 정보를 생성하는 현상을 의미합니다.

• 주요 원인: 통계적 사전 학습 편향, 약한 비전 - 언어 정렬, 최적화 편향 등이 있지만, 이 논문은 특히 **생성 과정에서 누적되는 '언어 사전 (Language Priors)'**에 초점을 맞춥니다.
• 메커니즘: 모델이 답변을 생성할 때, 텍스트 컨텍스트가 점차 시각적 맥락을 희석시킵니다. 이로 인해 모델은 시각적 근거가 부족함에도 불구하고 언어적 패턴에 기반하여 그럴듯하지만 틀린 내용을 생성하게 됩니다.
• 기존 방법의 한계: 기존 할루시네이션 완화 기법들은 추가 학습 (Fine-tuning) 이 필요하거나, 대비적 디코딩 (Contrastive Decoding) 등을 위해 추론 시간을 2 배 이상 증가시키고 GPU 메모리 오버헤드가 크다는 단점이 있습니다.

2. 방법론 (Methodology): Residual Decoding (ResDec)

저자들은 **Residual Decoding (ResDec)**이라는 새로운 학습 불필요 (Training-free) 및 플러그 앤 플레이 (Plug-and-play) 디코딩 전략을 제안합니다. 이 방법은 LVLM 의 내부 암시적 추론 메커니즘과 토큰 로짓 (Logit) 의 진화 과정을 활용합니다.

핵심 관찰 (Key Observation)

• 모델이 정답 토큰을 명시적으로 디코딩하기 전에도, 이전 토큰들의 로짓 분포에 정답에 대한 신호가 이미 내재되어 있습니다.
• 할루시네이션은 특정 시점에서 잘못된 토큰 (할루시네이션 토큰) 이 로짓 분포에 나타나고, 그 확률이 실제 정답 토큰을 능가할 때 발생합니다.

ResDec 의 작동 원리

1. 임시적 진화 분석 (Temporal Evolution Analysis):
   • 과거 토큰들의 로짓 분포를 분석하기 위해 **제이슨 - 샤논 발산 (Jensen-Shannon Divergence, JSD)**을 사용합니다.
   • JSD 는 시간의 흐름에 따라 U 자형 (U-shaped) 패턴을 보입니다. 이를 세 단계로 구분합니다:
     • PSAP (Pre-Semantic Clarity Phase): 초기 불규칙한 상태.
     • SAP (Semantic Anchoring Phase): JSD 가 최소가 되어 의미 (Semantics) 가 안정화되고 고정되는 구간.
     • EDP (Expressive Divergence Phase): 다양한 표현을 위해 다시 발산하는 구간.
2. 신뢰도 가중치 집계 (Confidence-Weighted Aggregation):
   • SAP 와 EDP 구간 (안정된 의미와 유효한 표현이 공존하는 구간) 에서의 과거 로짓을 수집합니다.
   • 각 시간 단계의 **신뢰도 (Confidence)**를 계산하여 (엔트로피가 낮을수록 신뢰도 높음), 과거 로짓을 신뢰도 가중치로 집계합니다.
   • 이를 통해 **잔여 신호 (Residual Signal)**를 생성합니다.
3. 잔여 안내 (Residual Guidance) 통합:
   • 생성된 잔여 신호를 현재 디코딩 로짓과 가중치 $\alpha$로 결합하여 최종 확률 분포를 보정합니다.
   • 수식: $P_{ResDec} = \text{Softmax}[(1-\alpha)\text{logit}_{current} + \alpha \cdot \text{logit}_{residual}]$
   • 이 과정은 추가적인 모델 추론 없이 기존 추론 과정에서 자연스럽게 생성된 히스토리 로짓을 재사용하므로, 추가적인 추론 비용이 거의 없습니다.

3. 주요 기여 (Key Contributions)

1. 할루시네이션의 본질 규명: LVLM 의 할루시네이션은 디코딩 단계에서 할루시네이션 토큰이 로짓 분포에 나타나 실제 토큰을 압도하는 과정에서 발생함을 규명했습니다.
2. ResDec 전략 제안: 학습이 필요 없고, 거의 추가 비용 없이 할루시네이션을 완화하는 효율적인 디코딩 전략을 제안했습니다. JSD 를 통해 의미적으로 명확한 과거 토큰의 로짓을 집계하여 잔여 스트림을 형성하고, 이를 현재 로짓에 융합합니다.
3. 광범위한 일반화 능력: 다양한 LVLM 아키텍처와 벤치마크에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

저자들은 11 개의 벤치마크 (POPE, CHAIR, HallusionBench, MME, MMBench 등) 와 3 개의 주요 LVLM (LLaVA-1.5, InstructBLIP, Qwen2.5-VL) 을 대상으로 실험을 수행했습니다.

• 할루시네이션 완화:
  • POPE: Regular 디코딩 대비 평균 정확도 7.84%, F1 점수 8.01% 향상.
  • CHAIR: 객체 할루시네이션 (CHAIRS) 에서 16.57%, 문장 단위 (CHAIRI) 에서 26.44% 개선.
  • HallusionBench: 모든 모델에서 SOTA 성능 달성.
• 종합 벤치마크 성능:
  • MME, ScienceQA, MMVP 등 종합적인 멀티모달 벤치마크에서도 Regular 디코딩 및 기존 SOTA 방법 (VCD, ICD, OPERA 등) 보다 우수한 성능을 기록했습니다.
  • 예: Qwen2.5-VL 에서 MME 점수 2348.40 (Regular 대비 11.65% 향상).
• 효율성:
  • 기존 방법들은 2 배 이상의 추론 시간이나 높은 메모리 오버헤드를 요구하는 반면, ResDec 은 Greedy 디코딩 대비 0.02 배만 느린 수준의 지연 시간 (Latency) 을 보여 매우 효율적입니다.
  • 추가적인 대비 모델이나 외부 인코더가 필요 없습니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 의 할루시네이션 문제를 해결하기 위해 모델 내부의 히스토리 로짓을 활용한 효율적인 디코딩 전략을 제시했습니다.

• 실용성: 추가 학습이나 복잡한 구조 변경 없이 기존 모델에 바로 적용 가능하여 실제 서비스 환경에서의 적용성이 매우 높습니다.
• 이론적 통찰: 할루시네이션이 단순히 시각 정보의 부재가 아니라, 디코딩 과정에서의 로짓 분포 역학 (역동적 변화) 에 기인함을 보여주었습니다.
• 향후 방향: ResDec 은 신뢰할 수 있고 시각적으로 근거가 있는 생성을 위한 디코딩 단계 개입의 새로운 패러다임을 제시하며, 향후 더 안정된 멀티모달 모델 개발의 기초를 마련했습니다.

결론적으로, ResDec은 할루시네이션을 효과적으로 억제하면서도 계산 비용을 최소화하여, 대형 비전 - 언어 모델의 신뢰성과 실용성을 획기적으로 높인 획기적인 방법론입니다.