SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding

1. 문제 정의 (Problem Definition)

• 시각적 환각 (Visual Hallucination): 비전 - 언어 모델 (VLM) 이 시각적 콘텐츠에 근거하지 않고도 그럴듯하지만 부정확한 객체 정보를 생성하는 현상입니다. 이는 VLM 이 고신뢰성 응용 분야에 적용되는 것을 방해하는 주요 장애물입니다.
• 기존 방법의 한계:
  • 기존 VLM 들은 주로 단일 스케일 (single-scale) 의 시각적 표현에 의존하거나, 다중 스케일 정보를 무분별하게 통합합니다.
  • 무분별한 스케일 확장 (up-scaling) 은 관련 없는 배경 정보를 과도하게 포함시켜, 모델이 특정 객체에 집중하는 능력을 저해하고 환각을 유발할 수 있습니다.
  • 기존 대비 디코딩 (Contrastive Decoding) 기법들은 주로 언어적 선입견 (language priors) 을 억제하는 데 초점을 맞추었으며, 시각적 정보의 밀도 (sparse vs. dense) 차이를 활용한 다단계 대비는 충분히 탐구되지 않았습니다.

2. 제안 방법론: SECOND (Methodology)

저자들은 SECOND (Selective and Contrastive Decoding) 라는 새로운 프레임워크를 제안합니다. 이는 추가 학습 (training-free) 이 필요 없으며, 인간의 시각 지각 방식 (선택적 주시 및 대비) 에서 영감을 받았습니다.

가. 핵심 원리 (Core Principles)

• Attention Dice Coefficient: 모델의 시각적 주의 (attention) 가 실제 객체 마스크와 얼마나 잘 정렬되는지를 측정하는 지표입니다. 연구에 따르면, 이 계수가 높을수록 환각 확률 ($P_{Hal}$) 이 감소하는 강한 상관관계가 있습니다.
• 이론적 근거: 패치 크기를 단순히 줄이는 것만으로는 성능 향상에 한계가 있으며, 오히려 관련 없는 정보를 증가시킵니다. 대신, 객체 관련 패치만 선택적으로 통합하여 시각적 정보의 밀도를 높이는 것이 Attention Dice Coefficient 를 향상시키고 환각을 줄이는 데 효과적입니다.

나. 주요 구성 요소

1. 선택적 멀티스케일 특징 통합 (Selective Multi-Scale Feature Integration):

   • 다단계 프로세스: 이미지를 저해상도 (coarse) 에서 고해상도 (fine) 로 점진적으로 처리하는 4 단계 (또는 3 단계) 구조를 사용합니다.
   • 동적 패치 선택 (Dynamic Patch Selection): 이전 단계에서 생성된 시각적 주의 (visual attention) 를 기반으로 다음 단계에서 처리할 패치를 선택합니다.
     • 주의 분포의 엔트로피 (Entropy) 를 활용하여, 객체와 배경의 구분이 명확하면 (낮은 엔트로피) 추가 패치를 적게 선택하고, 모호하면 (높은 엔트로피) 더 많은 세부 정보를 선택합니다.
     • 이를 통해 객체 관련 정보의 밀도는 유지하면서 불필요한 배경 패치는 필터링합니다.

2. 다단계 대비 디코딩 (Multi-Stage Contrastive Decoding):

   • 아마추어 vs 전문가: 초기 단계의 출력 (아마추어, coarse 정보) 과 후속 단계의 출력 (전문가, fine-grained 정보) 을 대비시킵니다.
   • 계층적 대비: 기존 단일 단계 대비 디코딩과 달리, 각 단계 간의 출력 차이를 활용하여 시각적 정보의 진화 과정을 증폭시킵니다.
   • 수식: 최종 로짓 (logit) 은 전문가 모델의 출력과 여러 아마추어 모델 (이전 단계들) 의 출력 차이를 가중치 ($\alpha, \beta, \gamma$) 를 곱해 누적하여 계산합니다.
     $$\text{logit}_{\text{SECOND}} = \text{logit}_{\text{expert}} + \alpha(\Delta_3) + \beta(\Delta_2) + \gamma(\Delta_1)$$

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크SECOND: 학습이 필요 없는 (training-free) 프레임워크로, 멀티스케일 패치를 적응적으로 선택하고 희소한 시각 데이터와 세부 정보를 대비시켜 환각을 완화합니다.
2. 다중 스케일 시각 패치 분석: VLM 에서 coarse 와 fine-grained 시각 정보의 균형을 맞추는 것이 성능 최적화에 중요함을 이론적 및 실험적으로 증명했습니다.
3. 성능 입증: POPE, VQAv2, MMStar, MMBench 등 다양한 벤치마크에서 기존 SOTA 방법들 (VCD 등) 을 능가하는 결과를 보여주었습니다.

4. 실험 결과 (Results)

• POPE 벤치마크 (환각 평가):
  • LLaVA-NeXT, Mistral-7B, LLaVA-OneVision, Yi-VL 등 다양한 모델에 적용 시, 12 개 사례 중 11 개에서 베이스라인 및 VCD 대비 높은 Recall, Accuracy, F1 점수를 기록했습니다.
  • 특히, VCD 대비 SECOND 는 객체 인식 능력을 크게 향상시켰습니다.
• 일반 태스크 (VQAv2, MMStar, MMBench):
  • 객체 존재 여부뿐만 아니라, 개방형 질문 (open-ended) 및 추론 (reasoning) 태스크에서도 성능이 향상되었습니다. 이는 SECOND 가 VLM 의 추론 능력을 저해하지 않고 오히려 지각 능력 향상을 통해 상위 태스크에도 긍정적 영향을 준다는 것을 의미합니다.
• Ablation Study:
  • 다단계 구조: 4 단계 구성이 성능과 효율성 사이의 최적 균형을 제공했습니다.
  • 패치 선택 전략: 고정된 비율 (30%, 50% 등) 보다 동적 선택 (dynamic selection) 전략이 가장 우수한 성능을 보였습니다.
  • 단일 vs 다단계 대비: MMStar 와 같은 일반적 태스크에서는 다단계 대비 디코딩이 단일 단계 대비보다 더 강력한 성능을 발휘했습니다.

5. 의의 및 결론 (Significance)

• 시각적 지각의 본질적 개선: VLM 이 단순히 텍스트 생성에 의존하는 것이 아니라, 이미지 내 객체에 정확히 주의를 기울이는 능력을 강화함으로써 환각 문제를 근본적으로 해결하려는 접근을 제시했습니다.
• 효율성: 추가적인 모델 학습이나 보조 모델 없이도 기존 VLM 의 성능을 극대화할 수 있는 경량화된 방법론을 제공합니다.
• 미래 방향: 현재는 내부 주의 맵 (attention map) 에 의존하므로, 주의가 잘못 보정된 경우 실패할 수 있다는 한계가 있습니다. 향후 연구에서는 선택 메커니즘의 견고성을 강화하는 데 초점을 맞춰야 합니다.

요약하자면, SECOND는 VLM 이 이미지를 볼 때 "무엇을 볼지 (선택)"와 "어떻게 볼지 (대비)"를 다단계로 최적화하여, 인간과 유사한 시각적 지각을 통해 환각을 획기적으로 줄인 혁신적인 방법론입니다.