When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

1. 연구 배경 및 문제 정의 (Problem)

대형 비전 - 언어 모델 (LVLMs) 은 이미지 캡셔닝, 시각적 추론, 지시 따르기 등 다양한 다중 모달 작업에서 괄목할 만한 성과를 거두었습니다. 그러나 이러한 모델들은 여전히 할루시네이션 (Hallucination), 즉 입력된 시각적 정보와 무관한 내용을 생성하는 취약점을 가지고 있습니다.

기존 연구들은 할루시네이션의 원인을 시각적 백본 (Vision Backbone) 의 한계나 언어 모달리티의 지배적 영향으로 보았으나, 구체적인 원인의 상대적 중요도는 명확하지 않았습니다. 본 논문은 다음과 같은 핵심 문제를 제기합니다:

• 프롬프트에 의한 시각적 정보의 무시: 모델이 시각적 인식은 정확하게 수행함에도 불구하고, 텍스트 지시문 (Instruction) 이나 사전 지식 (Priors) 에 과도하게 의존하여 잘못된 응답을 생성합니다.
• 기존 벤치마크의 한계: POPE, CHAIR, MMHAL-Bench 등 기존 평가 지표는 할루시네이션의 원인을 (1) 지각 실패, (2) 학습된 객체 공출현상 (Co-occurrence) 편향, (3) 지시문의 전제 (Presupposition) 로 구분하지 못합니다. 이로 인해 근본적인 원인 분석과 해결이 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 할루시네이션의 원인을 분리하여 진단하는 벤치마크 HalluScope 와 이를 해결하기 위한 미세 조정 프레임워크 HalluVL-DPO 를 제안합니다.

가. HalluScope: 할루시네이션 진단 벤치마크

할루시네이션의 세 가지 주요 원인을 분리하여 평가하는 벤치마크입니다.

1. 시각적 지각 한계 평가:
   • Positive Object Recognition: 이미지에 실제로 존재하는 객체 유무 질문.
   • Random Object Recognition: 이미지와 무관한 임의의 객체 유무 질문.
2. 학습된 공출현상 편향 평가 (Adversarial Object Recognition):
   • 문맥상 타당하지만 실제로는 존재하지 않는 객체 (예: 탁자만 있고 의자가 없는 이미지에서 '의자' 유무) 를 질문합니다. 이는 모델이 시각적 증거 대신 학습된 객체 간 연관성 (Co-occurrence) 에 의존하는지를 측정합니다.
3. 지시문 전제에 의한 할루시네이션 평가 (Adversarial Presupposition Attribute):
   • 객체의 존재를 암묵적으로 전제하는 질문 (예: "의자의 색상은 무엇인가?") 을 통해 모델이 텍스트 지시문의 전제에 따라 존재하지 않는 객체를 할루시네이션하는지 평가합니다.

나. HalluVL-DPO: 할루시네이션 완화 프레임워크

텍스트 지시문의 전제에 의해 유발된 할루시네이션을 완화하기 위해 제안된 샘플 정보량 기반 선호도 최적화 (Sample-informativeness based Preference Optimization) 프레임워크입니다.

• 데이터 구성: 27,400 개의 이미지와 10 만 개 이상의 쿼리로 구성된 대규모 선호도 데이터셋을 구축합니다. 각 샘플은 시각적으로 근거가 있는 '선택된 응답 (Chosen)'과 할루시네이션이 포함된 '거부된 응답 (Rejected)'으로 구성됩니다.
  • 데이터 생성 전략: 지시문에 올바른 힌트나 잘못된 힌트를 추가하는 'Unilateral Hint Augmentation', 'Contrastive Hint Augmentation', 'Post-Hoc Hallucination Injection', 'Model-Assisted Answer Inversion' 등 다양한 전략을 사용하여 할루시네이션과 정답의 대비를 극대화합니다.
• 가중치 기반 DPO (Weighted DPO): 모든 선호도 쌍이 동일한 학습 신호를 제공하지 않는다는 가정 하에, **의미적 격차 (Semantic Gap)**에 따라 샘플에 가중치를 부여합니다.
  • 가중치 1: 의미 차이가 거의 없는 단순 재구성 (낮은 정보량).
  • 가중치 2: 둘 다 잘못된 전제를 따르지만 디테일이 다른 경우.
  • 가중치 3: 명확한 대비 (예: 선택된 답은 객체 부재를 정확히 지적, 거부된 답은 존재를 가정) 를 보이는 경우 (높은 정보량).
  • 외부 LLM 을 사용하여 이 격차를 평가하고 가중치를 부여하여, 명확한 근거 신호를 제공하는 샘플에 학습 집중도를 높입니다.

3. 주요 실험 결과 (Results)

저자들은 LLaVA-1.5-7B 와 Qwen2-VL-7B 모델을 대상으로 실험을 수행했습니다.

• HalluScope 평가 결과:
  • 기존 모델들은 객체 인식 (Positive/Random Recognition) 에서 높은 정확도를 보였으나, **Adversarial Recognition (공출현상 편향)**과 **Adversarial Presupposition (지시문 전제)**에서는 성능이 급격히 하락했습니다. 이는 할루시네이션이 시각적 인식 실패가 아니라 텍스트 기반 편향에서 기인함을 입증했습니다.
  • HalluVL-DPO 적용 후, LLaVA-1.5-7B 의 AdP 점수가 5.85 에서 83.54로, Qwen2-VL-7B 는 57.96 에서 80.40으로 비약적으로 향상되었습니다.
• 다른 벤치마크 및 일반 성능:
  • POPE, CHAIR, HallusionBench 등 기존 할루시네이션 벤치마크에서도 일관된 개선을 보였습니다.
  • MME, ScienceQA, MM-Vet 등 일반 다중 모달 능력 평가에서는 성능 저하가 없거나 오히려 유지/개선되었습니다. 이는 모델의 일반적 능력이 손상되지 않고 특정 할루시네이션 유형만 타겟팅되었음을 의미합니다.
• Ablation Study:
  • 데이터 스케일 증가 (20k 샘플) 는 성능 향상에 기여했으나, 그 이상에서는 체감 효과가 줄어듦을 확인했습니다.
  • '속성 (Attribute)' 질문 쌍을 제거할 경우 모든 벤치마크에서 성능이 저하되어, 이 데이터 유형이 가장 범용적으로 기여함을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. HalluScope 벤치마크 도입: 할루시네이션을 단일 현상이 아닌 '지각 실패', '학습된 공출현상 편향', '지시문 전제'로 분리하여 진단할 수 있는 최초의 체계적인 벤치마크를 제안했습니다. 이를 통해 현대 LVLM 의 할루시네이션이 시각적 한계가 아닌 텍스트 지시문에 대한 과도한 의존에서 비롯됨을 규명했습니다.
2. HalluVL-DPO 프레임워크: 텍스트 전제에 의한 할루시네이션을 효과적으로 완화하는 미세 조정 프레임워크를 제안했습니다. 샘플의 정보량 (의미적 격차) 에 기반한 가중치 DPO 와 대규모 합성 선호도 데이터셋을 활용하여, 모델이 시각적 근거에 기반한 응답을 선호하도록 학습시켰습니다.
3. 오픈소스 및 재현성: HalluScope 벤치마크, 데이터 구축 파이프라인, 학습 데이터, 그리고 미세 조정된 모델 체크포인트를 공개하여 후속 연구를 지원합니다.

5. 의의 및 결론 (Significance)

이 연구는 LVLM 의 할루시네이션 문제가 단순히 시각적 인식의 부족이 아니라, 언어적 사전 지식과 텍스트 지시문과의 정렬 (Alignment) 문제임을 명확히 했습니다. 특히, 모델이 이미지 자체보다 프롬프트의 전제에 더 민감하게 반응한다는 점을 발견하고, 이를 해결하기 위한 효율적인 미세 조정 기법을 제시했습니다.

이는 자율 주행, 의료 진단 등 안전이 중요한 분야에서 LVLM 의 신뢰성을 높이는 데 기여할 수 있으며, 향후 다중 모달 모델 개발 시 '시각적 근거 (Visual Grounding)'와 '언어적 추론' 간의 균형을 맞추는 것이 핵심 과제임을 시사합니다.