Benchmarking Deflection and Hallucination in Large Vision-Language Models

이 논문은 시각적·텍스트적 증거 간의 충돌이나 정보 부족 상황에서 모델의 회피 (deflection) 능력을 평가하고, 시간이 지나도 난이도가 유지되도록 동적 데이터 선별 파이프라인과 'VLM-DeflectionBench' 벤치마크를 제안하여 대형 시각 - 언어 모델의 신뢰성을 검증하는 방법을 제시합니다.

핵심

🍽️ 핵심 이야기: "모르는 건 모른다고 말하는 게 진짜 실력이다"

지금까지 우리는 AI 가 "정답을 얼마나 많이 맞췄는지"만 중요하게 여겼습니다. 하지만 이 논문은 **"정답을 모를 때, 엉뚱한 소리를 지어내지 않고 '모르겠습니다'라고 정중히 거절할 수 있는가?"**를 더 중요하게 봅니다.

1. 문제: "알고 있는 척하는 AI 들" (할루시네이션)

상상해 보세요. 손님이 "이 사진에 있는 고양이가 어떤 종인지 알려줘"라고 물었습니다. 그런데 AI 는 사진만 보고는 정확한 답을 알 수 없는데도, 자기가 다 안다는 듯이 "아, 이건 '스코티시 펠리'라는 귀여운 고양이예요!"라고 거짓말을 합니다.

이걸 **'할루시네이션 (Hallucination, 환각)'**이라고 합니다. AI 가 없는 정보를 만들어내서 엉뚱한 답을 내놓는 것이죠.

2. 해결책: "모르면 거절하는 AI" (Deflection)

반대로, 똑똑한 요리사는 손님이 묻는 재료가 없으면 "죄송합니다, 이 재료는 지금 없네요"라고 정직하게 말합니다. 이걸 **'디플렉션 (Deflection, 거절/회피)'**이라고 합니다.

이 논문은 **"AI 가 거짓말을 하지 않고, 모르면 정직하게 거절할 수 있는가?"**를 테스트하는 새로운 시험지 **VLM-DeflectionBench**를 만들었습니다.

---

🧪 실험실: 어떻게 테스트했을까요?

연구진들은 AI 들에게 4 가지 다른 상황을 만들어서 시험을 보았습니다.

1. 기억력 시험 (Parametric): 외부 정보 없이 오직 AI 가 머릿속에 가진 지식만으로 답하게 합니다. (여기서는 답을 못 해도 됩니다.)
2. 정답만 준 시험 (Oracle): 정확한 정답이 적힌 문서를 AI 에게 보여줍니다. (여기서는 틀리면 안 됩니다.)
3. 혼란스러운 시험 (Realistic): 정답 문서와 **거짓말 문서 (오답)**를 섞어서 보여줍니다. AI 가 진짜 정답을 골라낼 수 있을까요?
4. 미끼 시험 (Adversarial): 정답은 없고 거짓말 문서만 보여줍니다. AI 가 "이건 답이 없네요"라고 거절할 수 있을까요?

📉 실험 결과: AI 들은 아직 서툴러요

20 개의 최신 AI 모델을 시험해 보니 놀라운 결과가 나왔습니다.

• 거짓말을 잘합니다: 정답이 없는 상황에서도 AI 들은 대부분 "모르겠습니다"라고 말하기보다, 무언가를 지어내서 답을 내놓으려 했습니다. 마치 시험지 공백을 채우기 위해 엉뚱한 글을 쓰는 학생처럼요.
• 텍스트에 속아넘어갑니다: 만약 정답은 '사진'에 있는데, 옆에 '거짓말이 적힌 텍스트'가 있다면 AI 들은 사진을 무시하고 텍스트를 믿어버리는 경향이 있었습니다. (눈보다 귀를 더 믿는 셈이죠.)
• 강요하면 너무 조심스러워집니다: "정답이 확실하지 않으면 절대 말하지 마!"라고 AI 에게 강하게 지시하면, 거절하는 횟수는 늘었지만 정답이 있는데도 "모르겠습니다"라고 말하는 실수도 늘어났습니다.

💡 이 연구가 왜 중요할까요?

이 논문은 AI 에게 **"무엇을 아는가"**보다 **"무엇을 모르는지 아는 것 (자신의 한계를 아는 것)"**이 더 중요하다고 말합니다.

• 진짜 신뢰: AI 가 엉뚱한 거짓말을 하지 않고, 모르는 건 정직하게 인정할 때 우리는 비로소 AI 를 신뢰할 수 있습니다.
• 미래의 기준: 이 연구는 AI 가 발전할수록 더 어려운 시험지를 만들어낼 수 있는 동적인 시스템을 제안합니다. AI 가 더 똑똑해지면, 그걸로 쉽게 풀리는 문제는 빼고, 진짜로 외부 정보를 찾아야만 풀 수 있는 어려운 문제만 남기는 거죠.

🎁 한 줄 요약

"진짜 똑똑한 AI 는 정답을 잘 맞추는 것뿐만 아니라, 모르는问题时에 엉뚱한 거짓말 대신 정직하게 '모르겠습니다'라고 말할 줄 아는 AI 입니다."

이 연구는 바로 그런 신뢰할 수 있는 AI를 만들기 위한 첫걸음입니다.

기술 요약

논문 요약: Large Vision-Language Models 의 회피 (Deflection) 와 환각 (Hallucination) 벤치마킹

이 논문은 대규모 비전 - 언어 모델 (LVLM) 이 지식 기반 시각적 질문 응답 (KB-VQA) 작업에서 신뢰할 수 없는 정보에 직면했을 때 어떻게 행동하는지, 특히 **회피 (Deflection, "답변할 수 없음" 선언)**와 환각 (Hallucination, 근거 없는 답변 생성) 사이의 균형을 어떻게 유지하는지 평가하기 위한 새로운 벤치마크인 VLM-DeflectionBench를 제안합니다.

1. 문제 정의 (Problem)

기존의 KB-VQA 벤치마크는 다음과 같은 주요 한계를 가지고 있습니다:

• 지식 충돌 및 불완전성 간과: 시각적 증거와 텍스트 검색 결과가 상충하거나 정보가 불완전한 상황에서의 모델 행동을 평가하지 못합니다.
• 빠른 노후화 (Obsolescence): LVLM 의 훈련 데이터가 방대해지면서, 과거에는 검색이 필요했던 질문들도 모델의 내부 지식 (Parametric Knowledge) 만으로 해결 가능해져 벤치마크의 난이도가 급격히 떨어집니다.
• 실패 모드 구분 부재: 기존 벤치마크는 정확도 (Accuracy) 에만 집중하여, 모델이 정보를 모를 때 정직하게 "답변 불가"를 선언하는지 (Deflection), 아니면 무작정 엉뚱한 답을 지어내는지 (Hallucination) 를 구분하지 못했습니다.

사용자는 복잡한 멀티모달 쿼리에 대한 정확한 답변뿐만 아니라, 정보가 부족하거나 모순될 때 신뢰할 수 있는 행동 (회피) 을 기대합니다. 그러나 현재 모델들은 종종 불완전한 정보에도 불구하고 확신에 찬 잘못된 답변을 생성합니다.

2. 방법론 (Methodology)

2.1 동적 데이터 큐레이션 파이프라인

정적 데이터셋 대신, 모델의 능력이 진화함에 따라 난이도를 유지하기 위한 동적 파이프라인을 도입했습니다.

1. 파라메트릭 필터링 (Parametric Filtering): 강력한 오픈 소스 모델 (GEMMA3, QWEN-VL 등) 을 '게이팅 모델'로 사용하여, 외부 지식 없이도 모델이 내부 지식만으로 정답을 맞출 수 있는 샘플을 제거합니다. 이를 통해 벤치마크가 반드시 검색 (Retrieval) 에 의존하도록 보장합니다.
2. 지식 페어링 및 네거티브 마이닝: 남은 샘플에 대해 정답이 되는 '골드 컨텍스트 (Gold Context)'와 오답을 유도하는 '방해 요소 (Distractor)'를 텍스트 및 이미지 형태로 매칭합니다.
3. 품질 관리 (Quality Control): 골드 컨텍스트가 있어도 모델이 틀리는 경우 (해당 샘플 제거) 나, 방해 요소만으로 모델이 정답을 맞출 수 있는 경우 (해당 방해 요소 제거) 를 필터링하여 데이터의 신뢰성을 확보합니다.

2.2 VLM-DeflectionBench

이 파이프라인을 통해 구축된 벤치마크는 2,775 개의 샘플로 구성되며, 다음과 같은 특징을 가집니다:

• 다양한 검색 시나리오: 텍스트, 이미지, 멀티모달 방해 요소를 포함한 다양한 검색 환경.
• 4 가지 평가 시나리오:
  1. Parametric: 외부 지식 없이 질문과 이미지만 제공 (내부 지식 의존).
  2. Oracle: 정답이 되는 골드 컨텍스트만 제공 (이상적인 조건).
  3. Realistic: 골드 컨텍스트와 방해 요소가 혼합된 현실적인 조건.
  4. Adversarial: 오직 방해 요소만 제공 (모델이 회피해야 하는 조건).

2.3 평가 프로토콜

모델의 행동을 정확도 (Accuracy), 회피율 (Deflection Rate), **환각율 (Hallucination Rate)**로 세분화하여 평가합니다. 특히, 정보가 부족할 때 모델을 "회피"하도록 유도하는지, 아니면 "환각"을 일으키는지 중점적으로 분석합니다.

3. 주요 기여 (Key Contributions)

1. 동적 큐레이션 파이프라인 제안: 모델이 발전함에 따라 파라메트릭으로 해결 가능한 샘플을 지속적으로 필터링하여, 벤치마크가 항상 '검색 의존적' 상태를 유지하도록 합니다.
2. VLM-DeflectionBench 구축: 2,775 개의 샘플로 구성된 최초의 멀티모달 검색 벤치마크로, 환각과 회피를 명시적으로 평가하며 다양한 검색 시나리오를 포함합니다.
3. 세분화된 평가 프로토콜: 4 가지 시나리오를 통해 모델의 기억 (Memorization) 과 검색 강건성 (Retrieval Robustness) 을 분리하고, 환각과 회피를 정량화합니다.

4. 실험 결과 (Results)

20 개의 최신 LVLM(오픈 소스 및 상용 모델 포함) 을 대상으로 실험한 결과는 다음과 같습니다:

• 회피 실패: 대부분의 모델은 노이즈가 있거나 오해의 소지가 있는 증거가 제시될 때, "답변할 수 없음"을 선언하기보다 **환각 (Hallucination)**을 선택합니다.
  • 예: Adversarial 시나리오 (방해 요소만 존재) 에서 Claude-Opus-4 는 88.3% 의 회피율을 보였으나, 많은 오픈 소스 모델 (예: Qwen-2.5-VL) 은 80% 이상으로 잘못된 답변을 생성했습니다.
• 지식 기반의 불균형:
  • Oracle 시나리오: 정답 정보가 제공됨에도 불구하고, 많은 모델이 여전히 높은 환각율을 보입니다 (예: LLaVA-OneVision 은 41.6% 환각). 이는 검색 능력보다 증거 기반 (Grounding) 능력이 병목임을 시사합니다.
  • Realistic 시나리오: 방해 요소가 섞이면 정확도가 10~20% 포인트 하락하고 환각이 40% 이상으로 급증합니다.
• 언어 우선 편향 (Language-over-Vision Bias): 텍스트 방해 요소가 시각적 정답 정보와 충돌할 때, 모델들은 시각적 증거를 무시하고 텍스트에 의존하는 경향이 강하게 나타납니다. 시각적 정답이 있어도 텍스트 방해 요소가 있으면 정확도가 1% 미만으로 떨어지는 경우가 많습니다.
• 프롬프트 엄격성의 한계: "불확실하면 답변하지 말라"는 지시 (Severe Prompt) 를 강화하면 Adversarial 상황에서는 회피율이 높아지지만, Realistic 상황에서는 정답이 있음에도 과도하게 회피하여 정확도가 급격히 떨어지는 트레이드오프가 발생합니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 RAG 평가의 표준 제시: 단순히 모델이 "무엇을 아는가"를 평가하는 것을 넘어, "무엇을 모를 때 어떻게 행동하는가"를 평가하는 새로운 패러다임을 제시합니다.
• 할루시네이션과 회피의 트레이드오프 발견: 현재 LVLM 들은 불확실한 상황에서 회피하는 능력 (Calibration) 이 부족하며, 이는 신뢰할 수 있는 멀티모달 시스템 구축의 주요 장애물임을 입증했습니다.
• 확장 가능한 프레임워크: 이 벤치마크는 고정된 데이터셋이 아니라, 새로운 모델과 데이터 소스를 반영하여 지속적으로 갱신 가능한 동적 프레임워크로 설계되었습니다.

결론적으로, 이 연구는 LVLM 이 신뢰할 수 있는 에이전트가 되기 위해서는 높은 정확도뿐만 아니라, 정보가 부족하거나 모순될 때 적절히 "모른다"고 말할 수 있는 능력 (Deflection) 을 갖추는 것이 필수적임을 강조합니다.