LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models

1. 연구 배경 및 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 의료 영상 분석, 보안 검색, 의사결정 지원 시스템 등 시각적 근거가 중요한 분야에서 널리 활용되고 있습니다. 그러나 이러한 모델은 사용자의 프롬프트가 특정 답변을 암시하거나 강요할 때 (예: "이미지에 X 가 있는 것 같지 않니?"라고 묻는 등), 실제 시각적 증거가 없어도 그 기대에 부응하여 허위 정보를 생성하는 환각 (Hallucination) 현상을 보입니다.

기존의 연구와 벤치마크는 다음과 같은 한계를 가집니다:

• 이분법적 접근: 프롬프트 조작을 '적대적 (adversarial)'과 ' benign(선량한)'으로만 이분화하여, 실제 사용자 프롬프트가 점진적으로 강압적으로 변하는 연속선 (continuum) 을 고려하지 못함.
• 평가의 단순화: 환각 발생 여부 (Binary detection) 만을 평가하여, 모델이 얼마나 확신 있게 (confidence) 그리고 얼마나 구체적으로 (specificity) 허위 정보를 생성하는지에 대한 심도 있는 분석이 부족함.
• 작업 유형 제한: 주로 객체의 유무 (presence/absence) 에 초점을 맞추어, 텍스트가 읽히지 않거나 시간 정보가 구조적으로 불명확한 등 더 세밀한 시각적 제약 하에서의 환각을 다루지 못함.
• 검증 부재: 생성된 벤치마크 이미지가 의도된 제약 (예: 텍스트가 실제로 읽히지 않음) 을 정확히 준수하는지 체계적으로 검증하는 메커니즘이 부족함.

2. 제안된 방법론 (Methodology)

저자들은 Ghost-100이라는 새로운 벤치마크와 이를 평가하기 위한 LLM-as-Judge 프레임워크를 제안합니다.

A. Ghost-100 벤치마크

• 구성: 800 개의 합성 이미지 (8 개 카테고리, 3 가지 작업 패밀리) 로 구성됨.
• 작업 패밀리:
  1. 텍스트 불가독성 (Text-illegibility): 텍스트가 존재하지만 흐릿하거나, 의미 없는 기호로 대체되거나, 빈칸인 경우 (Categories 01-03).
  2. 시간 판독 (Time-reading): 시계나 숫자 표시가 구조적으로 가려져 정확한 시간을 알 수 없는 경우 (Categories 04-06).
  3. 객체 부재 (Object-absence): 장면의 맥락상 객체가 있어야 함에도 실제로는 존재하지 않는 경우 (Categories 07-08, Scene_schema, Human_intent).
• 부정적 진실 (Negative-ground-truth) 원칙: 모든 이미지에서 질의된 대상은 의도적으로 부재하거나 판독 불가능하도록 설계되어, 모델이 affirmative(긍정적) 답변을 할 경우 명확한 환각으로 간주됩니다.
• 5 단계 프롬프트 강도 프레임워크 (5-Level Prompt Intensity Framework): 각 이미지에 대해 5 단계의 프롬프트 (L1~L5) 를 적용합니다.
  • L1: 중립적/주의 깊은 질문.
  • L5: 명시적이고 강압적인 요구 (거부 없이 즉시 답변).
  • 이미지와 작업 정체성은 고정하고, 어조 (Tone) 만을 독립 변수로 조작하여 언어적 압력이 모델 행동에 미치는 영향을 격리합니다.

B. 이중 트랙 평가 프로토콜 (Dual-Track Evaluation)

환각의 '발생 빈도'와 '심각도'를 분리하여 측정합니다.

1. H-Rate (환각 발생률): 규칙 기반 (Rule-based) 평가. 모델이 근거 있는 거절 (grounded refusal) 에서 지지되지 않는 긍정적 확신 (unsupported positive commitment) 으로 전환하는 비율을 측정합니다.
2. H-Score (환각 점수): **GPT-4o-mini 를 심사자 (Judge)**로 활용하는 LLM-as-Judge 방식. 모델이 환각을 일으켰을 때, 그 답변의 **확신도 (confidence)**와 **구체성 (specificity)**을 1~5 점 척도로 평가합니다.
   • 이미지 없이 프롬프트와 응답만 보고 점수를 매겨, 평가자의 시각적 편향을 제거하고 언어적 확신만을 평가합니다.
   • 3 점 이상을 환각으로 간주합니다.

C. 자동화된 검증 워크플로우

벤치마크의 품질을 보장하기 위해 3 단계 자동 검증 파이프라인을 도입했습니다.

1. 품질 스크리닝: 이미지 선명도, 결손 요소 명확성 등을 다차원적으로 평가.
2. 설계 준수 검증: GPT-4o-mini 를 이용해 이미지가 의도된 '부정적 진실' (예: 이름이 읽히지 않음) 을 준수하는지 확인.
3. 의미적 구별성 검증: 클러스터링을 통해 카테고리 간 이미지가 시각적으로 명확히 구분되는지 확인.

• 이 워크플로우를 통해 800 개 이미지 중 717 개가 엄격한 기준을 통과함을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. Ghost-100 벤치마크 확장: 기존 600 개/6 카테고리에서 800 개/8 카테고리로 확장하여, 텍스트/시간 판독뿐만 아니라 맥락 기반 객체 부재 (Scene_schema, Human_intent) 도 포함했습니다.
2. 3 단계 자동 검증 파이프라인: 대규모 벤치마크 구축 시 수동 검증을 대체할 수 있는 재사용 가능한 품질 보증 도구 (Quality Assurance Tool) 를 공개했습니다.
3. LLM-as-Judge 평가 프레임워크: 이진 분류 (H-Rate) 와 심도 있는 심각도 점수 (H-Score) 를 결합한 이중 평가 체계를 제안하여, 환각의 '빈도'와 '강도'를 분리하여 분석할 수 있게 했습니다.

4. 실험 결과 (Results)

9 개의 오픈 가중치 VLM(Qwen, InternVL, LLaVA, Llama, Gemma, DeepSeek 등) 을 평가한 결과는 다음과 같습니다.

• 모델 간 이질성: 동일한 조건에서도 모델별 H-Rate 와 H-Score 가 크게 달랐습니다. (예: InternVL2.5-8B 는 매우 강건했으나, DeepSeek-VL-7B 는 가장 취약함).
• 비단조적 (Non-monotonic) 민감도: 모든 모델이 프롬프트 강도가 세질수록 환각이 선형적으로 증가하는 것은 아닙니다. 일부 모델 (예: Gemma-4-E4B-IT) 은 중간 강도 (L3) 에서 피크를 보이다가 가장 높은 강도 (L5) 에서 다시 감소하는 비선형적 패턴을 보였습니다. 이는 안전성 정렬 (Safety Alignment) 과 지시 준수 (Instruction Compliance) 간의 복잡한 상호작용을 시사합니다.
• 작업 유형별 차이:
  • 읽기 스타일 (Reading-style): 텍스트나 시간 판독 작업에서는 프롬프트 압력에 매우 민감하게 반응하여 환각이 급증했습니다.
  • 존재 감지 (Presence-detection): 객체 유무 판단 작업에서는 일부 모델이 높은 강도에서도 거절 (Refusal) 을 유지하는 등 강건함을 보였습니다. 이는 모델의 강건성이 작업 유형에 따라 달라짐을 의미합니다.
• H-Rate 와 H-Score 의 분리: 어떤 모델은 환각 빈도는 낮지만 한 번 발생하면 매우 구체적이고 확신 있는 거짓 정보를 생성하는 반면, 다른 모델은 빈번하게 환각을 일으키지만 내용은 모호한 경우가 있었습니다. 이는 단일 지표로는 모델 성능을 정확히 평가할 수 없음을 보여줍니다.

5. 의의 및 결론 (Significance)

• 언어적 어조의 중요성: VLM 의 환각은 단순한 지각적 결함이 아니라, **언어적 압력 (Linguistic Pressure)**에 반응하는 행동적 특성임을 규명했습니다.
• 평가 패러다임의 전환: 단순한 '발생 여부'를 넘어, 어떤 강도로 (Intensity) 그리고 어떤 맥락에서 환각이 발생하는지 분석하는 정교한 평가 체계의 필요성을 제시했습니다.
• 안전성 정렬의 한계: 현재 모델들의 안전성 정렬 (Safety Alignment) 은 명시적인 유해성에는 강하지만, 구조적으로 강압적인 프롬프트 (Coercive prompts) 에 대해서는 여전히 취약할 수 있음을 시사합니다.
• 재현성 및 확장성: 자동화된 검증 워크플로우와 Ghost-100 벤치마크는 향후 VLM 의 신뢰성 평가 및 개선 연구에 중요한 인프라를 제공합니다.

이 연구는 VLM 의 신뢰성을 평가할 때 프롬프트의 어조와 강도를 통제된 변수로 삼아, 모델이 시각적 근거와 언어적 지시 사이에서 어떻게 균형을 잃는지 (또는 유지하는지) 를 정량화할 수 있는 새로운 기준을 마련했다는 점에서 의의가 큽니다.