기술 요약: KnowHal

문제 정의

멀티모달 거대 언어 모델(MLLM)의 상당한 발전에도 불구하고, 환각(hallucination)—모델이 생성한 콘텐츠와 실제 사실 사이의 불일치—은 의료 진단, 법률 추론, 자율 주행과 같은 고위험 영역에서의 신뢰할 수 있는 배포를 가로막는 결정적인 장벽으로 남아 있다. 기존의 평가 벤치마크는 주로 "모델이 무엇을 보는가?"를 묻는 지각 수준의 환각(개체, 속성, 관계)에 집중한다. 그러나 이들은 모델이 묘사된 개체에 대해 외부 세계 지식과 모순되는 사실적으로 틀린 정보를 생성하는 지식 수준의 환각을 간과하고 있다. 또한, 현재의 프레임워크는 공유된 시각적 맥락 하에서 지각 오류, 지식 오류, 그리고 모델이 거짓 전제(오도하는 단서)를 수용하는 경향을 평가하기 위한 통일된 프로토콜이 부족하다. 이는 "모델이 무엇을 알고 있는가?"라는 질문과 오도하는 입력에 대한 모델의 강건성 문제를 충분히 다루지 못하고 있음을 의미한다.

방법론: KnowHal 벤치마크

이러한 격차를 해소하기 위해 저자들은 **Entity(개체), Attribute(속성), Relation(관계), Knowledge(지식)**의 네 가지 차원에서 환각을 평가하도록 설계된 포괄적인 벤치마크인 KnowHal을 제안한다.

1. 벤치마크 설계 및 구조

• 쌍을 이룬 질문 설계: KnowHal의 핵심 혁신은 모든 이미지-개체 샘플에 대해 쌍을 이룬 긍정 및 부정 질문을 구축하는 것이다.
  • 긍정 질문 (Positive Questions): 개체와 관련된 유효한 시각적 증거 또는 사실적 지식을 질의한다.
  • 부정 질문 (Negative Questions): 강건성을 테스트하기 위해 정교하게 제어된, 의미론적으로는 그럴듯하지만 사실과는 다른 전제를 도입한다.
• 네 가지 부정 유도 전략:
  1. 속성 변형 (Attribute Variant): 속성을 유사하지만 틀린 속성으로 교체한다.
  2. 객체 치환 (Object Substitution): 대상 개체를 의미적으로 연관되어 있으나 존재하지 않는 다른 개체로 교체한다.
  3. 공간 관계 (Spatial Relation): 개체 간의 실제 공간 관계를 역전시키거나 변경한다.
  4. 행동 조작 (Action Fabrication): 눈에 보이는 개체에 존재하지 않는 행동이나 상태를 부여한다.
• 차원:
  • Entity, Attribute, Knowledge: 개방형 시각적 질의응답(VQA) 과제로 구성된다.
  • Relation: 동의어 묘사로 인한 모호성을 피하기 위해 객관식 질문(MCQ)으로 구성된다.

2. 데이터 구축 파이프라인

데이터셋은 10개 도메인과 50개 카테고리에 걸친 1,800개의 고유한 개체-이미지 샘플로 구성되며, 총 14,400개의 QA 쌍을 생성한다. 구축은 다음과 같은 반자동 파이프라인을 따른다:

1. 개체 선택: 10개 도메인을 수동으로 정의하고, 독특한 시각적 특성을 가진 개체를 식별한다.
2. 이미지 수집: LLM이 개체를 분석하여 관계 인지 쿼리를 생성한다. 이미지는 Google Image Search를 통해 검색되며, 쿼리와의 의미적 일관성을 보장하기 위해 CLIP을 사용하여 필터링된다.
3. QA 쌍 구축:
   • 긍정 질문: 템플릿(Entity), 직접적인 VLM 관찰(Attribute), 또는 위키피디아 유래 사실(Knowledge)을 사용하여 생성된다.
   • 부정 질문: 네 가지 유도 전략을 구현하는 특정 프롬프트를 통해 생성된다.
4. 인간 검증: 세 명의 어노테이터가 사실적 정확성, 논리적 일관성, 답변의 유일성을 검증하며 엄격한 품질 관리를 수행한다. 어노테이터 간 일치도는 높았다 (Flecks' $\kappa = 0.854$).

3. 평가 지표

저자들은 14개의 대표적인 MLLM을 제로샷 설정에서 평가한다.

• 주요 지표: 모든 네 가지 차원에 대해 긍정 및 부정 질문에 대해 각각 보고되는 정확도(Accuracy).
• 환각 취약성 점수 (HPS): $HPS = (1 - \frac{Acc_{neg}}{Acc_{pos}}) \times 100\%$로 정의된 파생 지표이다. 이는 모델이 오도하는 입력에 노출되었을 때 발생하는 상대적인 성능 저하를 측정하며, 점수가 높을수록 환각에 더 취약함을 나타낸다.
• 판정 (Judging): 긍정 질문은 표준 VQA 소프트 매칭을 사용하며, 부정 질문은 GPT-4o-mini를 자동 판정기로 사용하여 평가한다. 인간 검증 결과 94.3%의 일치율을 확인하였다.

주요 결과

14개 MLLM에 대한 실험은 몇 가지 체계적인 패턴을 드러낸다:

1. 지식이 가장 어려운 차원: 거의 모든 모델에서 Knowledge 차원이 일관되게 가장 낮은 정확도를 보였으며, Entity, Attribute, Relation보다 현저히 뒤처졌다. 예를 들어, 최고 성능을 보이는 모델조차 지각 과제에 비해 지식 정확도에서 상당한 하락을 보인다.
2. 부정 질문에 대한 강건성 격차: 대부분의 모델은 긍정 질문에 비해 부정 질문에서 상당한 성능 저하를 보인다. 이는 사실적 쿼리에 대한 높은 정확도가 거짓 전제에 대한 강건성을 보장하지 않음을 나타낸다.
3. 폐쇄형 vs 오픈소스: 폐쇄형 모델은 일반적으로 오픈소스 모델보다 특히 긍정 질문에서 우수한 성능을 보인다. 그러나 Qwen 시리즈(오픈소스)는 부정 질문에서 경쟁력 있는 강건성을 보여주며, 이는 타겟팅된 학습이 환각을 완화할 수 있음을 시사한다.
4. 스케일링 효과: 모델 크기를 키우면 일반적으로 사실적 정확도와 오도하는 입력에 대한 강건성이 모두 향상된다. 그러나 스케일링이 지식 환각을 균일하게 해결하지는 못하며, 지식 차원은 더 큰 모델에서도 여전히 병목 현상으로 남는다.
5. 도메인 가변성: 강력한 모델은 도메인 전반에 걸쳐 균형 잡힌 성능을 유지하는 반면, 약한 모델은 특히 예술(Art) 및 과학 기술(Science & Technology) 도메인의 부정 질문에서 상당한 편차를 보인다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 통합 프레임-워크: KnowHal은 지각 수준(Entity, Attribute, Relation)과 지식 수준의 환각 평가를 하나의 이미지 중심 프로토콜 내에 체계적으로 통합함으로써 기존 평가 프레임워크의 중요한 공백을 메운다.
2. 쌍을 이룬 설계를 통한 제어된 평가: 쌍을 이룬 긍정 및 부정 질문을 도입함으로써, KnowHal은 유효한 증거를 해석하는 능력과 그럴듯하지만 틀린 가정을 거부하는 능력을 비교할 수 있는 제어된 비교를 가능하게 한다. 이는 기존 문헌의 "거짓 전제 수용" 문제를 직접적으로 다룬다.
3. 진단적 유용성: 14개 모델에 대한 광범-한 평가와 상세한 분석(스케일링, 도메인별 분석, 사례 연구)을 통해, KnowHal은 지식 환각이 지속적이고 별개의 도전 과제이며 현재 모델들이 오도하는 입력에 대한 강건성이 부족함을 밝혀내어, 향-후 모델 개발을 위한 진단 도구를 제공한다.

저자들은 현재 MLLM이 진전을 보이고 있지만, 지식 차원과 거짓 전제에 대한 강건성이 여전히 중요한 과제로 남아 있으며, KnowHal이 더 신뢰할 수 있고 사실적으로 정확한 멀티모달 시스템을 향한 연구를 이끌어갈 데 필요한 인프라를 제공한다고 결론짓는다.