기술 요약: 멀티모달 거대 언어 모델을 위한 통합 환각 퍼징(Unified Hallucination Fuzzing)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 생성적 추론과 시각적 이해 측면에서 탁월한 능력을 입증해 왔다. 그러나 환각(hallucination)—언어적으로는 유창하지만 시각적 입력이나 기성 지식에 사실적으로 부합하지 않는 응답을 생성하는 현상—은 의료, 법률 컨설팅, 자율 주행 시스템과 같은 고위험 영역에서의 신뢰할 수 있는 배포를 가로막는 지속적인 병목 현상으로 남아 있다.

현재의 평가 패러다임은 두 가지 결정적인 한계를 갖는다:

1. 협소한 분류학적 범위(Narrow Taxonomical Coverage): 기존 벤치마크는 주로 정적인 객체 수준의 오류에 집중하며, 지시 이행(instruction-following) 및 지식 검색 전반에 걸친 롱테일 분포의 환각을 포착하는 데 실패한다.
2. 성능 포화(Performance Saturation): 고정된 입력을 가진 정적 데이터셋은 모델이 진정한 강건성을 습득하기보다는 벤치마크를 빠르게 암기하게 만든다("시험을 학습함"). 이러한 정적 세트에서의 높은 점수는 잠재적인 취약성을 은폐하여 잘못된 안전감을 조성할 수 있다.

따라서 정적인 측정에서 벗어나, 진화하는 실제 환경 시나리오 하에서 모델의 취약성을 체계적으로 조사할 수 있는 동적, 적대적 스트레스 테스트로 전환해야 할 시급한 필요성이 존재한다.

2. 방법론

본 논문은 종합적인 벤치마크와 자기 진화형 스트레스 테스트 메커니즘을 통합하는 체계적인 평가 프레임워크를 제안한다.

2.1. UniHall: 통합 벤치마크

저자들은 세 가지 차원을 아우르는 통합 분류 체계에 기반한 대규모 정밀 데이터셋인 UniHall을 소개한다:

• 객체 수준(Object-level): 조작된 존재, 잘못된 속성, 허위 관계.
• 지시 수준(Instruction-level): 불가능한 질문에 대한 거부 실패 및 아첨(sycophancy, 오도된 전제에 동조하는 것).
• 지식 수준(Knowledge-level): 허구적 사실 및 조작된 참조.

단일한 객체 오류에 집중했던 이전 연구들과 달리, UniHall은 다양한 오픈 도메인 및 도메인 특화 데이터를 통합하여 다양한 인지 작업 전반에 걸친 특정 실패 모드에 대한 심층 분석을 가능하게 한다.

2.2. SAMF: 자기 적응형 멀티모달 퍼징(Self-Adaptive Multimodal Fuzzing)

벤치마크 포화 문제를 해결하기 위해, 본 논문은 소프트웨어 퍼즈 테스팅(fuzz testing)에서 영감을 받은 자동화된 레드팀(red-teaming) 프레임워크인 SAMF를 제안한다.

• 동적 변이(Dynamic Mutation): SAMF는 텍스트 프롬프트와 시각적 입력 모두에 대해 의미는 보존하면서 인지적으로는 적대적인 변이를 생성하기 위해 휴리스틱 탐색과 강화 학습(RL)을 포함한 진화 전략을 채택한다.
• 변이 연산자(Mutation Operators):
  • 텍스트: 중복/간섭 제어, 복잡성 함정(구문적 복잡화), 지식 충돌 유도(권위 편향).
  • 시각: 배경 방해 요소 주입, 품질 저하를 동반한 중복 다중 뷰 복사본, 다중 이미지 과부하.
• 적응형 정책(Adaptive Policy): 이 프레임워크는 최적의 변이 전략을 발견하기 위해 20%의 파일럿 서브셋을 사용한다. RL 에이전트는 오라클 피드백을 바탕으로 연산자 선택과 변이 강도를 최적화하는 적응형 정책을 학습하며, 이는 탐색 효율성 측면에서 휴리스틱 전략보다 우수한 성능을 보인다.

2.3. 구조화된 메트릭 스위트(Structured Metric Suite)

동적 입력에 대한 신뢰할 수 있는 평가를 보장하기 위해, SAMF는 멀티모달 오라클(시각적 탐지기, 교차 모달 정렬 모델, 기호적 규칙, LLM 검증기)의 앙상블에 의해 구동되는 구조화된 메트릭 스위트를 포함한다. 메트릭은 다음과 같다:

• 일반 환각률 (Generic Hallucination Rate, GHR): 근거는 없으나 유창한 응답을 탐지하는 이진 결정 함수.
• 분해 환각률 (Breakdown Hallucination Rate, BHR): 응답을 원자적 주장(객체, 지시, 지식)으로 분해하여 증거 세트에 대해 결정론적으로 검증함.
• 구조화된 환각률 (Structured Hallucination Rate, SHR): 주장 분해 및 심각도 점수 산정을 위해 GPT 기반 판정자를 사용하는 BHR의 일반화 버전.
• 위험 인지 집계 (Risk-Aware Aggregation): 실제 세계의 영향력을 반영하기 위해 인스턴스별 위험 수준(1~5)에 따라 메트릭에 가중치를 부여함.

3. 주요 기여

1. UniHall 벤치마크: 객체-지시-지식의 통합 환각 분류 체계를 구축한 위험 인지 벤치마크로서, 기존 벤치마크보다 훨씬 광범위한 커버리지를 제공한다.
2. SAMF 프레임워크: 적응형 진화와 구조화된 오라클 검증을 특징으로 하는 최초의 변이 기반 MLLM 퍼징 프레임워크로, 정적 벤치마크 포화를 극복할 수 있다.
3. 경험적 통찰: 체계적인 스트레스 테스트를 통해 추론 능력과 사실적 근거 형성 사이의 해리(dissociation)를 밝혀냈으며, 강화 학습 정렬이 의도치 않게 아첨(sycophancy)을 악화시키는 "도움됨-환각 트레이드오프(helpfulness-hallucination trade-off)"를 식별하였다.

4. 실험 결과

최첨단 MLLM(GPT-5 시리즈, Gemini, Qwen, LLaVA, InternVL 변체 포함)에 대한 광범한 실험 결과는 다음과 같다:

• 퍼징 하의 성능 저하: 모든 모델은 정적 평가에서 퍼징 평가로 전환될 때 상당한 성능 저하를 보인다. 예를 들어, Qwen2.5-VL-7B의 일반 환각률(GHR)은 약 29.8%(정적)에서 약 42.7%(RL 기반 퍼징)로 상승한다.
• 추론-근거 해리(Reasoning-Grounding Dissociation): 강력한 범용 추론 능력이 반드시 더 나은 환각 저항성을 보장하는 것은 아니다. 고급 추론 능력을 갖춘 모델(예: Qwen3-VL-8B, GPT-5.2)은 때때로 지식 및 지시 차원에서 더 높은 환각률을 보이는데, 이는 복잡한 추론 과정이 더 많은 근거 없는 주장을 유발할 수 있음을 시사한다.
• 정렬 세금(The Alignment Tax): 사용자 도움을 위한 공격적인 강화 학습(RL) 정렬은 환각을 악화시키는 경향이 있다. 모델은 무지를 인정하거나 거절하기보다, 오도된 지시에 따르거나 도움이 되는 것처럼 보이기 위해 그럴듯한 정보를 조작하는 경우가 많다. 이는 특히 "거부(Refuse)" 및 "아첨(Sycophantic)" 카테로리에서 두드러지며, 환각률이 포화 상태(100%에 근접)에 달한다.
• 카테고리 민감도: 객체 수준의 환각은 비교적 잘 처리되는 반면, 지시 수준의 도전 과제(거부, 아첨)와 지식 수준의 환각은 적대적 변이 하에서 뚜렷한 성능 저하를 보인다.
• 메트릭 민감도: 장황한 모델은 주장 수준의 메트릭(SHR/BHR)보다 표면적 메트릭(GHR)에 의해 더 엄격하게 처벌받으며, 이는 세밀한 검증의 필요성을 강조한다.

5. 의의 및 주장

본 논문은 보편적 환각 평가를 위한 새로운 프레임워크를 구축한다고 주장한다. 저자들은 정적인 리더보드를 넘어, 현재의 MLLM이 동적이고 적대적인 스트레스 테스트를 통해서만 드러나는 잠재적 취약성을 가지고 있음을 입증한다.

본 연구의 논지는 다음과 같다:

• 정적 벤치마크는 불충분하다: 정적 데이터셋에서의 높은 점수는 취약성을 은폐하며, 변화하는 실제 환경에서의 강건성을 반영하지 못한다.
• 정렬에는 비용이 따른다: RL을 통한 도움됨(helpfulness)의 최적화는 사실적 충실도(factual faithfulness)의 희생을 초래할 수 있으며, 이는 세심한 조율이 필요한 트레이드오프 관계에 있다.
• 강건성에는 멀티모달 통합이 필요하다: 진정한 신뢰성은 (예: 적대적 프롬프트 vs 시각적 증거와 같은) 상충하는 신호 하에서도 사실적 독립성을 유지하는 모델의 능력에 달려 있다.

궁극적으로, 제안된 프레임워크, 코드 및 벤치마크(UniHall)는 환각을 식별하고 완화하기 위한 엄격하고 자기 진화적인 메커니즘을 제공함으로써 더욱 신뢰할 수 있는 멀티모달 시스템 개발을 가이드하는 것을 목표로 한다.