FINER: MLLMs Hallucinate under Fine-grained Negative Queries

1. 연구 배경 및 문제 정의 (Problem)

다중 모달 대규모 언어 모델 (MLLMs) 의 할루시네이션 (Hallucination) 문제
기존의 MLLM 은 시각적 인식과 지시 따르기에서 큰 발전을 이루었으나, 여전히 이미지와 일치하지 않는 정보를 생성하는 '할루시네이션'에 취약합니다. 특히, **세밀한 (Fine-grained) 부정적 쿼리 (Negative Queries)**에 대한 처리 능력이 부족합니다.

• 기존 벤치마크의 한계: POPE, DASH, AMBER 등 기존 할루시네이션 평가 벤치마크는 주로 단일 객체의 존재 여부 (Coarse-grained) 를 묻는 단순한 질문 (예: "고양이가 있나요?") 에 집중합니다.
• 핵심 문제: 사용자는 종종 "갈색 털을 가진 고양이"나 "의자 아래에 앉아 있는 고양이"처럼 객체 (Object), 속성 (Attribute), 관계 (Relation) 가 복합적으로 얽힌 세밀한 부정적 질문을 합니다. 기존 모델은 이미지에는 존재하지 않는 세부 사항 (예: 잘못된 색상, 잘못된 위치) 이 포함된 질문을 받았을 때, 이를 '아니오 (No)'라고 정답을 내기보다 할루시네이션을 일으켜 '예 (Yes)'라고 잘못 답변하거나, 존재하지 않는 요소를 사실인 것처럼 묘사하는 경향이 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 **FINER (FIne-grained NEgative queRies)**라는 새로운 벤치마크와 이를 활용한 FINER-Tuning 기법을 제안했습니다.

A. FINER 벤치마크 구축

이미지의 시나리오 그래프 (Scene Graph, SG) 를 기반으로 세밀한 부정적 질문을 생성하는 파이프라인을 설계했습니다.

• 데이터 소스: CompreCap (인간 주석 SG 기반) 과 DOCCI (긴 캡션 기반) 를 활용하여 FINER-CompreCap과 FINER-DOCCI 두 가지 벤치마크를 구성했습니다.
• 질문 생성 4 가지 시나리오:
  1. Multi-obj: 여러 객체 중 하나를 부정적 객체로 교체 (예: "고양이와 문틀" → "고양이와 기둥").
  2. Multi-attr: 객체의 속성을 부정적으로 변경 (예: "갈색 털" → "검은 털").
  3. Multi-rel: 객체 간의 관계를 부정적으로 변경 (예: "의자 아래" → "의자 위").
  4. Wh-questions: 잘못된 속성을 가진 대상에 대해 "무엇인가?"를 묻는 질문 (예: "녹색 금속 표면의 바닥에 누워 있는 것은 무엇인가?" → 정답은 "그 바닥은 녹색이 아니다").
• 평가 방식: 단순 Yes/No 가 아닌 **다중 선택 질문 (MCQ)**을 사용하여 모델이 정확한 정보를 식별하고 부정적 요소를 배제할 수 있는지 평가합니다. 'Paired Accuracy' (정답과 오답 쌍을 모두 맞출 때 점수) 를 주요 지표로 사용합니다.

B. FINER-Tuning (학습 방법)

할루시네이션을 줄이기 위해 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**를 적용한 새로운 파인튜닝 전략을 제안했습니다.

• 데이터 생성: Pixmo-caption 데이터셋을 기반으로 LLM(Phi-4-14B) 을 사용하여 긍정적 (Positive) 과 부정적 (Negative) 쿼리 쌍을 생성합니다.
• 학습 목표: 모델이 부정적 쿼리에 대해 "아니오"라고 답하고, 올바른 정보를 설명할 수 있도록 (Accepted) 학습시키고, 할루시네이션을 일으키는 답변은 (Rejected) 배제합니다.
• 특징: 기존 방법들이 주로 모델의 응답 (Response) 측 오류를 교정하는 데 집중했다면, FINER-Tuning 은 입력 쿼리 (Query) 자체의 세밀한 모순을 감지하고 대응하는 능력을 학습시킵니다.

3. 주요 결과 (Results)

A. FINER 벤치마크 성능

• 기존 모델의 취약성: Frontier MLLM (InternVL3.5, Qwen2.5-VL 등) 이라도 질문의 세밀함 (Granularity) 이 증가할수록 정확도가 급격히 하락했습니다. 특히 Multi-rel(복합 관계) 설정에서 할루시네이션이 빈번하게 발생했습니다.
• FINER-Tuning 의 효과:
  • InternVL3.5-14B 모델의 경우, FINER-Tuning 적용 후 Multi-rel 설정에서 24.2% 의 성능 향상을 기록했습니다.
  • 모든 Frontier MLLM 에서 일관된 성능 향상을 보였으며, 기존 38B 모델보다 작은 14B 모델이 FINER-Tuning 을 통해 더 나은 성능을 내기도 했습니다.

B. 일반 할루시네이션 벤치마크 및 일반화 능력

• 다른 벤치마크에서의 전이 효과: FINER 벤치마크에서 학습된 모델은 DASH, POPE, AMBER, HallusionBench 등 기존 할루시네이션 벤치마크에서도 일관된 성능 향상을 보였습니다.
• 일반 능력 유지: FINER-Tuning 은 모델의 일반적 시각 - 언어 능력 (TextVQA, ChartQA 등) 을 저하시키지 않고, 오히려 일부 벤치마크에서 성능을 향상시켰습니다. 이는 "Alignment Tax(정렬 비용)" 현상이 발생하지 않음을 의미합니다.
• 비교: RLAIF-V 등 다른 할루시네이션 감소 방법론과 비교했을 때, FINER-Tuning 은 판별형 (Discriminative) 과 생성형 (Generative) 벤치마크 모두에서 더 균형 잡힌 개선을 보여주었습니다.

4. 핵심 기여 (Key Contributions)

1. 새로운 벤치마크 (FINER): 객체, 속성, 관계가 복합적으로 얽힌 세밀한 부정적 쿼리를 평가할 수 있는 최초의 대규모 벤치마크를 제시했습니다. 이는 기존 벤치마크가 놓치고 있던 MLLM 의 취약점을 드러냅니다.
2. FINER-Tuning: DPO 를 활용하여 세밀한 부정적 입력에 강건한 모델을 학습시키는 간단하면서도 효과적인 파인튜닝 파이프라인을 제안했습니다.
3. 포괄적인 평가: 제안된 방법이 특정 벤치마크뿐만 아니라 다양한 할루시네이션 유형과 일반 시각 - 언어 능력 전반에 걸쳐 긍정적인 영향을 미친다는 것을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 이 단순한 객체 인식뿐만 아니라 복잡한 문맥과 세부적인 부정적 조건을 이해하는 능력이 여전히 부족함을 체계적으로 증명했습니다.

• 신뢰성 향상: 의료 영상 진단이나 안전 관리 등 정밀한 오류 감지가 필요한 분야에서 MLLM 의 신뢰성을 높이는 데 기여할 수 있습니다.
• 향후 연구 방향: FINER-Tuning 은 할루시네이션을 줄이기 위한 새로운 표준으로 자리 잡을 수 있으며, 향후 더 정교한 부정적 추론 (Negation-aware reasoning) 능력을 갖춘 모델 개발의 기초를 제공합니다.

결론적으로, 이 연구는 MLLM 이 "무엇이 없는가"를 정확히 파악하고 "잘못된 전제"를 거부하는 능력을 키우는 것이 할루시네이션 해결의 핵심임을 시사합니다.