기술 요약: VLM의 환각 완화를 위한 시각 주도 선호도 합성 (ViPSy)

문제 정의

시각-언어 모델(VLM)은 시각적 이해 측면에서 상당한 능력을 보여주었으나, 모델이 입력 이미지와 일치하지 않는 콘텐츠를 생성하여 존재하지 않는 객체를 지어내는 환각(hallucination) 현상에 취약합니다. 이 문제는 언어와 시각 모달리티 사이의 불균형에서 비롯되며, 강력한 언어적 사전 지식(language priors)으로 인해 모델이 시각적 증거보다는 텍스트 통계에 의존하게 만듭니다.

선호도 정렬(특히 Direct Preference Optimization, DPO)이 시각적 충실도를 개선하기 위한 유망한 해결책으로 부상했지만, 그 효능은 구축된 선호 쌍(선호되는 응답 vs. 선호되지 않는 응답)의 품질에 크게 좌우됩니다. 이러한 쌍을 구축하는 기존 방식들은 다음과 같은 두 가지 주요 한계를 가집니다:

1. 개입 기반 방법(예: 환각 주입 또는 수정)은 모델의 자연스러운 정책 분포(policy distribution)에서 크게 벗어난 응답을 도입하여 분포 불일치를 초래합니다.
2. 샘플링 기반 방법(예: 외부 판별 기반 샘플링 또는 SFT 가이드 샘플링)은 이러한 분포 불일치를 줄여주기는 하지만, 시각 정보를 충분히 활용하지 못하고 대신 언어적 사전 지식에 의존하여 선호도를 결정하는 경우가 많습니다.

방법론: ViPSy

저자들은 정책 정렬(모델의 응답 분포와 가까움)과 시각적 근거(이미지 증거에 기반함)를 모두 갖춘 선호 데이터를 구축하기 위해 설계된 2단계 프레임워크인 **ViPSy (Vision-driven Preference Synthesis)**를 제안합니다.

1단계: 일관된 단서 추출을 위한 자기 캡셔닝 기반 의미론적 합성

외부의 편향 없이 신뢰할 수 있는 시각적 단서를 추출하기 위해, ViPSy는 모델 자체의 능력을 활용합니다:

1. 자기 캡셔닝 (Self-Captioning): 정책 모델($\pi_\theta$)이 표준 캡셔닝 프롬프트를 사용하여 소스 이미지 $m$에 대해 $N_c$개의 캡션을 생성합니다.
2. 의미론적 합성 (Semantic Synthesis): 생성된 캡션들은 텍스트-이미지(T2I) 확산 모델($P_\psi$)의 프롬프트 역할을 하여, 의미론적으로 정렬된 $N_c$개의 합성 이미지 변형($m'_j$)을 생성합니다.
3. 단서 추출 (Cue Extraction): 판별 모델($\pi_\phi$)이 각 합성 변형 $m'_j$와 원본 이미지 $m$을 비교하여, 두 이미지 간에 공통적으로 나타나는 객체 수준의 증거($c_j$)를 추출합니다.
4. 집계 (Aggregation): 판별 모델은 이러한 개별 쌍의 단서들을 하나의 일관된 **시각적 단서($c$)**로 집계합니다. 이 과정의 직관은 동일한 소스 이미지에서 파생된 다양한 합성 변형들에서 반복적으로 나타나는 객체는 원본 이미지에 근거할 가능성이 매우 높다는 것입니다.

2단계: 단서 조건부 자기 증류를 통한 선호도 합성

시각적 단서 $c$가 확립되면, 프레임워크는 선호도 쌍을 생성합니다:

1. 단서 조건부 롤아웃 (Cue-Conditioned Rollouts): 정책 모델은 원본 이미지 $m$, 프롬프트 $x$, 그리고 추출된 시각적 단서 $c$에 조건화되어 $N_s$개의 후보 응답($y^{(s)}$)을 샘플링합니다. 이는 후보들이 정책 분포에 근접하면서도 명시적인 시각적 증거에 의해 유도되도록 보장합니다.
2. 선호도 선택 (Preference Selection): 판별 모델은 원본 이미지 $m$에 대해 후보 집합 $\{y^{(s)}\}$를 평가하여, 선호되는 응답($y_w$)(가장 시각적으로 근거가 확실한 것)과 선호되지 않는 응답($y_l$)(근거가 가장 부족한 것)을 선택합니다.
3. 최적화 (Optimization): 결과적으로 생성된 데이터셋 $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$은 **Direct Preference Optimization (DPO)**를 통해 모델 학습에 사용됩니다. 결정적으로, 시각적 단서와 합성 이미지는 데이터 구축 단계에서만 사용되며, 최종 최적화 단계에서는 정책 모델이 오직 원본 프롬프트-이미지 쌍에만 조건화되어 시각적 근거 능력을 증류(distill)하게 됩니다.

주요 기여

1. ViPSy 프레임워크: 시각적으로 근거가 확실하면서도 정책의 응답 분포와 정렬된 선호도 쌍을 구축하는 새로운 시각 주도 선호도 합성 접근 방식을 제시합니다.
2. 2단계 전략:
   • 자기 캡셔닝 기반 의미론적 합성: 모델 자신의 캡션을 사용하여 T2I 합성을 유도하고, 반복되는 객체 수준의 증거를 집계하여 일관된 시각적 단서를 추출함으로써 언어적 사전 지에 대한 의존도를 낮춥니다.
   • 단서 조건부 자기 증류: 추출된 단서로 정책의 롤아웃을 가이드하여 시각적 근거의 품질이 서로 다른 후보들을 생성함으로써, 고품질의 선호도 쌍을 선택할 수 있게 합니다.
3. 최첨단 성능 (SOTA): 환각 완화 분야에서 새로운 최첨단 성능을 달립하며 일반적인 시각적 근거 능력을 향상시킵니다.

실험 결과

저자들은 **LLaVA-1.5 (7B 및 13B)**와 기타 다양한 정책 모델(Qwen2.5-VL, InternVL3.5 등)을 대상으로 디코딩 방법, 언러닝(unlearning) 기반 접근법, 기존 선호도 정렬 베이스라인들과 비교하여 ViSyp를 평가했습니다.

• 환각 완화:
  • LLaVA-1.5-7B에서 ViPSy는 이전 SOTA인 SENTINEL 대비 AMBER에서 35.7%, Object HalBench에서 **24.5%**의 환각 감소율을 보였습니다.
  • LLaVA-1.5-13B에서도 모든 환각 벤치마크에서 모든 베이스라인을 능가하며, 기존 최고 방법들보다 유의미한 개선을 보여주었습니다.
• 일반 시각적 근거 능력:
  • 일반적인 성능을 저하시키는 일부 베이스라인들과 달리, ViPSy는 시각적 근거를 요구하는 일반 벤치마크 점수를 높였습니다: 7B 모델 기준 MMStar (+6.0%), MMVP (+31.3%), CV-Bench (+4.0%).
• 비전 인코더 개선:
  • ImageNet-1k, ImageNet-O, MS COCO에 대한 선형 프로빙(linear probing) 및 세그멘테이션 평가 결과, 정확도와 재현율(recall)의 상승이 나타났습니다. 이는 ViPSy가 단순히 응답 수준의 생성을 넘어 근본적인 시각적 표현력을 강화함을 시사합니다.
• 일반화 능력:
  • 이 방법은 다양한 정책 모델(Qwen, InternVL, mPLG-Owl, Kimi) 전반에서 일관된 개선을 보여주었으며, 이는 특정 아키텍처에 국한되지 않음을 입증합니다.
• 절제 연구 (Ablation Studies):
  • **자기 롤아웃(Self-rollouts)**이 외부 VLM 롤아웃보다 우수함을 확인하여, 정책 분포에 머무는 것의 중요성을 입증했습니다.
  • **확산 기반 합성(Diffusion-based synthesis)**이 단순한 이미지 변형(크기 조절, 자르기)이나 비디오 기반 변형보다 뛰어난 성능을 보였으며, 이는 단서 추출을 위해 풍부한 의미론적 다양성이 필요함을 강조합니다.
  • 본 방법은 다양한 판별 모델(Qwen3-VL, GPT-5 mini)에 대해서도 견고함을 유지했습니다.

의의 및 주장

본 논문은 ViPSy가 선호도 구축의 근본적인 트레이드오프인 정책 정렬과 시각적 근거 사이의 균형 문제를 해결한다고 주장합니다. 정책 모델의 의미론적 이해와 합성 이미지 변형의 교집합으로부터 시각적 단서를 도출함으로써, ViPSy는 개입 기반 방법의 분포 변화를 피하고 표준 샘플링 방법의 시각적 방치를 극복합니다.

저자들은 자신들의 접근 방식이 환각을 줄이는 데 있어 새로운 최첨단 성능을 설정할 뿐만 아니라, 모델의 일반적인 시각적 능력과 비전 인코더 표현의 품질을 향상시킨다고 단언합니다. 또한, 복잡한 보상 모델링이나 온라인 강화 학습 없이도 시각적 근거 능력을 정책에 효과적으로 증류할 수 있어, 실제 환경에서 VLM의 신뢰성을 높이기 위한 실용적이고 효과적인 솔루션임을 강조합니다.