Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

"Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대형 비전 - 언어 모델 (LVLM) 은 종종 할루시네이션으로 고통받으며, 입력 이미지와 일치하지 않는 콘텐츠 (예: 존재하지 않는 객체, 잘못된 속성, 또는 잘못된 관계) 를 생성합니다. **Direct Preference Optimization (DPO)**는 인간의 선호도와 모델을 정렬함으로써 이를 완화하는 주류 솔루션으로 부상했으나, 기존 접근법은 두 가지 치명적인 한계에 직면해 있습니다:

1. 분포 불일치 (Distributional Mismatch): 대부분의 방법은 "선호하는" (사실적인) 응답을 생성하기 위해 GPT-4V 와 같은 독점 모델을 의존합니다. 이는 외부 교사 모델의 수정 패턴이 대상 LVLM 의 고유 분포와 다르기 때문에 분포 변화를 초래하여 효율적인 정렬을 방해합니다.
2. 객체 존재에 대한 편향: 기존 데이터셋과 학습 목표는 주로 객체 존재 여부 (이진 존재) 에 초점을 맞추어, 색상, 재질과 같은 속성이나 공간적 위치와 같은 관계와 관련된 세밀한 할루시네이션을 간과합니다.

2. 방법론: AVES-DPO

저자들은 대상 모델의 고유 지식을 활용하여 분포 내 선호 데이터를 생성함으로써 외부 독점 모델에 대한 의존성을 제거하는 AVES-DPO(Alignment via VErified Self-correction DPO) 를 제안합니다. 이 프레임워크는 두 가지 명확한 단계로 구성됩니다:

A. 할루시네이션 검증

이 단계는 합의 기반 검증 메커니즘을 사용하여 모델의 초기 응답 ($y_{init}$) 의 오류를 진단합니다:

• 장면 그래프 추출: 응답은 객체 ($O$), 속성 ($A$), 관계 ($R$) 를 포함하는 구조화된 장면 그래프로 파싱됩니다.
• 합의 검증: 두 개의 독립적인 검증 모델 ($V_1, V_2$) 이 각 요소의 사실성을 확인합니다.
  • 객체 검증: 견고한 오픈소스 감지기 (YOLO, Grounding DINO) 를 사용합니다. 모호한 사례는 Qwen3-VL 모델을 사용한 2 차 검증을 통해 해결됩니다.
  • 속성 및 관계 검증: 검증된 객체만 Qwen3-VL 모델을 사용하여 속성과 관계를 확인합니다.
  • 합의 규칙: 두 모델이 모두 동의할 때만 라벨이 확정되며, 그렇지 않으면 "모호함"으로 표시됩니다.
• 수정 후보: 요소가 할루시네이션된 경우, 시스템은 의미 하위 유형에 기반하여 GQA 및 MS-COCO 에서 파생된 사전 구축된 어휘에서 올바른 대체 항목을 검색합니다.

B. 자기 수정

검증 진단에 guided 되어, LVLM 은 두 단계에서 자체 출력을 정제합니다:

1. 사실적 정정: 모델은 할루시네이션된 요소를 제거하거나 검증된 올바른 내용으로 교체하여 간결하고 사실적으로 정확한 응답을 생성합니다.
2. 상세한 풍부화: 응답이 너무 희박해지는 것을 방지하기 위해, 모델은 이미지에 기반하여 누락된 시각적 세부 정보를 추가합니다.
   • 반복적 필터링: 품질을 보장하는 순환 파이프라인입니다. 풍부해진 텍스트는 검증 모듈로 다시 입력됩니다. 할루시네이션이 감지되면 다시 생성됩니다. 이 루프는 7B 모델의 경우 최대 3 회, 13B 모델의 경우 5 회 실행됩니다.
   • 부정 제약: 모델은 이전에 할루시네이션으로 식별된 객체를 언급하지 않도록 명시적으로 지시받습니다.

C. 선호 학습

이 과정은 다음으로 구성된 선호 데이터셋 $\mathcal{D}_{SC}$를 생성합니다:

• $y^-$: 초기 할루시네이션 응답.
• $y^+$: 최종 자기 수정 및 풍부화된 응답.
• 학습 목표: 모델은 표준 DPO 손실 함수를 사용하여 $y^-$보다 $y^+$의 가능성을 극대화하도록 최적화되며, 이는 모델이 사실적인 검증된 출력을 선호하도록 효과적으로 가르칩니다.

3. 주요 기여

• 분포 내 정렬 (In-Distribution Alignment): AVES-DPO 는 외부 "교사" 모델을 사용하는 데 내재된 분포 불일치 문제를 해결하기 위해 대상 모델의 고유 지식에서 엄격하게 선호 쌍을 생성하는 최초의 프레임워크입니다.
• 포괄적인 할루시네이션 완화: 주로 객체 존재에 초점을 맞춘 이전 작업과 달리, AVES-DPO 는 세밀한 검증 파이프라인을 통해 속성과 관계를 포함한 광범위한 할루시네이션을 해결합니다.
• 높은 데이터 효율성: 이 방법은 7B 모델의 경우 5.2k 샘플만을 사용하여 최첨단 성능을 달성하며, 이는 비싼 독점 API 호출이 필요 없는 LLaVA-RLHF 와 같은 방법보다 약 25 배 적은 데이터입니다.
• 견고한 검증 파이프라인: 감지기와 VLM 을 결합한 2 단계 합의 기반 검증 전략의 도입은 고품질이고 노이즈가 없는 선호 데이터를 보장합니다.

4. 실험 결과

저자들은 여러 벤치마크에서 **LLaVA-1.5(7B 및 13B)**에 대해 AVES-DPO 를 평가했습니다:

• 할루시네이션 벤치마크 (Object-Hal, AMBER, MMHal-Bench):
  • AVES-DPO 는 7B 모델의 평가 지표 중 60% 이상에서 최첨단 (SOTA) 성능을 달성했습니다.
  • POVID, oDPO, SENTINEL 과 같은 베이스라인에 비해 **CHAIR 점수 (할루시네이션율)**를 크게 감소시켰습니다.
  • 세밀한 개선: 이 방법은 종종 다른 방법들이 어려움을 겪는 관계 및 속성 카테고리에서 상당한 개선을 보여주었습니다. 예를 들어, AMBER 벤치마크에서 7B 모델의 "Relation" 카테고리에서 66.6 점으로, 종종 이 영역에서 성능이 저하되는 베이스라인들을 능가했습니다.
• 일반 멀티모달 능력 (MME 벤치마크):
  • 7B 모델은 일반 인식 및 인식 작업에서 상당한 개선을 보여주어, 할루시네이션 완화로 인해 일반 능력이 저하되지 않았음을 확인했습니다.
  • 참고: 13B 모델은 일반 벤치마크에서 약간의 트레이드오프를 보였으며, 이는 사실적 기반과 광범위한 지식 검색 사이의 균형을 맞추기 위해 규모를 고려한 전략이 필요함을 시사합니다.
• 절대적 연구 (Ablation Studies):
  • 분포 불일치: 선호 마진 (preference margins) 을 시각화한 결과, 자기 수정은 모델의 내부 분포와 정렬됨 (마진이 0 에 가깝거나 양수) 을 보여주었으나, 외부 GPT-4V 감독은 음수 변화를 초래하여 분포 불일치를 야기했습니다.
  • 데이터 효율성: 600 개의 샘플만으로도 성능 향상이 유의미했으며, 5.2k 샘플을 초과하면 체감 수익이 감소하는 것이 관찰되었습니다.

5. 의의

이 논문은 LVLM 의 할루시네이션 완화에서 패러다임 전환을 제시합니다. 자기 수정이 선호 학습에 있어 외부 감독보다 우월함을 입증함으로써, AVES-DPO 는 비용 효율적이고 확장 가능하며 데이터 효율적인 솔루션을 제공합니다. 이는 GPT-4V 와 같은 비싼 독점 API 에 대한 의존성을 제거하면서도 객체, 속성, 관계와 같은 더 넓은 범위의 할루시네이션 유형을 동시에 해결합니다. 이 프레임워크는 LVLM 이 더 사실적이고 신뢰할 수 있는 출력을 생성하기 위해 자체 내부 지식 베이스와 효과적으로 정렬할 수 있음을 증명합니다.