기술 요약: DPO에서의 컨텍스트 맹목성(Context Blindness): C2-DPO를 통한 MLLM의 객체 환각 완화

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각-언어 작업에서 상당한 진전을 이루었으나, 시각적 입력과 모순되는 의미론적으로 그럴듯한 설명을 생성하는 객체 환각(object hallucination) 문제에 여전히 취약합니다. 이러한 문제를 완화하기 위해 DPO(Direct Preference Optimization) 및 그 변형들이 환각이 없는 응답을 선호하도록 모델을 학습시키는 데 사용되어 왔으나, 관련 컨텍스트(예: 보조 캡션)로 선호 데이터를 풍부하게 만든 최근의 노력들은 모델이 해당 컨텍스트를 실제로 어떻게 활용하는지에 대해 불분명한 결과를 보여주었습니다.

저자들은 기존의 선호 최적화 목적 함수가 가진 근본적인 한계, 즉 **컨텍스트 맹목성(context-blindness)**을 지적합니다. 표준 DPO는 고정된 입력 $x$에 대해 선호 마진을 최적화하지만, 더 풍부한 컨텍스트 정보가 제공되었을 때 모델이 선호도를 강화하도록 명시적으로 보상하지는 않습니다. 결과적으로, 유용한 컨텍스트를 포함하는 데이터로 학습하더라도 모델은 이 정보를 응답의 근거(grounding)로 활용하는 데 실패하며, 이는 지속적인 환각으로 이어집니다.

2. 방법론

2.1 진단 지표: 컨텍스트적 선호 이득 (Contextual Preference Gain, CPG)

모델이 실제로 컨텍스트를 활용하는지 조사하기 위해, 저자들은 **컨텍스트적 선호 이득(CPG)**을 도입했습니다. 이 지표는 추가적인 관련 컨텍스트가 제공될 때 모델의 선호 강도가 어떻게 변화하는지를 정량화합니다.

전체 컨텍스트 입력 $x$(이미지, 쿼리, 보조 캡션)와 저하된 컨텍스트 입력 $x'$(이미지와 쿼리만 포함, 캡션 제거)가 주어졌을 때, 선호 점수는 선호되는 응답($y_w$)과 비선호되는 응답($y_l$) 사이의 암묵적 보상 마진으로 정의됩니다:
$$\Delta \hat{r}_\theta(x, y_w, y_l) = \hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$$

CPG는 다음 점수들의 차이로 계산됩니다:
$$\text{CPG}(x, x') = \Delta \hat{r}_\theta(x, y_w, y_l) - \Delta \hat{r}_\theta(x', y_w, y_l)$$

주요 관찰 사항:

• 상관관계: CPG와 환각률 사이에는 강한 음의 상관관계가 존재합니다. 즉, CPG가 높은 모델은 일관되게 낮은 환각률을 보입니다.
• 컨텍스트 맹목성: 표준 DPO 및 그 변형들(SimPO, RDPO)은 CPG 분포가 0 근처에 집중되어 있습니다. 이는 보조 컨텍스트를 제거했을 때 모델의 선호도에 최소한의 변화만을 준다는 것을 의미하며, 이러한 모델들이 컨텍스트 정보를 효과적으로 활용하지 못하고 있음을 드러냅니다.

2.2 제안된 솔루션: 컨텍스트 교정 DPO (C2-DPO)

컨텍스트 맹목성을 해결하기 위해, 저자들은 저하된 조건에서도 올바른 선호 순위를 유지하면서 CPG를 명시적으로 최대화하는 프레임워크인 C2-DPO를 제 제안합니다. 이 접근 방식은 다음과 같은 제약 조건이 있는 최적화 문제로 정식화됩니다:

1. 목표: 전체 컨텍스트($x$) 하에서의 선호 마진을 최대화한다.
2. 제약 조건 1: 전체 컨텍스트에서의 선호 마진은 저하된 컨텍스트($x'$)에서의 마진보다 커야 하며, 이를 통해 양(+)의 CPG를 보장한다.
3. 제약 조건 2: 저하된 컨텍스트 하에서도 선호 마진은 양(+)의 값을 유지해야 하며, 이를 통해 보조 단서가 없더라도 모델이 여전히 올바른 응답을 선호하도록 보장한다.

이러한 제약 조건들은 세 가지 항으로 구성된 미분 가능한 학습 목적 함수로 완화됩니다:
$$\mathcal{L}_{\text{C}^2\text{-DPO}}(x, x') = \mathcal{L}_{\text{DPO}}(x) + \lambda_c \mathcal{L}_c(x, x') + \lambda_u \mathcal{L}_{\text{DPO}}(x')$$

• $\mathcal{L}_{\text{DPO}}(x)$: 정렬(alignment) 유지를 위한 전체 컨텍스트에서의 표준 DPO 손실.
• $\mathcal{L}_c(x, x')$ (컨텍스트적 선호 교정 손실): 전체 컨텍스트를 양성(positive)으로, 저하된 컨텍스트를 음성(negative)으로 취급하여 둘 사이의 격차(CPG)를 명시적으로 최대화하는 대조 손실(contrastive loss).
• $\mathcal{L}_{\text{DPO}}(x')$: 모델이 컨텍스트가 없을 때 단순히 선호되는 응답의 점수를 낮춤으로써 인위적으로 CPG를 부풀리는 것을 방지하고, 컨텍스트가 없더라도 올바른 선호 순위를 유지하도록 하는 저하된 컨텍스트에서의 표준 DPO 손실.

3. 주요 기여

1. 컨텍스트 맹목성 식별: 저자들은 기존의 선호 최적화 방법들이 near-zero CPG 분포를 통해 입증되듯, 컨텍스트 정보를 활용하는 데 실패한다는 점을 밝혀냈습니다.
2. CPG 도입: 컨텍스트 활용과 환각률 사이의 관계를 정량화하는 진단 지표인 CPG를 도입하였으며, 높은 CPG가 환각 감소와 상관관계가 있음을 입증했습니다.
3. C2-DPO 프레임워크: CPG를 명시적으로 최적화하도록 설계된 일반적인 선호 정렬 방법입니다. 이는 모델 불가지론적(model-agnostic)이며, 다양한 선호 최적화 변형(DPO, SimPO, RDPO)과 원활하게 통합될 수 있고 멀티모달 및 텍스트 전용 설정 모두에 적용 가능합니다.

4. 실험 결과

저자들은 두 가지 MLLM(LLaVA-v1.5-7B 및 Qwen2-VL-Instruct-2B)을 대상으로 여러 벤치마크에서 C2-DPO를 평가했습니다.

• 환각 감소:

  • Object HalBench에서, C2-DPO는 Qwen2-VL-Instruct-2B의 환각률을 베이스라인 대비 응답 수준(response level)에서 36%, 언급 수준(mention level)에서 60% 감소시켰으며, C-DPO 및 HA-DPO와 같은 최신 기법들을 능가했습니다.
  • AMBER에서, C2-DPO는 16.1의 환각 점수를 기록하여 vanilla-DPO(39.9) 및 C-DPO(17.5)보다 현저히 낮은 수치를 보였습니다.
  • 이러한 개선은 다양한 모델 규모와 아키텍처 전반에서 일관되게 나타났습니다.

• 일반 추론 능력 보존:

  • C2-DPO는 일반적인 멀티모달 추론 벤치마크(ScienceQA, MM-Vet, TextVQA)에서 강력한 성능을 유지하였으며, 이는 환각을 줄이는 것이 일반적인 지시 이행(instruction-following)이나 추론 능력을 저해하지 않음을 나타냅니다.

• 일반화 가능성:

  • 변형 모델: 교정 손실을 SimPO 및 RDPO에 통합한 결과(C2-SimPO 및 C2-RDPO) 일관된 성능 향상을 보여, 이 방법이 기본 최적화 목적 함수와 직교(orthogonal)함을 확인했습니다.
  • 텍스트 전용: 텍스트 전용 LLM 설정(AlpacaEval 2)에서 교정 전략을 적용했을 때 DPO와 SimPO 모두 성능이 향 향상되었으며, 이는 컨텍스트 인식 선호 모델링의 원리가 멀티모달 도메인을 넘어 확장될 수 있음을 시사합니다.

• 강건성:

  • 노이즈가 섞인 컨텍스트(캡션을 무작위로 마스킹)를 사용한 실험에서, C2-DPO는 강건함을 유지했으며, 노이즈가 증가할수록 C2-DPO와 베이스라인 간의 성능 격차가 더 벌어지는 것을 보였습니다.

• 학습 역학(Learning Dynamics):

  • 학습 분석 결과, C2-DPO는 학습 과정 내내 CPG를 꾸준히 증가시키는 반면, 베이스라인 방법(C-DPO 등)은 0 근처에 머물렀습니다.
  • CPG는 관련 컨텍스트의 양(문장 및 단어 수)에 따라 선형적으로 증가하는 것이 관찰되어, 모델의 컨텍스트 풍부도에 대한 민감도를 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 현재 MLLM의 선호 최적화에서의 주요 한계가 데이터의 품질이 아니라, 컨텍스트 근거(context grounding)를 강제하지 못하는 최적화 목적 함수의 능력에 있다고 주장합니다. 컨텍스트에 따른 선호도를 명시적으로 모델링함으로써, C2-DPO는 객체 환각을 완화하기 위한 원칙적인 접근 방식을 제공합니다.

저자들은 자신들의 방법이 다음과 같은 특징을 가짐을 강조합니다:

• 복잡한 아키텍처 변경이나 추가적인 보상 모델을 요구하지 않습니다.
• 전체 입력과 저하된 입력 간의 대비에만 의존하므로, 컨텍스트를 정의할 수 있는 다른 모달리티와 작업에도 적용 가능합니다.
• 선호 최적화의 신뢰성을 향상시키기 위한 통합된 전략을 제공하며, 멀티모달 근거 형성의 이점을 텍스트 전용 사실적 정렬(factual alignment)까지 확장합니다.

결론적으로, 본 연구는 컨텍스트 정보에 대해 선호 점수를 명시적으로 교정하는 것이 생성 모델의 사실적 신뢰성을 높이기 위해 널리 유용하게 쓰일 수 있는 원칙임을 보여줍니다.