기술 요약: 추론이 중요합니다: 추론 조건부 선호도 최적화를 통한 다중 모달 대형 추론 모델의 환각 완화

문제 제기

다중 모달 대형 추론 모델 (MLRMs) 은 최종 답변을 생성하기 전에 명시적으로 중간 추론 단계 (Chain-of-Thought, CoT) 를 생성함으로써 복잡한 비전 - 언어 작업에서 강력한 능력을 입증해 왔습니다. 그러나 이러한 모델은 여전히 환각에 취약하여, 시각적 입력과 일치하지 않지만 그럴듯해 보이는 콘텐츠를 생성합니다. 일반적인 다중 모달 대형 언어 모델 (MLLM) 의 경우 환각이 주로 최종 출력에서 발생하는 반면, MLRM 의 환각은 중간 CoT 내에서 발생하여 이후 최종 답변으로 전파될 수 있습니다.

기존의 훈련 기반 완화 방법인 직접 선호도 최적화 (DPO) 와 같은 방법들은 일반적으로 CoT 와 최종 답변을 단일화된 출력으로 취급합니다. 본 논문은 이러한 응답 수준 최적화가 답변 전용 최적화와 유사하게 작동하여, 주로 답변 수준의 선호도를 학습하는 반면 CoT 수준의 감독은 충분히 활용되지 못한다고 지적합니다. 그 결과, 추론 사슬에 남아 있는 잔여 환각이 종종 지속되어 전체 응답의 전체 오류율을 지배하게 됩니다.

방법론: RC-DPO

거친 입자의 감독의 부족을 해결하기 위해, 저자들은 **추론 조건부 직접 선호도 최적화 (RC-DPO)**를 제안합니다. 이 프레임워크는 CoT 를 답변 생성의 조건으로 간주함으로써 추론 사슬과 최종 답변 간의 관계를 명시적으로 모델링합니다.

1. 핵심 목적

전체 응답 $(c, a)$을 공동으로 최적화하는 대신, RC-DPO 는 서로 다른 CoT 조건 하에서 동일한 선호 답변 ($a_w$) 을 생성할 확률을 대조합니다:

• 선호 조건 ($c_w$): 시각적으로 근거가 있고 논리적으로 유효한 추론 사슬.
• 거부 조건 ($c_l$): 환각이 있거나 손상된 추론 사슬.

목적 함수는 답변 생성에 대한 추론 사슬의 효과를 분리합니다. 고품질 CoT 가 주어졌을 때의 선호 답변의 조건부 확률과 손상된 CoT 가 주어졌을 때의 조건부 확률 사이의 마진을 최대화합니다:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
최종 훈련 목적 함수는 이 추론 조건부 손실을 표준 응답 수준 DPO 와 결합합니다:
$$L = L_{DPO} + \lambda L_{RC}$$

2. 선호 데이터 구성

RC-DPO 는 외부 정답 주석이나 더 강력한 모델에 의존하지 않고 선호도 쌍 $(x, c_w, a_w, c_l, a_l)$을 구성해야 합니다. 저자들은 모델의 자체 출력을 사용하는 파이프라인을 도입합니다:

• 긍정 샘플 구성 (MCTS): 저자들은 고품질 추론 궤적을 발견하기 위해 몬테카를로 트리 탐색 (MCTS) 을 사용합니다. 감독 미세 조정 (SFT) 모델에서 시작하여 MCTS 는 후보 추론 단계를 확장하고 비전 일관성, 논리적 유효성, 그리고 답변 정확도에 기반하여 궤적을 점수화하는 검증기를 사용합니다. 가장 높은 점수를 받은 궤적이 긍정 샘플 $(c_w, a_w)$로 선택됩니다.
• 부정 샘플 구성 (Attention-Guided Pruning): 도전적인 부정 샘플을 생성하기 위해, 저자들은 이미지 주의력 기반 토큰 가지치기 전략을 사용합니다. 각 CoT 토큰에서 이미지 토큰으로의 주의력 점수를 계산합니다. 시각적 관련성이 높은 토큰을 식별하여 원래 CoT 에서 제거 (가지치기) 합니다. 이는 추론 사슬의 시각적 근거를 방해하여, 동일한 답변에 대한 부정 조건으로 작용하는 손상된 CoT($c_l$) 를 생성합니다.

3. 훈련 파이프라인

1. CoT 형식 정렬: MCTS 작업을 용이하게 하기 위해, 워밍업 SFT 단계를 통해 모델을 단계별 추론 후 답변이 따르는 구조화된 CoT 형식에 정렬합니다.
2. 데이터 생성: MCTS 와 주의력 기반 가지치기가 선호도 데이터셋을 생성합니다.
3. 최적화: 모델은 결합된 $L_{DPO} + \lambda L_{RC}$ 목적 함수를 사용하여 훈련됩니다.

주요 기여

1. 기존 DPO 분석: 본 논문은 표준 응답 수준 DPO 가 답변 수준 최적화에 편향되어 CoT 수준의 환각이 충분히 다루어지지 않았음을 밝힙니다.
2. RC-DPO 프레임워크: 서로 다른 CoT 조건 하에서 동일한 선호 답변을 대조함으로써 추론 사슬을 명시적으로 정렬하는 세밀한 선호도 최적화 프레임워크를 제안합니다.
3. 데이터 생성 전략: 긍정 샘플링을 위한 MCTS 와 부정 구성을 위한 주의력 기반 토큰 가지치기를 활용하는 자체完결형 선호도 데이터 생성 파이프라인을 도입합니다.
4. 실증적 검증: 네 가지 MLRMs 과 아홉 가지 벤치마크에 걸친 광범위한 실험을 통해 이 접근법의 효과성을 입증했습니다.

실험 결과

저자들은 R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B, OpenVLThinker-7B 의 네 가지 대표적인 MLRMs 에서 RC-DPO 를 평가했습니다.

• 환각 완화: Object HalBench에서 RC-DPO 는 모든 모델에서 일관되게 가장 낮은 CHAIRS 및 CHAIRI 점수를 달성하여 VCD, SID, RLAIF-V, OPA-DPO 와 같은 베이스라인을 크게 능가했습니다. 예를 들어, R1-Onevision 에서 CHAIRS 는 36.7(Vanilla) 에서 21.7(RC-DPO) 로 감소했습니다.
• 객체 존재 여부: POPE 벤치마크에서 RC-DPO 는 무작위, 인기, 적대적 설정 전반에 걸쳐 최고의 정확도 및 F1 점수를 달성하여 객체 존재 인식의 개선을 나타냈습니다.
• 개방형 생성: MMHal-Bench 및 GPT-4 지원 평가에서 RC-DPO 는 설명의 품질과 유창성을 유지하거나 향상시키면서 환각 발생률을 감소시켰습니다.
• 일반 능력: MME, MMBench, VMCBench, MMVP에 대한 평가는 RC-DPO 가 일반적인 다중 모달 지각이나 추론 능력을 희생하지 않음을 보여주었으며, 많은 경우 OCR 및 위치 인식과 같은 세밀한 시각 작업에서 성능을 향상시켰습니다.

중요성 및 주장

본 논문은 중간 추론 사슬의 명시적 정렬이 신뢰할 수 있고 충실한 MLRM 을 구축하는 데 필수적이라고 주장합니다. 거친 입자의 응답 수준 최적화에서 세밀한 추론 조건부 최적화로 전환함으로써, RC-DPO 는 추론 모델에서 환각 전파의 근본 원인을 해결합니다. 저자들은 이 방법이 중간 CoT 와 최종 답변 모두에서 환각을 효과적으로 완화하여 일반 능력을 훼손하지 않으면서 더 신뢰할 수 있는 다중 모달 추론을 이끌어낸다고 강조합니다. 이 작업은 CoT 를 답변 생성의 조건으로 취급함으로써 답변을 지원하는 추론 선호도를 학습하기 위한 직접적인 훈련 신호를 제공함을 강조합니다.