Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization

1. 문제 정의 (Problem)

최근 멀티모달 대형 추론 모델 (MLRMs, Multimodal Large Reasoning Models) 은 복잡한 시각적 문제 해결 능력을 보여주며 주목받고 있습니다. 그러나 이러한 모델들은 할루시네이션 (Hallucination, 사실과 다른 내용 생성) 에 특히 취약하며, 오히려 기존 비추론 모델보다 더 심각한 할루시네이션을 일으키는 역설적인 현상이 관찰됩니다.

• 핵심 원인 분석:
  1. 시각적 주의를 무시하고 언어적 선입견에 의존: 추론 과정 (Chain-of-Thought, CoT) 을 도입하면 모델이 시각 토큰 (이미지 정보) 에 할당하는 주의를 줄이고, 텍스트 토큰 (언어적 선입견) 에 과도하게 의존하게 됩니다. 이로 인해 CoT 내에 시각적 단서가 희석되고 불필요한 텍스트 토큰이冗余 (중복) 하게 생성됩니다.
  2. 할루시네이션의 전파: 추론 과정 (CoT) 에서 발생한 할루시네이션은 최종 답변으로 강력하게 전파됩니다. 반대로, 고품질의 추론 과정은 할루시네이션 없는 답변을 유도합니다.

2. 제안 방법론: C3PO 프레임워크

저자들은 MLRMs 의 고유한 추론 과정을 고려하여 C3PO (CoT Compression and Contrastive Preference Optimization) 라는 2 단계 학습 기반 완화 프레임워크를 제안합니다.

1 단계: CoT 압축 (Chain-of-Thought Compression)

• 목적: 추론 과정에서 불필요하고 중복된 텍스트 토큰을 제거하여 시각적 신호가 더 명확하게 전달되도록 합니다.
• 방식:
  • 생성된 CoT 토큰의 중요도를 평가하는 도구 (LLMlingua-2) 를 사용하여, 모델 예측에 미미한 영향을 미치는 토큰을 선별적으로 제거 (Pruning) 합니다.
  • 정보 병목 (Information Bottleneck, IB) 원리에 기반하여, 입력과 중간 표현 사이의 중복 정보를 최소화하고 (I(X;Z) 감소), 정답과 관련된 핵심 정보만 유지 (I(Y;Z) 최대화) 하도록 설계되었습니다.
  • 이 과정은 추가적인 감독 데이터 없이 모델이 생성한 CoT 를 압축하여 SFT(지도 미세조정) 에 활용합니다.

2 단계: 대비적 선호 최적화 (Contrastive Preference Optimization, CPO)

• 목적: 고품질의 추론 경로를 장려하고 할루시네이션 경로를 억제합니다.
• 방식:
  • 선호 데이터 구성:
    • 긍정 샘플 (Preferred): 고급 MLLM(예: Qwen3-VL) 의 피드백을 받아 CoT 내의 할루시네이션을 수정하고 시각적 근거를 강화한 '고품질 추론' 데이터.
    • 부정 샘플 (Rejected):
      1. 원본 모델이 생성한 (할루시네이션이 포함된) 추론.
      2. 멀티모달 할루시네이션 유도 메커니즘 (MHI): 의도적으로 이미지를 마스킹하거나 오해의 소지가 있는 텍스트 프롬프트를 주어 모델의 내재적 할루시네이션 패턴을 유발한 데이터. 이는 모델이 자신의 오류 패턴을 인식하고 교정하도록 돕는 '정보성 있는 부정 신호' 역할을 합니다.
  • 최적화 목표:
    • 추론 중심 선호 손실 (L_RE): CoT 자체의 품질을 개선.
    • 표준 DPO 손실 (L_DPO): (CoT, 최종 답변) 전체 출력의 일관성을 개선.
    • 앵커 정규화 (Anchor Regularization): 선호 응답의 확률이 임계값 이하로 떨어지는 것을 방지.

3. 주요 기여 (Key Contributions)

1. 할루시네이션 메커니즘 규명: MLRMs 에서 추론 과정이 시각적 주의를 감소시키고 언어적 선입견을 강화하여 할루시네이션을 악화시킨다는 실험적 증거를 제시했습니다.
2. C3PO 프레임워크 개발: CoT 압축과 대비적 선호 최적화를 결합한 최초의 MLRM 전용 할루시네이션 완화 프레임워크를 제안했습니다.
3. 할루시네이션 유도 메커니즘 (MHI): 모델의 실패 패턴을 의도적으로 유발하여 대비 학습에 활용하는 새로운 기법을 도입했습니다.
4. 이론적 근거: 정보 병목 (Information Bottleneck) 이론을 통해 CoT 압축과 강화가 모델의 예측 정확도를 높이고 할루시네이션을 줄이는 이론적 타당성을 증명했습니다.

4. 실험 결과 (Results)

다양한 MLRMs (R1-Onevision, MM-Eureka, ThinkLite 등) 과 벤치마크 (CHAIR, POPE, AMBER, GPT-4 평가 등) 에서 광범위한 실험을 수행했습니다.

• 할루시네이션 감소: 제안된 C3PO 는 모든 모델에서 기존 SOTA 방법 (RLAIF-V, OPA-DPO 등) 보다 일관되게 할루시네이션을 감소시켰습니다.
  • 예: Orsta-R1 모델에서 CHAIR 점수 (CS) 를 13.27%, CI 를 18.82% 상대적으로 감소시켰습니다.
• 세부 평가:
  • CHAIR/POPE: 객체 존재 및 기술에서의 할루시네이션이 크게 줄었습니다.
  • GPT-4 평가: 미세한 할루시네이션 (위치, 관계, 속성 등) 이 감소하고, 응답의 상세도 (WPI, SPI) 는 오히려 향상되었습니다.
  • AMBER: 존재, 속성, 관계 등 다차원 할루시네이션에서 일관된 개선을 보였습니다.
• 일반적 능력 유지: 할루시네이션을 줄이는 동시에 MME, MMBench 와 같은 일반 멀티모달 벤치마크에서의 성능은 유지되거나 오히려 향상되었습니다.
• Ablation Study: CoT 압축 비율 (γ=0.9) 이 최적이며, 각 구성 요소 (L_RE, L_DPO, MHI 전략 등) 가 모두 성능 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 추론 모델의 할루시네이션 문제를 해결하기 위한 실질적이고 효과적인 학습 기반 접근법을 제시했습니다. 단순히 데이터를 늘리는 것이 아니라, 추론 과정의 구조적 결함 (중복성, 시각적 무관심) 을 교정하고, 모델의 실패 패턴을 학습에 적극 활용함으로써 할루시네이션을 근본적으로 완화했습니다. 이는 향후 신뢰할 수 있는 멀티모달 AI 시스템 개발을 위한 중요한 이정표가 될 것으로 기대됩니다.