Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs

이 논문은 시각적 대비 쌍을 활용하여 VLM 의 환각을 완화하고 자기 개선 학습을 통해 시각 추론 능력을 향상시키는 새로운 프레임워크인 VC-STaR 과 이를 기반으로 구축된 VisCoR-55K 데이터셋을 제안합니다.

핵심

거울을 통해 세상을 더 잘 보는 법: VC-STaR 소개

안녕하세요! 오늘 소개해 드릴 논문은 **"시각 언어 모델 (VLM)"**이라는 인공지능이 어떻게 더 똑똑하고, 착각하지 않게 될 수 있는지에 대한 흥미로운 연구입니다.

이 논문은 ICLR 2026이라는 세계적인 AI 학회에서 발표된 것으로, **"VC-STaR"**이라는 새로운 기술을 제안합니다. 복잡한 기술 용어 대신, 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: AI 의 "착각" (할루시네이션)

우리가 AI 에게 그림을 보여주고 "이거 뭐야?"라고 물으면, AI 는 종종 상상을 섞어서 답합니다.

• 상황: AI 가 스케이트보더가 점프하는 그림을 봤는데, 실제로는 그냥 서 있는 그림인데도 "점프 중이야!"라고 확신하며 설명합니다.
• 원인: AI 는 글자 (텍스트) 는 잘 이해하지만, 그림 속의 미세한 디테일을 놓치거나, 자신이 알고 있는 상식만 믿고 **눈에 보이지 않는 것을 만들어내는 착각 (할루시네이션)**을 합니다.

기존의 방법들은 AI 가 틀린 답을 고쳤을 때, "정답은 이거야"라고 알려주는 정도였습니다. 하지만 AI 는 여전히 "왜 틀렸는지"를 그림 속에서 찾아내지 못해, 같은 실수를 반복하곤 했습니다.

2. 해결책: "비교"의 마법 (Contrast)

이 연구의 핵심 아이디어는 매우 단순하지만 강력합니다.

"혼자서 보면 착각하기 쉽지만, 비슷한 것을 나란히 비교하면 진짜가 보인다."

🎨 비유: 그림 그리기 수업

• 기존 방식 (혼자 그리기): 학생이 혼자서 "사과"를 그리라고 하면, 기억 속의 사과를 그려서 줄무늬가 있는 배를 그릴 수도 있습니다. (착각)
• 새로운 방식 (비교 그리기): 선생님이 "이 사과 (실제 사진) 와 저 사과 (비슷하지만 줄무늬가 있는 배) 를 비교해 봐. 둘의 차이가 뭐야?"라고 물으면, 학생은 진짜 사과의 특징을 더 선명하게 보게 됩니다.

이 논문은 AI 에게 비슷하지만 미묘하게 다른 두 장의 그림을 동시에 보여주고, "이 두 그림의 차이는 뭐야?"라고 물어보게 합니다. 이렇게 하면 AI 는 자신의 착각을 스스로 깨닫고, 그림 속 진짜 증거를 찾아내게 됩니다.

3. VC-STaR 이라는 새로운 학습법

연구팀은 이 아이디어를 바탕으로 **VC-STaR (Visual Contrastive Self-Taught Reasoner)**이라는 시스템을 만들었습니다. 이 시스템은 3 단계로 작동합니다.

1. 생각하기 (Thinking): AI 가 먼저 그림을 보고 "이건 점프 중이야!"라고 대충 답을 냅니다. (여기서 착각이 생길 수 있음)
2. 비교하기 (Contrasting): AI 에게 비슷한 그림을 하나 더 보여줍니다. "자, 이 두 그림을 비교해 봐. 첫 번째 그림은 점프 중이고, 두 번째 그림은 서 있는 게 뭐가 달라?"라고 물어봅니다. AI 는 이제 미세한 차이를 찾아내야 합니다.
3. 다시 생각하기 (Rethinking): 비교해서 찾은 진짜 증거를 바탕으로, 처음의 대충한 답을 정확하고 논리적인 답으로 고칩니다.

이 과정을 반복하면 AI 는 스스로 착각을 고치는 법을 배우게 됩니다.

4. VisCoR-55K: AI 를 위한 '비교 학습 교재'

이 시스템이 작동하려면 AI 가 비교할 수 있는 수많은 문제집이 필요합니다. 연구팀은 전 세계의 다양한 그림 문제 (수학, 차트, 일반 질문 등) 를 모아서, 비슷하지만 다른 그림 쌍 5 만 5 천 개를 만들었습니다. 이를 VisCoR-55K라고 부릅니다.

• 비유: 마치 AI 가 "사과 vs 배"를 비교하며 눈썰미를 기르는 수련 교재를 만든 것과 같습니다.

5. 결과: AI 가 얼마나 똑똑해졌나요?

이 새로운 방법으로 학습시킨 AI 는 기존 방법들보다 훨씬 뛰어난 성과를 보였습니다.

• 착각 감소: "없는 물건을 봤다"거나 "틀린 사실을 말했다"는 실수가 크게 줄었습니다.
• 범용성: 수학 문제, 차트 분석, 일상적인 질문 등 어떤 상황에서도 잘 작동합니다.
• 경쟁력: 다른 최신 AI 모델들보다 더 정확한 시각 추론 능력을 보여줬습니다.

🌟 한 줄 요약

이 연구는 **"AI 가 혼자 생각하면 착각하지만, 비슷한 것을 비교하게 하면 눈이 밝아진다"**는 사실을 증명했습니다. 마치 거울을 통해 자신의 실수를 바로잡듯, **비교 (Contrast)**라는 렌즈를 통해 AI 가 세상을 더 정확하게 볼 수 있게 된 것입니다.

이 기술은 앞으로 우리가 AI 와 대화할 때, AI 가 더 신뢰할 수 있고 정확한 정보를 제공해 줄 수 있는 기반이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 자기 개선 (Self-improving) 기법을 통해 추론 능력을 향상시킬 수 있습니다. 하지만 이를 비전 - 언어 모델 (VLM) 에 적용할 때는 근본적인 한계가 존재합니다.
• 핵심 문제: 기존 텍스트 기반 자기 개선 방법 (예: STaR) 은 텍스트의 일관성이나 최종 정답의 품질에 초점을 맞추지만, **시각적 환각 (Visual Hallucinations)**을 효과적으로 검증하거나 수정하지 못합니다.
  • VLM 은 종종 실제 시각적 증거 없이 텍스트 사전 지식에 의존하여 추론 경로를 생성하며, 이로 인해 잘못된 시각적 사실을 바탕으로 한 환각이 발생하고 이를 스스로 교정하지 못합니다.
  • 기존 방법들은 VLM 이 생성한 환각적인 추론을 식별하거나 수정하는 메커니즘이 부족하여, 모델이 잘못된 추론에 갇히게 되는 문제가 발생합니다.

2. 제안 방법: VC-STaR (Visual Contrastive Self-Taught Reasoner)

저자들은 **"VLM 은 대조 (Contrasting) 를 할 때 더 잘 본다"**는 관찰에서 아이디어를 얻어, VC-STaR이라는 새로운 자기 개선 프레임워크를 제안합니다.

핵심 아이디어

• 대조적 VQA 쌍 (Contrastive VQA Pair): 두 개의 시각적으로 유사하지만 미묘한 차이가 있는 이미지와 동의어 질문을 쌍으로 구성합니다.
• 관찰: 단일 이미지 질문에서는 환각이 발생하지만, 두 이미지를 대조적으로 비교하도록 요구하면 모델은 미세한 시각적 단서를 더 정확하게 포착하여 오류를 수정할 수 있습니다.

VC-STaR 파이프라인 (3 단계)

1. 생각 (Thinking): VLM 이 주어진 단일 VQA 샘플에 대해 정답 (Hint) 을 바탕으로 초기 추론 (Coarse Rationale) 을 생성합니다. (이 단계에서 환각이 발생할 수 있음)
2. 대조 (Contrasting): 생성된 샘플과 대조적 VQA 쌍 (시각적으로 유사한 다른 이미지) 을 비교하도록 VLM 에게 요청합니다.
   • 두 이미지의 정답이 같다면 공통 패턴을 요약하고, 다르다면 미세한 시각적 차이를 분석합니다.
   • 이 과정을 통해 생성된 **대조적 분석 (Contrastive Analysis)**은 초기 추론보다 더 신뢰할 수 있는 시각적 정보를 제공합니다.
3. 재사고 (Rethinking): 강력한 LLM(예: Qwen2.5-72B) 이 초기 추론과 대조적 분석을 입력받아, 시각적 환각을 수정하고 더 정확한 추론 경로 (Refined Rationale) 를 생성합니다.

데이터 구축: VisCoR-55K

• 데이터 수집: 21 개의 다양한 VQA 데이터셋 (추론, 수학, 차트, OCR, 일반 등) 을 수집했습니다.
• 쌍 구성 (Pair Curation): 이미지와 질문의 임베딩 유사도를 기반으로 시각적으로 유사하지만 질문이 동의어인 쌍을 자동으로 검색하여 구성했습니다.
• 난이도 필터링: 모델이 처음에는 실패했으나 대조적 힌트를 통해 성공하는 '중간 난이도 (Median)' 샘플 위주로 선별하여 고품질 데이터를 확보했습니다.
• 결과: 55,000 개의 고품질 시각적 추론 샘플로 구성된 VisCoR-55K 데이터셋을 구축했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 자기 개선 프레임워크 (VC-STaR): 텍스트 중심의 자기 개선 한계를 극복하고, VLM 의 내재된 '대조적 비교 능력'을 활용하여 시각적 환각을 자가 수정하는 메커니즘을 최초로 제안했습니다.
2. 고품질 데이터셋 (VisCoR-55K): 다양한 도메인을 아우르는 55K 개의 시각적 추론 데이터셋을 공개했습니다. 이 데이터셋은 대조적 분석을 통해 생성된 신뢰할 수 있는 추론 경로를 포함합니다.
3. 범용성 증명: 제안된 방법은 특정 모델에 국한되지 않으며, 다양한 VQA 태스크 (수학, 차트, OCR 등) 와 다양한 베이스 모델 (Qwen2.5VL, InternVL 등) 에 적용 가능함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Qwen2.5VL-7B 를 베이스 모델로 하여 다양한 벤치마크에서 실험을 수행했습니다.

• 벤치마크 성능: MMVP, HallusionBench, MathVista, MathVision, MMStar, MME-RealWorld 등 6 개 주요 벤치마크에서 일관된 성능 향상을 보였습니다.
  • 특히 할루시네이션 (Hallusion) 관련 벤치마크 (MMVP, HallusionBench) 에서 기존 자기 개선 방법 (STaR, Verifier, Feedback 등) 보다 월등히 높은 점수를 기록하며 환각 억제 능력을 입증했습니다.
  • 수학 및 일반 추론 능력에서도 기존 오프 - 더 - 셀프 (Off-the-Shelf) 추론 데이터셋으로 학습된 모델들을 능가했습니다.
• 비교 분석:
  • 기존 자기 개선 방법들은 할루시네이션 감소에 집중하다 보니 수학/일반 추론 능력이 떨어지는 트레이드오프가 있었으나, VC-STaR 은 모든 영역에서 균형 잡힌 개선을 달성했습니다.
  • 단순히 텍스트만 활용한 추론 데이터 (Virgo 등) 나 수동 템플릿 (LLaVA-CoT) 보다 시각적 원천 정보를 직접 활용한 VC-STaR 의 접근법이 훨씬 효과적이었습니다.
• 분석 (Ablation Study):
  • 대조 쌍 유형: 정답이 같은 '양성 (Positive)' 쌍과 다른 '음성 (Negative)' 쌍 모두 도움이 되지만, **음성 쌍 (정답이 다른 경우)**이 더 강력한 의미적 대조를 유도하여 성능 향상에 더 크게 기여했습니다.
  • 쉬운 샘플: 쉬운 샘플을 추가하면 오히려 성능이 저하되어, 난이도가 높은 '중간' 샘플만 학습에 사용하는 것이 효과적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 인지적 통찰: 인간의 추론이 대조와 비교를 통해 개념을 정교화한다는 인지과학적 이론 (Prototype Theory, Structure-mapping) 을 VLM 학습에 성공적으로 적용했습니다.
• 패러다임 전환: 외부 보상 모델이나 복잡한 단계 분해 없이, VLM 이 가진 **내재적인 대조적 능력 (Inherent Contrastive Ability)**을 활용하여 스스로 시각적 추론 능력을 부트스트랩 (Bootstrapping) 할 수 있음을 증명했습니다.
• 미래 전망: 시각적 환각을 줄이고 신뢰할 수 있는 시각적 추론을 가능하게 하는 새로운 대조 기반 학습 및 추론 패러다임을 제시하여, 향후 다중 모달 모델의 발전에 중요한 방향성을 제시합니다.

이 논문은 시각적 환각이라는 VLM 의 치명적인 약점을 '대조 (Contrast)'라는 렌즈를 통해 해결함으로써, 자기 개선 학습의 새로운 지평을 열었다는 점에서 큰 의의가 있습니다.