💬 NLP

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

본 논문은 기존의 시각적 선호도 방식의 한계를 해결함으로써 시각적 대비 증류(Visual Contrast Distillation)와 정밀한 하드 네거티브 생성(hard negative generation)에 의해 강화된 수학적으로 엄밀한 프레임워크인 인컨텍스트 시각적 대비 최적화(In-Context Visual Contrastive Optimization, IC-VCO)를 제안하며, 이를 통해 시각-언어 모델의 멀티모달 환각 현상을 효과적으로 완화한다.

원저자: Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "공상에 빠진" AI

매우 똑똑한 학생(AI)이 사진에 관한 시험을 보고 있다고 상상해 보세요. 이 학생은 읽고 말하는 능력은 뛰어나지만, 가끔 사진을 볼 때 주의력이 흐트러져서 "공상"에 빠지곤 합니다. 사진에 없는 것을 설명하거나, 실제 사진에 무엇이 있는지 관찰하는 대신 보통 그런 상황에서 일어날 법한 일을 바탕으로 추측하곤 하죠. 이것을 **멀티모달 환각(multimodal hallucination)**이라고 부릅니다.

오랫동안 선생님들(연구자들)은 단순히 학생의 말을 교정하는 방식으로 이를 해결하려 노력했습니다. "너는 고양이가 있다고 말했지만, 사진에는 개가 있어. 다시 해봐."라고 말하는 식이었죠. 하지만 이 논문은 선생님들이 학생에게 사진을 자세히 보라고 강요하지 않고, 단지 텍스트만 교정했을 뿐이기 때문에 이것만으로는 충분하지 않다고 주장합니다.

기존 방식: "교체하고 잊기(Swap and Forget)" 방식

이전의 시도들은 "시각적 선호도(visual preference)" 방식을 사용했습니다. 학생에게 서로 다른 두 장의 사진을 보여주는 상황을 상상해 보세요:

사진 A: 개의 실제 사진.
사진 B: 완전히 다른 고양이 사진.

선생님은 " '개가 있다'라는 문장에 맞는 사진은 무엇인가요?"라고 묻습니다.

결함 1 (수학적 문제): 기존 방식은 사진 A에 대한 학생의 답변을 사진 B와 비교하려고 했습니다. 하지만 두 사진이 너무나 달랐기 때문에, 훈련 과정의 수학적 계산이 "엉망"이 되었습니다. 이는 마치 사과의 가격과 자동차의 가격를 비교하며 어떤 것이 더 좋은 과일인지 결정하려는 것과 같았습니다. 비교 자체가 공정하지 않았고 수학적으로 타당하지 않았습니다.
결함 2 (치트키): "잘못된" 사진(사진 B)은 종종 너무 확연하게 달랐습니다(예: 스타일, 조명, 배경이 완전히 다름). 이로 인해 학생은 속임수를 쓸 수 있었습니다. 학생은 개를 식별하는 법을 배우는 대신, "아, 사진이 이상하게 생겼거나 배경이 다르면 틀린 답이구나"라고 학습해 버렸습니다. 즉, 세부 사항을 배우는 대신 지름길을 택한 것입니다.

새로운 해결책: IC-VCO

저자들은 IC-VCO(In-Context Visual Contrastive Optimization)라는 새로운 프레임워크를 제안합니다. 이것을 더 똑똑하고 엄격한 훈련 캠프라고 생각하세요.

1. "나란히 놓기" 비교 (In-Context Visual Contrast)

IC-VCO는 학생에게 서로 다른 날에 두 번의 시험을 치르게 하는 대신, 두 장의 사진을 같은 책상 위에 동시에 올려놓습니다.

설정: 학생은 사진 A(개)와 사진 B(고양이)를 나란히 봅니다.
지시: 선생님은 손가락으로 가리키며 "이 특정 질문에 대해서는 첫 번째 사진만 보세요"라고 말합니다. 그다음 질문에서는 "이제 두 번째 사진만 보세요"라고 말합니다.
효과: 두 사진이 동일한 "컨텍스트(맥락, 즉 같은 책상 위)"에 있기 때문에 수학적 계산이 완벽하게 작동합니다. 학생은 배경 스타일을 보고 속임수를 쓸 수 없습니다. 왜냐하면 배경이 동일하기 때문입니다. 따라서 학생은 선생님이 가리킨 특정 대상에 집중해야만 합니다. 이것이 "엉망인 수학" 문제를 해결합니다.

2. "정밀한 편집" (Contrastive Sample Editing)

학생이 지름길을 택하지 못하도록, 저자들은 "잘못된" 사진을 만드는 새로운 방법을 만들었습니다.

기존 방식: 아예 처음부터 새로운 이미지를 생성했습니다. 이는 마치 교실 전체를 다른 곳으로 바꾸는 것과 같았습니다. 학생은 쉽게 "여기는 원래 있던 방이 아니야"라고 알아챌 수 있었습니다.
새로운 방식 (정밀한 편집): 원본 사진을 가져와서 아주 미세하고 정밀한 변화를 줍니다.
- 예시: 만약 사진에 빨간 사과가 있다면, 테이블, 조명, 배경은 정확히 그대로 둔 채 사과만 초록색 사과로 정밀하게 바꿉니다.
- 결과: 학생은 배경을 보고 속임수를 쓸 수 없습니다. 학생은 반드시 사과가 빨간색이 아니라 초록색이라는 것을 확인하기 위해 아주 자세히 들여다봐야만 합니다. 이는 AI가 일반적인 분위기로 때려 맞히는 것이 아니라 **미세한 디테일(fine-grained details)**을 학습하도록 강제합니다.

3. "가교" (Visual Contrast Distillation)

한 가지 걸림돌이 있습니다. 훈련은 책상 위에 두 장의 사진을 놓고 진행되지만, 실제 세상에서 AI는 보통 한 번에 하나의 사진만 봅니다.

문제: 만약 학생을 "나란히 놓기" 비교 방식으로만 훈련시킨다면, 혼자 있을 때 사진 한 장만 마주하면 혼란을 느낄 수 있습니다.
해결책 (증류/Distillation): 저자들은 "가교" 단계를 추가했습니다. 그들은 "나란히 놓기" 테스트에서의 학생의 성과를 가이드로 삼아, "단일 사진" 테스트에서의 성과를 개선하도록 돕습니다. 이는 마치 코치가 파트너와 함께 연습하는 학생을 지켜본 뒤, 혼자 연습할 때도 그 기술을 어떻게 적용할 수 있는지 팁을 주는 것과 같습니다.

결과

이 논문은 새로운 방법론을 테스트하기 위해 다섯 가지 서로 다른 "시험(벤치마크)"을 실시했습니다.

결과: IC-VCO 방식은 이전의 모든 방식보다 뛰어난 성능을 보였습니다.
비법: "정밀한 편집(사진의 아주 작은 디테일을 수정하는 것)"이 핵심이었습니다. AI에게 거의 똑같아 보이지만 단 하나의 작은 차이만 있는 "어려운" 예시들을 제공했을 때, AI가 훨씬 더 세부 사항에 집중하여 학습한다는 것이 증명되었습니다.

요약

요약하자면, 이 논문은 AI가 사진에 대해 헛소리를 하는 것을 막으려면 단순히 다른 사진들을 보여주기만 해서는 안 된다고 말합니다. 두 장의 사진을 나란히 놓고 서로 비교하게 해야 합니다. 또한, 잘못된 사진을 만들 때는 전체를 바꾸는 것이 아니라 원래 사진의 아주 작은 디테일을 수정해야 합니다. 이렇게 함으로써 AI가 추측하는 것을 멈추고 실제로 제대로 보게 만드는 것입니다.

기술 요약: 인컨텍스트 시각적 대조 최적화 (In-Context Visual Contrastive Optimization, IC-VCO)

문제 정의

멀티모달 환각(Multimodal hallucination)은 시각-언어 모델(VLM)에서 지속적인 과제로 남아 있으며, 이는 모델이 시각적 입력에 근거하여 응답하기보다 언어적 사전 지식(language priors)에 의존하는 "시각적 소홀(visual neglect)" 현상으로 특징지어집니다. 직접 선호도 최적화(Direct Preference Optimization, DPO)는 모델을 인간의 의도에 정렬시키기 위한 표준적인 사후 학습 패러다임이지만, 표준적인 텍스트 기반 DPO는 이미지를 단순히 정적인 조건으로만 취급하고 명시적인 시각적 감독(visual supervision)이 결여되어 있어 멀티모달 환각을 완화하는 데 실패합니다.

시각적 선호도를 DPO에 도입하려는 기존의 시도들(Visual Preference DPO)은 텍스트 프롬프트는 고정된 채로 원본 이미지( $m$ )와 부정적 이미지( $m'$ )를 대조하여 쌍(pair)을 구성합니다. 그러나 본 논문은 이러한 접근 방식에서 두 가지 결정적인 한계를 식별합니다:

이론적 불일치 목적 함수: 시각적 컨텍스트를 선호도 쌍 사이에서 변경함으로써, 참조 정책(reference policy)의 분할 함수(partition functions, $Z(m, x)$ 및 $Z(m', x)$ )가 상쇄되지 않습니다. 이는 목적 함수에 잔류하며 다루기 힘든 편향 항(bias term)을 남겨, 원래의 DPO 공식과 이론적으로 일치하지 않게 만듭니다.
조잡한 부정적 샘플(Coarse-Grained Negatives): 현재의 방법들은 주로 검색이나 텍스트-이미지 합성(text-to-image synthesis)을 통해 부정적 이미지를 생성합니다. 이러한 방식은 원본 입력과 뚜렷한 스타일 차이나 큰 의미적 격차를 보이는 경우가 많습니다. 이러한 조잡한 불일치는 모델이 정밀한 시각적 근거(visual grounding)를 학습하는 대신, "지름길(shortcuts)"(예: 미세한 시각적 사실이 아닌 전역적인 스타일을 기준으로 이미지를 거부하는 것)을 학습하게 만듭니다.

방법론

저자들은 이론적 불일치를 해결하고 정밀한 시각적 근거를 강제하기 위해 세 가지 핵심 구성 요소로 설계된 인컨텍스트 시각적 대조 최적화(IC-VCO) 프레임워크를 제안합니다.

1. 인컨텍스트 시각적 대조 최적화

분할 함수의 불일치를 해결하기 위해, IC-VCO는 원본 이미지( $m$ )와 대조 이미지( $m'$ )를 모두 공유된 다중 이미지 컨텍스트 $M = [m, m']$ 내에 배치하여 학습 구조를 재구성합니다.

앵커 프롬프트 확장: 컨텍스트에 여러 이미지가 포함되어 있으므로, 텍스트 프롬프트는 모델이 어떤 이미지에 근거하여 응답해야 하는지를 명시적으로 지정하는 앵커 지시어(예: "첫 번째 이미지를 바탕으로 응답하세요")와 함께 확장됩니다.
이론적 일관성: 동일한 공유 컨텍스트 $M$ 과 앵커 프롬프트 하에서 응답을 비교함으로써, 선택된 응답(chosen)과 거절된 응답(rejected)에 대해 분할 함수 $Z(M, \hat{x})$ 가 동일하게 유지됩니다. 이를 통해 분할 함수가 엄격하게 상쇄될 수 있으며, DPO 목적 함수의 수학적 타당성을 회복합니다.

2. 시각적 대조 증류 (Visual Contrast Distillation, VCDist)

학습 설정(다중 이미지 컨텍스트)과 표준 추론(단일 이미지 입력) 사이에는 간극이 존재합니다. 이 간극을 메우기 위해 저자들은 보조 정규화 도구인 VCDist를 도입합니다.

메커니즘: VCDist는 다중 이미지 컨텍스트에서 학습된 선호도 분포를 "교사(teacher)"로 사용하여 단일 이미지 정책("학생(student)")을 가이드합니다.
이중 게이팅(Dual-Gating): 신뢰성을 보장하기 위해, 이중 게이팅 메커니즘이 증류 신호를 필터링합니다:
- 정확성 게이트(Correctness Gate): 교사 신호가 신뢰할 수 있는지 확인합니다 (확률 > 0.5).
- 신뢰도 게이트(Confidence Gate): 학생의 신뢰도가 교사보다 낮을 때만 증류를 활성화하여 역방향 페널티를 방지합니다.
목표: 이는 단일 이미지 정책이 대조 학습 신호와 호환되도록 유도하여, 학습-추론 간의 컨텍스트 격차를 줄이는 것을 목표로 합니다.

3. 대조 샘플 편집 (Contrastive Sample Editing)

조잡한 부정적 샘플로 인한 지름길 학습을 방지하기 위해, 본 논문은 대조 샘플 편집 전략을 도입합니다.

정밀한 개입: 전역적인 합성이나 검색 대신, 이 방법은 원본 이미지에 정밀하고 국소적인 수정을 수행합니다.
프로세스: 전문가 VLM이 특정 속성, 존재 여부 또는 관계에 대해 환각된 세부 사항을 실현하거나(거짓 주장을 참으로 만듦), 모순을 주입하는(참인 주장을 거짓으로 만듦) 편집 지시어를 생성합니다.
보존: 편집 파이프라인(Qwen-Image-Edit 사용)은 원본의 종횡비, 조명, 배경 컨텍스트를 보존하여, 원본과 편집된 이미지 사이의 유일한 차이점이 겨우 목표로 하는 의미적 개념뿐이도록 보장합니다. 이를 통해 모델이 전역적인 스타일 변화가 아닌 정밀한 시각적 불일치를 학습하도록 강제합니다.

주요 기여

이론적으로 엄격한 목적 함수: IC-VCO는 공유 컨텍스트 내에서 시각적 선호도 최적화를 공식화한 최초의 프레임워크로, 분할 함수를 상쇄시켜 기존의 멀티모달 DPO 방식에 내재된 이론적 편향을 제거합니다.
VCDist 정규화 도구: 시각적 대조 증류의 도입은 다중 이미지 대조 신호를 사용하여 단일 이미지 추론 정책을 효과적으로 교정함으로써, 학습-추론 간의 분포 변화 문제를 해결합니다.
정밀한 하드 네거티브(Hard Negatives): 제안된 대조 샘플 편집 파이프라인은 원본 데이터와 엄격한 스타일 일관성을 유지하는 고품질의 하드 네거티브를 생성하여, 모델이 조잡한 지름길을 이용하는 대신 정밀한 시각적 근거를 학습하도록 유도합니다.
실증적 검증: 이 방법은 두 가지 서로 다른 백본 모델(LLaVA-NeXT-Interleave 및 LLaVA-OneVision)에 대해 다섯 가지 다양한 벤치마크(HallusionBench, AMBER, CRPE, R-Bench, BLINK)에서 최첨단(SOTA) 성능을 달者합니다.

결과

실험 결과, IC-VCO는 합성(synthetic) 및 편집된(edited) 샘플 설정 모두에서 기존 베이스라인(mDPO, V-DPO, S-VCO, SymMPO 포함)보다 우수한 성능을 보였습니다.

성능 향상: LLaVA-NeXT-Interelle 모델에서 IC-VCO는 가장 강력한 베이스라인 대비 전체 점수를 합성 설정에서 1.19점, 편집 설정에서 1.24점 높였습니다. LLaVA-OneVision에서는 각각 0.26점 및 0.48점의 향상을 보였습니다.
일반화: 합성 샘플을 제안된 편집 샘플로 교체했을 때 모든 베이스라인 방법에서 성능이 향상되었으며, 이는 정밀한 하드 네거티브의 효용성을 입증합니다.
절제 연구(Ablation Studies): 단일 이미지 브랜치, VCDist 또는 토큰 마스크를 제거하면 성능이 크게 저하되어 각 구성 요소의 필요성을 확인했습니다. 또한 연구는 다중 이미지 브랜치가 단일 이미지 브랜치보다 더 강력한 선호도 신호를 제공함을 검증하여 증류 접근 방식의 타당성을 입증했습니다.

의의 및 주장

본 논문은 IC-VCO가 시각적 선호도 정렬을 위한 수학적으로 엄격한 기초를 제공하며, 기존의 멀티모달 DPO 방식들을 괴롭혀온 이론적 불일치를 해결한다고 주장합니다. 이론적으로 일관된 목적 함수와 정밀한 하드 네거티브 생성을 결합함으로써, 이 방법은 조잡한 지름길에 의존하지 않고 멀티모달 환각을 효과적으로 완화합니다.

저자들은 이 작업을 VLM의 사후 학습 선호도 정렬을 위한 특화된 솔루션으로 규정합니다. 이 방법은 디코딩 시 개입(decoding-time interventions)이나 인간 피드백과 같은 다른 안전 메커니즘을 대체하는 것이 아니라 보완하는 것이며, 특히 고위험 오픈 월드 시나리오에서의 모든 멀티모달 환각에 대한 완전한 해결책은 아님을 명시합니다. 주요 기여는 모델이 정밀한 시각적 증거를 구별하도록 강제하는 더 신뢰할 수 있는 최적화 프레임워크를 구축한 것입니다.