기술 요약: CD에 대한 재고: MLLM의 객체 환각 완화에 있어 대조적 디코딩(Contrastive Decoding)의 비효효율성에 관한 재현 연구 및 확장

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 입력에 존재하지 않는 객체, 속성 또는 관계를 포함하는 유창하고 일관된 출력을 생성하는 객체 환각(object hallucinations) 문제를 겪고 있습니다. 이러한 실패 모드는 약한 시각적 접지(visual grounding)를 반영하며, 자율 주행 및 의료와 같은 고위험 도메인에서 심각한 위험을 초사합니다.

**대조적 디코딩(Contrastive Decoding, CD)**은 이러한 환각을 완화하기 위한 훈련 불필요(training-free) 추론 전략으로 제안되었습니다. 핵심 아이디어는 "전문가(expert)" 모델(원본 입력에 조건화된 모델)의 출력 분포를 "아마추어(amateur)" 모델(노이즈가 섞인 이미지나 변경된 지시어와 같은 섭동된 입력에 조건화된 모델)의 출력 분포와 대조하는 것입니다. 아마추어 모델이 선호하는 토큰은 페널티를 부여하며, 이는 이론적으로 환각을 억제합니다. VCD, ICD, SID와 같은 CD 변형 모델들은 POPE와 같은 벤치마크에서 성능 향상을 보고했으나, 최근 Yin et al. (2026)의 연구는 이러한 이득이 진정한 시각적 접지 능력의 개선을 반영하는지, 아니면 단순히 디코딩 제약의 결과물인지에 대해 의문을 제기했습니다.

2. 방법론

본 연구는 Yin et al. (2026)의 분석을 엄격하게 재현 및 확장합니다. 저자들은 새로운 모델들(LLaVA-v1.5-7B/13B 및 Qwen2.5-VL-7B)을 변별적(POPE, MME) 및 생성적(CHAIR, NoCaps, LLaVA-Bench) 벤치마크 전반에 걸쳐 평가합니다.

방법론은 두 가지 주요 주장과 여러 가지 새로운 조사 실험을 중심으로 구성됩니다.

A. 핵심 주장 재현

1. 단방향 편향(Unidirectional Bias): 본 연구는 CD의 이득이 객체 인식의 개선에서 오는 것이 아니라, 출력 분포가 "Yes" 답변 쪽으로 발생하는 단방향 이동에서 기인하는지를 테스트합니다.
2. 적응형 타당성 제약(Adaptive Plausibility Constraint, APC): 본 연구는 전문가 분포 하에서 발생할 가능성이 높은 토큰으로 생성을 제한하는 CD의 구성 요소인 APC가, 샘플링 기반의 CD를 그리디 탐색(greedy search)의 근사치로 퇴화시키는지 검증합니다.

B. 확장된 조사 실험

CD의 성격을 분해하기 위해 저자들은 다음과 같은 몇 가지 새로운 분석을 도입합니다.

• 플립 분석(Flip Analysis): "No $\rightarrow$ Yes" 플립을 진양성(True Positives, 실제 교정)과 위양성(False Positives, 주입된 환각)으로 분해하여 플립 정밀도(precision)와 TP 재현율(recall)을 계산합니다.
• 레이블 불균형 스트레스 테스트(Label Imbalance Stress-Testing): 레이블 비율이 치우친(Yes/No 25/75 및 75/25) POPE 서브셋에서 CD를 평가하여, 메트릭(Balanced Accuracy)이 임계값 변화에 면역이 될 때도 이득이 유지되는지 결정합니다.
• 자카드 유사도 분석(Jaccard Similarity Analysis): 다양한 APC 임계값($\beta$)에 따른 APC 증강 샘플링과 그리디 디코딩 간의 어휘적 중첩을 측정하여 그리디 동작으로의 변화를 정량화합니다.
• 토큰별 로짓 분석(Per-Token Logit Analysis): 대조적 조정 $d = E - A$ (Expert 마이너스 Amateur 로짓)를 분석하여, 이 메커니즘이 환각 토큰을 선택적으로 억제하는지 또는 증폭하는지 결정합니다합니다.
• 가우시안 노이즈 프록시(Gaussian Noise Proxy): 아마추어 브랜치를 가우시안 노이즈로 대체하여, CD의 효과를 위해 아마추어 모델의 특정 구조가 필요한지 테스트합니다.
• 계층별 로짓-렌즈 분석(Layer-wise Logit-Lens Analysis): 트랜스포머 레이어에 선형 프로브를 사용하여, CD의 변화가 선택적인지(환각을 타겟팅하는지) 아니면 결정 마진의 균일한 이동(uniform translation)인지 결정합니다.

3. 주요 결과

주장 재현

• 단방향 편향 확인(미세한 차이 존재): VCD와 SID의 경우, 특히 적대적 서브셋에서 "Yes" 출력으로의 단방향 이동이 발생함을 확인했습니다. 그러나 ICD는 반대로 "No" 쪽으로 이동하면서 정확도는 중립을 유지하는 양상을 보였습니다. 이는 이동의 방향이 CD 패러다임 자체가 아니라 섭동 모달리티에 달려 있음을 시사합니다.
• APC가 그리디로 퇴화함: 본 연구는 APC가 샘플링을 그리디 형태의 디코딩으로 붕괴시킨다는 점을 확인했습니다. 임계값 $\beta$가 증가함에 따라 APC 증강 출력과 그리디 탐색 간의 자카드 유사도는 크게 상승하는 반면, 직접 샘플링과의 유사도는 평탄하게 유지됩니다. VCD에서 사용되는 기본값 $\beta=0.1$에서 이미 출력은 그리디 편향에 의해 지배됩니다.

확장된 발견

• 가짜 이득(Spurious Gains) vs. 실제 교정:
  • 플립 정밀도(Flip Precision): 비시각적 제어 방식(프롬프트 기반 조정 및 출력 레이어 수정)이 VCD 및 SID와 대등하거나 더 우수한 플립 정밀도를 달이트합니다.
  • TP 재현율(TP Recall): 비시각적 제어 방식이 CD 방식보다 더 높은 비율의 위음성(false-negative) 오류를 교정합니다.
  • 환각 주입(Hallucination Injection): CD 방식은 비시각적 제어 방식과 유사한 비율로 새로운 환각을 주입합니다.
• 레이블 불균형 민감도: 치우친 데이터셋(25/75 또는 75/25)에서 평가했을 때, CD 방식은 Balanced Accuracy를 개선하지 못합니다. 실제로 표준 POPE 대비 성능이 저하되는 경우가 많으며, 이는 CD의 이득이 시각적 접지를 개선하기보다는 데이터셋의 클래스 균형에 맞춰 결정 임계값을 이동시키는 데서 기인함을 나타냅니다.
• 메커니즘적 무효성:
  • 로짓 분석: 대조적 조정 $d$는 환각 토큰을 선택적으로 억제하지 않습니다. LLaVA에서는 실제 토큰과 환각 토큰을 모두 증폭하며, Qwen에서는 환각보다 실제 객체를 더 많이 억제합니다.
  • 프록시 검증: 가우시안 노이즈 프록시(아마추어 브랜치를 완전히 제거함)를 사용했을 때 CHAIR에서의 성능이 실제 CD 방식과 통계적으로 구별할 수 없을 정도로 유사했습니다. 이는 아마추어 브랜치가 고유한 이점을 제공하지 않음을 시사합니다.
  • 계층별 선택성: 객체의 존재 여부는 중간 레이어(Layer 8)에서 선형적으로 디코딩 가능하지만, CD의 변화는 모든 깊이에서 비선택적입니다. CD는 대다수의 환각에 대해 거짓 "Yes"를 강화합니다. 결정 마진에 단일 스칼라 바이어스를 추가하는 것만으로도 CD의 POPE 이득 전체를 재현할 수 있으며, 이는 효과가 메커니즘적 교정이 아닌 임계값 이동임을 확인시켜 줍니다.

4. 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

1. 재현: 새로운 모델 제품군(LLaVA-v1.5, Qwen2.5-VL)과 다양한 데이터셋에 대해 Yin et al. (2026)의 핵심 주장을 검증했습니다.
2. 이득의 분해: CD가 보고한 개선이 진정한 환각 완화가 아니라 출력 분포의 이동에서 비롯된 가짜 현상이라는 구체적인 증거(플립 정밀도, TP 재현율, 균형 잡힌 정확도)를 제공합니다.
3. 메커니즘적 해부: 로짓 수준 및 레이어 수준의 분석을 통해, CD가 환각을 선택적으로 억제하지 못하고 대신 결정 경계에 균일한 이동을 적용한다는 점을 입증했습니다.
4. 새로운 베이스라인: 가우시안 노이즈 프록시를 도입하고 검증하였으며, 극단적인 레이블 불균형 하에서 CD를 스트레스 테스트함으로써 추론 시점 개입을 감사하기 위한 새로운 도구를 제공했습니다.

5. 의의 및 주장

본 논문은 현재의 대조적 디코딩 전략을 효과적인 환각 완화 수단으로 신뢰해서는 안 된다고 결론짓습니다.

• 성능의 "신기루": POPE와 같은 벤치마크에서의 겉보기 이득은 모델의 출력 분포가 데이터셋의 클래스 균형에 더 잘 맞도록 이동하거나, APC가 샘플링을 그리디 탐색으로 붕괴시킴으로써 발생하는 "가짜" 이득임이 밝혀졌습니다.
• 시각적 접지 부족: 본 연구는 CD가 존재하는 객체와 존재하지 않는 객체를 구별하는 모델의 능력을 개선하지 못함을 보여줍니다. 일부 경우(예: Qwen)에는 환각을 남겨두는 대신 실제 객체를 오히려 페널티를 줍니다.
• 엄격함에 대한 촉구: 저자들은 분야가 단순히 벤치마크 점수가 아닌, 선택성(환각을 구체적으로 타겟팅하는가?)과 메커니즘적 타당성(근본적인 생성 과정을 교정하는가?)을 기준으로 감사받아야 한다고 주장합니다.

이 연구는 현재의 "훈련 불필요(training-free)" 해결책들이 접지 문제를 해결하기보다는 단순히 결정 경계를 튜닝하는 것에 불과할 수 있음을 강조하며, 커뮤니티가 더 신뢰할 수 있는 환각 완화 접근법을 개발하도록 도전 과제를 던집니다.