기술 요약: 멀티모달 거대 언어 모델에서의 이중 지표 가이드 대조 정렬 (DICA)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 증거에서 벗어난 응답을 생성하는 환각(Hallucination) 현상을 빈번하게 겪는다. 인간의 시각적 추론은 일반적으로 전역적인 장면 이해에서 시작하여 점진적으로 질문과 관련된 영역에 집중하는 "거친 단계에서 미세한 단계로(coarse-to-fine)"의 패러다임을 따르는 반면, MLLM은 추론 과정에서 다음과 같은 두 가지 구체적인 실패 모드를 보이는 경우가 많다:

1. 주의력 표류 (Attention Drift): 모델의 시각적 주의력이 예상치 못하게 분산되거나 질문과 의미론적으로 무관한 영역으로 이동하여, 전역에서 국소로 이어지는 집중력을 깨뜨리는 현상.
2. 시각적 증거 활용 미흡 (Underuse of Visual Evidence): 네트워크가 깊어짐에 따라 시각적 단서에 대한 의존도가 저하되어, 생성이 이미지 내용보다는 내부적인 언어적 사전 지식(Language Priors)에 의해 주도되는 현상.

기존의 완화 전략들은 학습 기반이든 학습이 필요 없는 방식이든 관계없이, 환각을 단일한 현상으로 취급한다. 이러한 방식들은 구체적인 근본 원인(표류 vs. 활용 미흡)을 진단하고, 실제 실패 모드와 일치하는 교정 전략을 적용하는 메커니즘이 부족하여, 최적의 성능을 내지 못하거나 올바른 예측을 저하시키는 결과를 초래할 수 있다.

방법론: DICA

저자들은 두 가지 정보 이론적 지표를 사용하여 이러한 별개의 실패 모드를 명시적으로 진단하고 해결하는 학습이 필요 없는 추론 타임 프레임워크인 **이중 지표 가이드 대조 정렬(Dual-Indicator Guided Contrastive Alignment, DICA)**을 제안한다.

1. 진단 지표

DICA는 디코딩 과정 중에 두 가지 메트릭을 추적한다:

• 시각적 주의력 엔트로피 (Visual Attention Entropy, VAE): 이미지 토큰에 대한 시각적 주의력의 집중도를 측정한다. 높은 엔트로피는 주의력이 분산됨(잠재적 표류)을 나타내고, 낮은 엔트로피는 주의력이 집중됨을 나타낸다.
• 출력-이미지 상관관계 (Output-Image Correlation, OIC): 텍스트 전용 사전 지식과 비교했을 때, 생성된 출력 분포가 시각적 입력에 의존하는 정도를 정량화한다. OIC의 하락은 모델이 시각적 증거를 무시하고 언어적 사전 지식에 의존하고 있음을 나타낸다.

2. 이중 구성 요소 교정 메커니즘

DICA는 이러한 지표들을 실시간으로 모니터링한다. 지표가 사전 정의된 임계값을 초과하면, 표적화된 대조 정렬이 트리거된다:

• VAE 가이드 드리프트 교정 (VAE-Guided Drift Correction, VAE-GDC):

  • 트리거: VAE의 급격한 증가 (주의력 표류를 나타냄).
  • 메커니즘: 모델은 "정상(Normal)" 경로(표준 추론)의 은닉 상태와 "기술(Descriptive)" 경로(모델에게 이미지를 일반적으로 설명하도록 유도하는 경로)의 은타 상태를 비교한다. 기술 경로는 본질적으로 더 균일한 주의력 분포를 유지한다. DICA는 기술 경로를 사용하여 노이즈가 많고 엔트로피가 높은 정상 경로의 상태를 보정하기 위해 은닉 상태에 대한 대조 디코딩을 수행하며, 이를 통해 관련 영역에 대한 집중력을 복구한다.

• OIC 가이드 그라운딩 복원 (OIC-Guided Grounding Restoration, OIC-GGR):

  • 트리거: OIC의 유의미한 감소 (시각적 증거 활용 미흡을 나타냄).
  • 메커니즘: 시스템은 시각적 주의력 분포가 최종 레이어와 가장 크게 괴리되는 중간 레이어 $l^*$를 식별한다. 그 후, 최종 레이어의 예측과 선택된 중간 레이어의 예측 사이에서 대조 디코딩을 수행한다. 이는 출력이 더 초기 단계의, 즉 시각적 증거에 더 잘 고착된(grounded) 레이어들이 포착한 상태로 다시 정렬되도록 강제한다.

주요 기여

1. 병목 구간의 경험적 식별: 본 연구는 MLLM의 두 가지 뚜렷한 환각 원인인 주의력 표류와 시각적 증거 활용 미흡을 체계적으로 밝혀냈으며, 이것이 VAE 및 OIC 궤적의 특정 이상 현상과 일치함을 입증하였다.
2. 표적화된 추론 타임 개입: DICA는 모델 재학습이나 구조적 변경 없이 추론 시점에 분포 교정을 수행하는 방법을 도입한다. 이는 실패 모드를 구분하여 특정적이고 적응적인 교정을 적용한다는 점에서 독특하다.
3. 포괄적 평가: POPE, MME, CHAIR 등 다양한 벤치마크와 LLaVA-1.5, Qwen-VL과 같은 다양한 모델 백본에 걸친 광범-한 실험을 통해, DICA가 기존 베이스라인보다 일관되게 우수한 성능을 보이며 환각을 유의미하게 줄이는 동시에 높은 추론 정확도를 유지함을 입이 증명하였다.

실험 결과

• POPE 벤치마크: DICA는 Random, Popular, Adversarial 샘플링 설정 모두에서 최첨단(SOTA) 성능을 달아냈다. LLaVA-1.5(AOKVQA/Popular) 기준으로 F1 스코어 85.99를 기록하며 모든 베이스라인을 앞질렀다.
• CHAIR 벤치마크: DICA는 이미지 캡셔닝에서 객체 환각을 실질적으로 감소시켰다. LLaV-1.5에서 문장 수준 CHAIR 점수를 41.8로, 인스턴스 수준 점수를 11.5로 낮추면서도 높은 재현율(Recall)을 유지했다.
• MME 벤치마크: DICA는 LLaVA-1.5(661.5)와 Qwen-VL(648.3) 모두에서 가장 높은 총점을 기록하며, 특히 객체 카운팅 및 위치 파악 작업에서 강점을 보였다.
• 절제 연구 (Ablation Studies): VAE-GDC 또는 OIC-GGR 구성 요소 중 하나라도 제거하면 눈에 띄는 성능 저하가 발생하여, 두 모듈이 모두 필수적임을 확인하였다. 연구에 따르면 주의력 표류(VAE-GDC가 다루는 문제)가 증거 활용 미흡보다 더 빈번하게 발생하므로, 드리프트 교정이 기초적인 구성 요소가 된다.
• 효율성: DICA는 병렬 스트림으로 인해 그리디 디코딩 대비 약 2.5배의 추론 비용이라는 중간 정도의 계산 오버헤드를 발생시키지만, 지도 미세 조정(SFT)이나 RLHF 방식과 관련된 높은 데이터 준비 및 학습 비용을 제거한다.

의의 및 주장

본 논문은 **지표 기반 개입(indicator-driven intervention)**이 멀티모달 추론의 신뢰성을 향상시키는 데 효과적임을 입증한다. DICA는 환각이 주의력 표류에서 비롯된 것인지 아니면 시각적 그라운딩의 부족에서 비롯된 것인지를 명시적으로 진단함으로써, 기존 연구들의 "일률적인(one-size-fits-all)" 교정 전략을 피한다. 저자들은 이 접근 방식이 모델의 생성 유창성을 해치거나 구조적 변경을 요구하지 않으면서도, 시각적 증거에 대한 모델의 의존도를 효과적으로 강화하여 환각을 완화한다고 주장한다.

본 연구는 한계점에 대해 겸허하게 서술하고 있다. 즉, 표준 디코딩에 비해 지연 시간(latency)을 유발하고, 서로 다른 아키텍처에 대해 튜닝이 필요할 수 있는 고정된 임계값에 의존하며, 기본 비전 인코더나 언어 모델의 내재적인 지각적 사각지대를 보완할 수는 없다는 점을 명시하고 있다.