기술 요약: 불확실성 인지적 서브스페이스 정정을 통한 매니폴드 이탈 완화

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각적 입력과 일치하지 않는, 유창하고 그럴듯하지만 실제로는 틀린 내용을 생성하는 객체 환각(object hallucination) 현상을 빈번하게 겪습니다. 이 현상은 주로 사전 학습 과정에서 학습된 **언어적 사전 지식(language priors)**에 과도하게 의존하기 때문에 발생하며, 이로 인해 약하거나 모호한 시각적 증거가 무시될 수 있습니다.

최근의 **학습 불필요 디코딩 전략(training-free decoding strategies)**들은 언어적 사전 지식을 억제(예: 대조적 디코딩을 통해)함으로써 이를 완화하려고 시도하지만, 저자들은 이러한 접근 방식의 결정적인 결함을 식별했습니다. 즉, 기존 방식들은 언어적 사전 지식을 일률적으로 해로운 것으로 취급한다는 점입니다. 실제로 사전 지식은 다음과 같은 이중적 역할을 수행합니다:

• 해로운 역할: 시각적 증거와 언어적 증거가 충돌할 때 환각을 유발함 (예: 이미지는 파란색 바나나를 보여주는데 "노란 바나나"라고 예측하는 경우).
• 도움이 되는 역할: 시각적 증거와 일치할 때 생성을 안정화하고 선명하게 만듦 (예: 이미지가 실제로 노란 바나나일 때 "노란색"이라는 예측을 강화하는 경우).

사전 지식을 무차별적으로 억제하면 모델의 내부 **의미론적 매니폴드(semantic manifold)**를 교란하여, 은닉 상태(hidden states)를 저밀도 영역으로 밀어내고 유효한 사례에서도 성능을 저하시킵니다. 저자들은 이러한 실패 모드를 **매니폴드 이탈(Manifold Departure)**이라고 명명했습니다.

2. 방법론: 매니폴드 가이드 적응형 투영 (MGAP)

매니폴드 이탈 문제를 해결하기 위해, 본 논문은 기하학적 구조를 고려한 학습 불필요 디코딩 프레임워크인 MGAP를 제안합니다. 전역적인 선형 억제 방식과 달리, MGAP는 모델의 직교하는 의미 구조를 보존하면서 **서브스페이스 선택적 업데이트(subspace-selective updates)**를 수행합니다.

2.1. 오프라인: 레이블이 없는 언어적 사전 지식 서브스페이스 구축

MGAP는 레이블이나 이미지 내용 없이도 언어적 사전 지식의 저차원 표현을 먼저 구축합니다:

1. 데이터 수집: 모델이 "블라인드" 입력(예: null 또는 변형된 이미지)을 사용하여 텍스트 쿼리를 처리함으로써 최종 레이어의 은닉 상태 $\{h_{blind}^{(i)}\}$를 추출합니다.
2. 서브스페이스 추정: 추출된 블라인드 상태들의 중심화된 행렬(centered matrix)을 형성하고, **특이값 분해(SVD)**를 적용합니다. 상위 $K$개의 우특이 벡터($V_{prior}$)는 언어적 규칙성에 의해 유도되는 지배적인 변동을 포착하는 언어적 사전 지식 서브스페이스를 정의합니다.

2.2. 온라인: 일관성 인지 적응형 투영

표준 멀티모달 디코딩 중에 MGAP는 각 단계 $t$에서 필요한 경우에만 선택적으로 사전 지식을 감쇄하도록 개입합니다:

1. 투영(Projection): 현재 은닉 상태 $h_{orig}$를 사전 서브스페이스로 투영합니다: $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$.
2. 일관성 검사 (보호): 코사인 유사도를 통해 원래의 상태와 사전 투영 사이의 정렬 정도를 측정합니다. 불일치 점수 $\delta = 1 - \cos(h_{orig}, h_{proj})$를 계산합니다. $\delta$가 작으면 상태가 사전 지식과 일치함을 의미하며(억제 불필요), 이 경우 보호됩니다.
3. 불확실성 게이팅 (Uncertainty Gating): 토큰 분포의 섀넌 엔트로피($H$)를 사용하여 예측 불확실성을 추정합니다. 게이팅 인자 $\gamma = \tanh(\lambda H)$를 도출하여, 모델이 불확실할 때만 개입을 증폭합니다.
4. 적응형 교정 (Adaptive Correction): 교정된 은닉 상태는 다음과 같이 계산됩니다:
   $$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$$
   이 공식은 교정이 **유계(bounded)**되고 선택적임을 보장합니다. 만약 시각적 증거가 사전 지식과 일치하거나(낮은 $\delta$) 모델이 확신할 경우(낮은 $H$), 이 연산은 항등 사상(identity mapping)에 근사하여 의미론적 매니폴드를 보존합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 매니폴드 이탈의 식별: 저자들은 "매니폴드 이탈"을, 균일한 선형 억제가 은닉 상태를 고밀도 의미론적 매니폴드로부터 멀어지게 하여 기존 방식들이 왜 올바른 경우에도 성능을 저하시키는지 설명하는 기하학적 실패 모드로 공식 정의하고 분석했습니다.
2. MGAP 제안: 언어적 사전 지식 서브스페이스를 학습하고 불확실성 인지적, 서브스페이스 선택적 투영을 적용하는 새로운 디코딩 프레임워크인 MGAP를 제안합니다. 이를 통해 직교하는 의미 성분을 방해하지 않고 환각을 억제할 수 있습니다.
3. 이론적 및 경험적 검증: MGAP의 업데이트가 유계되고 서브스페이스 선택적임을 보여주는 이론적 증명을 제공합니다. 광범한 실험을 통해 MGAP가 기존 베이스라인들에 비해 환각 완화와 묘사 충실도(descriptive fidelity) 사이에서 우수한 트레이드오프를 달enc함을 입증했습니다.

4. 실험 결과

저자들은 두 가지 대표적인 백본(LLaVA v1.5-7B 및 Qwen3-VL-8B)에 대해 여러 벤치마크에서 MGAP를 평가했습니다:

• POPE (객체 환각): MGAP는 Random, Popular, Adversarial 분할 전반에 걸쳐 일반 디코딩 및 다른 학습 불필요 베이스라인들(VCD, ICD, HalTrapper, DeCo, MoD)보다 일관되게 우수한 성능을 보였습니다. 특히, VCD와 같은 방법들이 표준 분할에서 성능이 저하된 반면, MGAP는 높은 정확도를 유지하면서 정밀도(Precision)와 F1 점수를 향상시켰습니다.
• CHAIR (이미지 캡셔닝): MGAP는 모든 베이스라인에 비해 환각율(낮은 CHAIRs 및 CHAIRi 점수)을 유의미하게 낮추는 동시에 정밀도를 개선했습니다. 이는 지나치게 보수적인 생성 없이도 환각 완화가 이루어졌음을 나타냅니다.
• AMBER 벤치마크: MGAP는 이 다양한 벤치마크에도 잘 일반화되었으며, 학습된 사전 지식 서브스페이스가 특정 평가 프로토콜을 넘어 환각의 전이 가능한 구조적 특성을 포착함을 보여주었습니다.
• 효율성: 여러 번의 순방향 패스(forward pass)가 필요한 대조적 디코딩 방법(예: VCD, ICD)과 달리, MGAP는 단일 순방향 패스 내에서 작동합니다. MGAP는 완전한 학습 불필요 방식을 유지하면서도 대조적 베이스라인들에 비해 추론 지연 시간을 약 50% 단축했습니다.

5. 의의 및 주장

본 논문은 언어적 사전 지식의 무차별적인 억제가 현재의 학습 불필요 디코딩 전략의 근본적인 한계라고 주장합니다. 문제를 **표현 기하학(representation geometry)**의 관점에서 재구성함으로써, 저자들은 매니폴드 이탈이 기존 방식들의 성능 저하를 일으키는 근본 원인임을 입증했습니다.

MGAP의 의의는 그 선택적 개입 메커니즘에 있습니다. 사전 지식을 저차원 서브스페이스로 모델링하고 적응형 불확실성 게이팅을 적용함으로써, MGAP는 전역적인 선형 이동이라는 "무딘 도구(blunt instrument)" 방식의 한계를 피합니다. 저자들은 이 접근 방식이 MLLM이 사전 지식이 올바를 때는 그 안정화 효과를 유지하면서도, 시각적 증거와 충돌할 때만 효과적으로 억제할 수 있게 하여 더욱 견고하고 신뢰할 수 있는 디코딩 프로세스를 달성한다고 주장합니다.

결론적으로, 환각 사전 지식은 단순히 특정 벤치마크의 부산물이 아니라 표현 공간 내에서 전이 가능한 구조적 특성을 지니고 있으며, 이는 선택적인 사전 지식 교정이 대규모 시각-언어 모델을 개선하기 위한 일반화 가능한 메커니즘임을 시사합니다.