Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination

1. 문제 정의 (Problem Statement)

대규모 시각-언어 모델(LVLM)은 뛰어난 성능을 보이지만, 생성된 텍스트가 실제 이미지 내용과 일치하지 않는 '환각(Hallucination)' 현상을 겪습니다. 이 문제의 주요 원인은 두 가지입니다.

• 강한 언어적 사전 지식(Language Priors): 모델이 시각 정보보다 학습된 언어 패턴에 과도하게 의존함.
• 어텐션 불일치(Attention Misalignment): 모델이 이미지의 관련 없는 토큰이나 시스템 토큰에 과도하게 주의(Attention)를 기울임.

기존의 완화 방법들은 재학습(Fine-tuning)을 요구하여 비용이 많이 들거나, 추론 시 여러 단계의 디코딩을 거쳐 지연 시간(Latency)이 발생하는 한계가 있었습니다.

2. 제안 방법론 (Methodology: Scalpel)

본 논문은 모델의 가중치를 수정하지 않고, 추론 과정에서 어텐션 활성화 값(Attention Activation)을 직접 교정하는 Scalpel이라는 방법론을 제안합니다.

A. 어텐션 매니폴드 모델링 (Modeling Manifolds)

• GMM(Gaussian Mixture Model) 활용: 신뢰할 수 있는 활성화 영역(Trusted Manifold)과 환각이 발생하는 활성화 영역(Hallucinated Manifold)을 각각 GMM을 사용하여 확률 분포로 모델링합니다.
• 계층적 접근: 이미지 전체 수준(Image-level)과 특정 객체 수준(Object-level)의 활성화 분포를 모두 고려하여 정밀도를 높입니다.

B. 슈뢰딩거 브리지(Schrödinger Bridge)를 통한 최적 매핑

• EOT(Entropic Optimal Transport): 환각 상태의 분포를 신뢰할 수 있는 분포로 이동시키기 위해 '엔트로피 최적 운송' 문제를 해결합니다.
• Schrödinger Bridge Problem (SBP): 환각 분포에서 신뢰 분포로 가는 최단/최소 에너지 경로를 찾습니다. 이를 통해 모델의 기존 지식(데이터 매니폴드)을 최대한 보존하면서, 환각을 일으키는 활성화 벡터만을 최소한의 변화로 '신뢰할 수 있는 방향'으로 밀어줍니다(Steering).

C. 동적 개입 (Dynamic Intervention)

• Head 선별: 로지스틱 회귀 프로브(Logistic Regression Probes)를 사용하여 환각을 가장 잘 식별할 수 있는 핵심 어텐션 헤드(Top-k heads)를 찾아냅니다.
• 토큰별 맞춤 교정: 현재 생성 중인 토큰의 활성화 값이 환각 GMM의 어떤 성분에 속하는지 확률을 계산하고, 그에 맞는 최적의 교정 벡터($v_{r^*}$)와 동적 강도($\alpha_{dynamic}$)를 적용하여 어텐션 값을 조정합니다.

3. 주요 기여 (Key Contributions)

1. Training-free & Plug-and-play: 추가적인 모델 학습이나 데이터 레이블링 없이, 추론 단계에서 즉시 적용 가능한 가볍고 효율적인 방법론을 제시했습니다.
2. Fine-grained Alignment: 단순히 고정된 방향으로 값을 더하는 기존 방식(ICT 등)과 달리, 토큰과 헤드별로 최적화된 '맞춤형 교정 경로'를 제공합니다.
3. Mathematical Rigor: GMM과 슈뢰딩거 브리지 이론을 결합하여, 모델의 원래 성능을 해치지 않으면서 환각을 억제하는 수학적 최적 경로를 도출했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: POPE(객체 존재 여부 확인) 및 MME(다중 모달 평가) 벤치마크에서 LLaVA-1.5 및 Qwen2.5-VL 모델을 대상으로 실험한 결과, 기존 SOTA(State-of-the-art) 방법론인 ICT, VCD, OPERA 등을 모두 압도했습니다.
• 강건성(Robustness): 특히 난이도가 높은 Adversarial(적대적) 데이터셋에서 성능 향상 폭이 매우 커서, 모델의 편향을 효과적으로 제거함을 증명했습니다.
• 모듈 시너지: 이미지 수준과 객체 수준의 개입을 결합했을 때 성능이 극대화되는 '상호 보완적 효과'를 확인했습니다.

5. 의의 (Significance)

Scalpel은 LVLM의 내부 메커니즘(어텐션 활성화 공간)을 깊이 있게 분석하여 환각의 근본 원인을 해결하려 시도했습니다. 특히 **"모델은 정답을 알고 있지만 표현 방식(활성화 경로)이 틀렸다"**는 가설을 수학적으로 증명하고 해결함으로써, 향후 고신뢰성이 요구되는 의료, 자율주행 등 핵심 분야에서 LVLM을 활용할 수 있는 기술적 토대를 마련했습니다.