Latent Denoising Improves Visual Alignment in Large Multimodal Models

1. 문제 정의 (Problem Statement)

대규모 멀티모달 모델 (LMMs, 예: LLaVA) 은 일반적으로 자동회귀 언어 모델링 (Autoregressive Language Modeling) 목적 함수로 훈련됩니다. 이 방식은 시각적 토큰에 대해 **간접적인 감독 (indirect supervision)**만 제공한다는 치명적인 한계가 있습니다.

• 약한 시각적 표현: 텍스트 생성 목표만 최적화되므로, 모델 내부의 시각적 특징 (Visual Features) 이 충분히 정렬되지 않거나 약하게 학습됩니다.
• 취약한 행동: 분포 변화 (Distribution Shift) 나 교차 모달 충돌 (Cross-modal conflict) 상황에서 모델은 시각적 증거보다 텍스트 힌트에 과도하게 의존하거나, 객체 환각 (Object Hallucination) 을 일으키기 쉽습니다.
• 기존 방법의 한계: 기존 연구들은 시각적 백본 강화, 특징 정렬, 또는 재구성 (Reconstruction) 기반 감독을 시도했으나, 이들이 종종 특수한 교사 모델 (Teacher) 이나 보조 생성기를 필요로 하거나, 효율적이고 통합된 메커니즘이 부족했습니다.

2. 제안 방법 (Methodology)

저자들은 잠재적 노이즈 제거 (Latent Denoising) 원리를 LMM 의 훈련 과정에 도입하여, 시각적 토큰의 품질을 직접적으로 향상시키는 프레임워크를 제안합니다. 이 방법은 추론 (Inference) 시에는 추가적인 오버헤드가 전혀 발생하지 않습니다.

핵심 구성 요소

1. 지각도 기반 잠재적 손상 (Saliency-aware Latent Corruption):

   • 시각 인코더를 통해 추출된 프로젝션된 시각 토큰 ($Z$) 을 손상시킵니다.
   • 가우시안 노이즈 (Gaussian Noising): 시각적으로 중요한 (높은 지각도) 패치에는 부드러운 노이즈를 추가합니다.
   • 마스크 (Masking): 시각적으로 덜 중요한 패치에는 완전히 정보를 제거하는 마스크를 적용합니다.
   • 이 방식은 모델이 중요한 정보를 복원해야 하는 과제를 만들면서도, 모델이 미래 토큰에 의존하지 않도록 (Causal Attention 구조 유지) 설계되었습니다.

2. 교사 특징 복원 (Teacher Feature Recovery):

   • 손상된 토큰을 LLM 을 통과시켜 중간 레이어 ($\ell_s$) 의 숨겨진 상태 (Hidden States) 를 추출합니다.
   • **가볍고 효율적인 디코더 (Lightweight Decoder)**를 사용하여, 손상된 토큰 위치에서 **동결된 (Frozen) 시각 백본 (Teacher VFM)**의 깨끗한 특징 ($Y$) 을 복원하도록 훈련합니다.
   • 중간 레이어를 선택한 이유는 시각적 신호가 네트워크 깊이가 깊어질수록 희석된다는 최근 연구 결과에 기반합니다.

3. 훈련 목적 함수 (Training Objective):

   • 언어 모델링 손실 ($\mathcal{L}_{lang}$): 기존 텍스트 생성 손실.
   • 재구성 손실 ($\mathcal{L}_{rec}$): 복원된 특징과 교사 특징 간의 정렬 (L2 정규화 후 MSE).
   • 관계 정렬 손실 ($\mathcal{L}_{rel}$): 복원된 특징과 교사 특징 간의 쌍별 유사도 (Pairwise Similarity) 구조를 보존하기 위한 KL 발산 최소화.
   • 대조적 손실 ($\mathcal{L}_{con}$): 이미지 내 다른 패치와 구별되도록 하여 특징의 붕괴 (Collapse) 를 방지하는 인트라-이미지 Contrastive Loss.

4. 추론 시 동작:

   • 추론 단계에서는 손상 (Corruption) 과 보조 디코더가 모두 비활성화됩니다. 따라서 기존 LMM 과 동일한 속도와 구조로 실행되며 추가적인 추론 오버헤드가 없습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 훈련 프레임워크: LMM 지시 미세 조정 (Instruction Tuning) 단계에서 지각도 기반 노이즈 제거와 교사 기반 특징 복원을 결합하여 내부 시각적 표현을 정제하는 프레임워크를 제안했습니다.
2. 체계적인 손상 평가 프로토콜: ImageNet-C 패러다임을 LMM 평가에 적용하여, 노이즈, 흐림, 날씨, 디지털 왜곡 등 다양한 비적대적 (Non-adversarial) 손상 하에서 모델의 견고성을 체계적으로 평가하는 방법을 정립했습니다.
3. 범용적인 성능 향상: 다양한 아키텍처 (LLaVA-CLIP, LLaVA-SigLIP, Qwen-2.5-VL) 와 18 개의 벤치마크에서 시각적 이해, 추론 능력, 그리고 손상된 입력에 대한 견고성을 일관되게 향상시킵니다.

4. 실험 결과 (Results)

4.1 표준 벤치마크 성능

• 일관된 개선: 18 개 벤치마크 중 15~18 개에서 모든 아키텍처에서 성능이 향상되었습니다.
• 시각적 추론 및 정렬: GQA (공간 추론), MMStar (전체적 이해), NaturalBench (구성적 일관성) 와 같은 복잡한 시각적 추론 작업에서 가장 큰 개선 (+1.2 ~ +4.4 점) 을 보였습니다.
• 강건성 벤치마크: VizWiz, Q-Bench, RealWorldQA 등 자연스러운 저품질 이미지 환경에서도 성능이 크게 향상되었습니다.

4.2 손상된 입력에 대한 견고성 (Corruption Robustness)

• 손상 시나리오: ImageNet-C 스타일의 4 가지 손상 유형 (노이즈, 흐림, 날씨, 디지털) 을 severity 3 및 5 수준으로 적용했습니다.
• 성능 유지: 기존 모델 (Baseline) 은 손상 시 성능이 급격히 떨어지는 반면, 제안된 방법은 성능 저하폭이 현저히 작았습니다.
• 심각도 증가에 따른 격차 확대: 손상 정도가 심해질수록 (Severity 5) 제안 모델과 Baseline 간의 성능 격차가 더 벌어졌습니다. (예: GQA 에서 Severity 5 노이즈 시 Baseline 은 -4.5 점 하락, 제안 모델은 -3.1 점 하락).

4.3 내부 시각적 특징 분석

• CKA (Centered Kernel Alignment): 제안 모델은 LLM 의 중간 및 최종 레이어에서 시각 백본 (CLIP, DINOv2) 과의 정렬도가 Baseline 보다 높게 나타났습니다.
• kNN 분류: 중간 레이어 (Layer 10~15) 에서 특징의 판별력 (Discriminability) 이 크게 향상되어, 특징이 언어적 표현으로 붕괴되는 현상이 방지되었습니다.
• 주의 맵 (Attention Map): 질문과 관련된 영역에 더 집중적이고 공간적으로 정렬된 주의를 보이며, 'Attention Sink' 현상이 감소했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 시각적 이해 (Understanding) 와 생성 (Generation) 을 위한 잠재적 표현 학습의 원리가 LMM 의 시각적 정렬 문제 해결에도 유효함을 증명했습니다.

• 효율성: 추가적인 외부 모델이나 복잡한 생성 헤드가 필요 없으며, 추론 시 오버헤드가 전혀 없습니다.
• 일반성: 다양한 백본 (CLIP, SigLIP) 과 언어 모델 (Vicuna, Qwen) 에 적용 가능하며, 기존 훈련된 모델의 미세 조정 (Post-tuning) 단계에서도 효과를 입증했습니다.
• 실용성: 실제 환경에서 발생할 수 있는 이미지 왜곡 (노이즈, 흐림 등) 에 대해 더 견고한 멀티모달 AI 를 구축할 수 있는 실용적인 솔루션을 제시합니다.

결론적으로, 제안된 잠재적 노이즈 제거 (Latent Denoising) 기법은 LMM 이 텍스트에 의존하는 경향을 줄이고, 시각적 증거를 더 강력하게 활용하도록 하여, 더 정확하고 견고한 멀티모달 추론을 가능하게 합니다.