Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

기술 요약: 공간-스펙트럼 시각적 앵커 학습을 통한 MLLM의 시각적 퇴화 완화

문제 정의
시각적 지시어 튜닝(Visual Instruction Tuning)을 통한 멀티모달 거대 언어 모델(MLLM)의 상당한 발전에도 불구하고, 이러한 모델들은 지속적인 시각적 인지 능력의 결함을 보입니다. 저자들은 핵심적이면서도 충분히 탐구되지 않은 현상인 **시각적 표현 편차(visual representation deviation)**를 식별했습니다. 시각적 지시어 튜닝 이후, LLM 레이어 내부의 시각적 표현은 추론 과정에서 원래의 의미론적 상태로부터 점진적으로 이탈합니다. 이는 심층 레이어에서의 심각한 정보 퇴화를 초래하여, 모델이 미세한 공간적 세부 사항과 의미론적 충실도를 상실하게 만듭니다.

본 논문은 중간 LLM 표현을 외부 시각 기초 모델(VFM)과 직접 정렬하는 것이 이 문제를 해결한다는 기존의 직관에 이의를 제기합니다. 이러한 직접 정렬(예: VIRAL)은 시각적 특징의 품질을 향상시키기는 하지만, 저자들은 이것이 편차 자체를 완화하지는 못한다는 것을 입증했습니다. 즉, 표현은 여전히 여러 레이어를 거치며 유사한 속도로 발산됩니다. 핵심 문제는 표현이 무엇을 인코딩하느냐가 아니라, 네트워크를 통해 전파되는 동안 어떻게 안정적으로 유지되느냐 하는 것입니다.

방법론: 공간-스펙트럼 시각적 앵커 학습 (SSVAL)
표현 편차를 발생시키지 않으면서 추론 오버헤드를 줄이기 위해, 저자들은 **시각적 앵커 프롬프트 주입(VAPI)**과 보조적인 **공간-스펙트럼 표현 정렬(SSRA)**을 중심으로 하는 SSVAL 프레임을 제안합니다.

1. 시각적 앵커 프롬프트 주입 (VAPI):

   • 메커니즘: 핵심 혁신은 "지식 저장소" 역할을 하는 학습 가능한 시각적 프롬프트 세트입니다. 학습 과정에서 이 프롬프트들은 게이트형 멀티 헤드 크로스 어텐션 메커니즘을 통해 외부 VFM(예: DINOv2, CLIP)으로부터 풍부한 시각적 지식을 흡수합니다.
   • 기능: 프로프트는 무작위로 초기화되며 VFM 특징을 포착하도록 최적화됩니다. 추론 시에는 외부 VFM을 제거합니다. 학습된 프롬프트는 안정적인 시각적 앵커로서 기능하며, 각 LLM 레이어가 시각적 표현의 표류를 멈출 수 있도록 일관된 참조점을 제공합니다.
   • 구조: 시각적 특징은 쿼리(Query) 역할을 하며, 결합된 프롬프트(원본 프롬프트 + 투영된 VFM 특징)는 크로스 어텐션 모듈의 키(Key)와 값(Value) 역할을 수행한 뒤, 게이트형 잔차 연결(Gated Residual Connection)을 따릅니다.

2. 공간-스펙트럼 표현 정렬 (SSRA):
   표준 텍스트 기반 학습이 결여하고 있는 중간 LLM 레이어에서의 보완적인 시각 특화 감독을 제공하기 위해, SSVAL은 두 가지 보조 손실 함수를 도입합니다.

   • 공간 표현 정렬 (SpaRA): 다중 스케일 공간 관점(풀링 계수 1x1, 2x2, 4x4)에서 학생(LLM)과 교사(VFM)의 특징을 정렬합니다. 이는 특징 수준의 정렬을 위해 코사인 유사도를 최대화하고, 관계 수준의 정렬을 위해 쌍별 공간 관계를 제약합니다.
   • 스펙트럼 표현 정렬 (SpeRA): 주파수 영역에서 작동합니다. 2D 고속 푸리에 변환(FFT)을 사용하여 특징을 저주파(LF) 및 고주파(HF) 성분으로 분해합니다. LF 성분은 전역적 구조를 포착하고, HF 성분은 에지와 국소적 세부 사항을 포착합니다. 손실 함수는 LF에 MSE를 적용하고, HF에는 노이즈가 지배하는 것을 방지하기 위해 로그 압축을 적용합니다.

3. 학습 목적 함수:
   전체 손실은 표준 차기 토큰 예측 손실과 가중치가 부여된 SpaRA 및 SpeRA 정렬 손실을 결합합니다. 이 공동 최적화는 프롬프트가 VFM 지식을 흡수하는 동시에, 정렬 손실이 중간 레이어에서의 시각적 무결성을 강화하도록 보장합니다.

주요 기여

• 편차 식별: 본 논문은 MLLM의 시각적 표현 편차를 정량화하여, 입력과 중간 표현 사이의 코사인 유사도가 레이어 깊이에 따라 급격히 떨어진다는 것을 보여줍니다. 또한 직접적인 VFM 정렬이 이 표류를 막지 못한다는 점을 밝혀냈습니다.
• 시각적 앵커 프롬프트 주 injection (VAPI): 학습 중에는 VFM 지식을 흡수하고 추론 중에는 표현을 안정화하는 지속적인 앵커로서 프롬프트를 사용하는 새로운 메커니즘을 사용하여, 테스트 시 외부 모델 없이도 효과적으로 편차를 완화합니다.
• 공간-스펙트럼 감독: SpaRA와 SpeRA의 도입은 다중 스케일 공간 및 주파수 영역의 보완적인 감독을 제공하여, 중간 레이어에서의 명시적인 시각적 가이드 부족 문제를 해결합니다.
• 효율성: SSVAL은 VFM과 정렬 손실이 학습 전용 구성 요소이므로, 무시할 만한 수준의 추론 오버헤드(파라미터 +1.55%, FLOPs +0.04%)만을 도입합니다.

실험 결과
다양한 시각 인코더(CLIP, SigLIP)와 LLM 규모(Qwen2.5-3B, Qwen2.5-7B)를 사용하여 6개의 멀티모달 벤치마크(CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench)에서 광범로한 실험을 수행했습니다.

• 성능: SSVAL은 표준 베이스라인(시각적 지시어 튜닝) 및 직접 정렬 방식(VIRAL)보다 유의미하게 우수한 성능을 보였습니다. 주목할 만한 개선 사항으로는 Qwen2.5-7B 백본을 사용했을 때 CV-Bench2D에서 +6.47%, MMVP에서 +7.86%의 향상이 있었습니다.
• 강건성: 특정 벤치마크(예: SigLIP 사용 시 MMVP에서 -5.34%)에서 성능 저하를 보인 VIRAL과 달리, SSVAL은 일관된 이득을 보여주었으며, 이는 앵커 메커니즘이 다양한 초기 시각적 표현 품질에 더 강건하다는 것을 시사합니다.
• 절제 연구 (Ablation Studies):
  • VAPI가 성능 향상의 주요 동력임이 확인되었습니다.
  • SpaRA와 SpeRA는 보완적인 이점을 제공했으며, 다중 스케일 공간 정렬과 LF/HF 주파수 성분의 결합이 최상의 결과를 냈습니다.
  • 프롬프트 수량: 테스트된 구성에서 4개의 프롬프트가 최적임이 밝혀졌습니다.
  • VFM 소스: DINOv2-B를 지식 소스로 사용할 때 전반적으로 가장 좋은 균형을 보였으나, 특정 추론 벤치마크에서는 DINOv2-L이 더 우수한 성능을 보였습니다.

정성적 분석
정성적 결과에 따르면 SSVAL은 베이스라인에 비해 더 명확한 클러스터링 경계와 강력한 구조적 조직을 가진 임베딩을 생성합니다. 어텐션 맵은 SSVAL이 관련 객체에 집중된 어텐션을 유지하는 반면, 베이스라인은 흩어진 어텐션 패턴을 보임을 나타냅니다. 학습된 프롬프트는 전문화된 역할을 수행하는 것으로 관찰되었습니다: 하나의 프롬프트는 배경 노이즈를 억제하고, 다른 프롬프트들은 VFM으로부터 전경 객체성을 상속받아 서로 다른 VFM 능력 간의 격차를 효과적으로 메웁니다.

의의
본 논문은 SSVAL이 시각적 퇴하를 해결하는 데 있어 근본적인 변화를 제공한다고 주장합니다. 즉, 단순히 더 강력한 특징을 주입하는 것이 아니라, 네트워크 전체에서 표현을 안정화하는 지속적인 앵커 메커니즘을 구축하는 것입니다. 지식 흡수(학습)와 추론 효율성을 분리함으로써, SSVAL은 최소한의 계산 비용으로 미세한 인지 및 공간 추론에서 상당한 성능 향상을 달 equilibrium 하며, 시각적 앵커가 심층 MLLM에서 표현 무결성을 유지하는 데 필수적이라는 가설을 검증합니다.