LINGUDISTILL: 비전-언어 모델 (VLM) 의 언어 능력 회복을 위한 선택적 교차 모달 증류

이 논문은 LINGUDISTILL이라는 새로운 방법을 제안하여, 멀티모달 적응 과정에서 발생하는 비전 - 언어 모델 (VLM) 의 고유한 언어 능력 저하 문제를 해결합니다. 기존 VLM 은 시각 정보를 처리하도록 미세 조정 (Fine-tuning) 되는 과정에서 언어적 선지 (Linguistic priors) 를 잃거나 왜곡되는 '범주적 망각 (Catastrophic Forgetting)' 현상이 발생하는데, 이를 추가 모듈 없이 효율적으로 복구하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

• 언어 능력의 저하: 사전 훈련된 언어 모델 (LM) 을 비전 - 언어 모델 (VLM) 로 적응시키는 과정에서, 모델의 원본 언어 능력이 크게 저하됩니다. 이는 멀티모달 적응으로 인한 표현의 변화 (Representation Shift) 와 교차 모달 간섭 (Cross-modal Interference) 때문입니다.
• 기존 방법의 한계:
  • 단순한 언어 중심 데이터에 대한 추가 미세 조정만으로는 언어 능력을 완전히 회복하기 어렵습니다.
  • 기존 복구 방법들은 대부분 중간 정렬 레이어 (Alignment Layers) 나 추가 어댑터 (Adapter) 를 도입하여 언어 능력을 유지하려 했습니다. 이는 추론 시 추가 파라미터와 계산 비용을 증가시키고, 모델 아키텍처의 복잡성을 높이는 단점이 있습니다.

2. 방법론 (Methodology)

LINGUDISTILL 은 어댑터가 없는 (Adapter-free) 지식 증류 (Knowledge Distillation) 프레임워크로, 다음과 같은 두 가지 핵심 기술을 결합합니다.

2.1. 레이어별 KV 캐시 공유 (Layer-wise KV-Cache Sharing)

• 구조: 학생 모델 (Student) 로는 멀티모달 VLM 을, 교사 모델 (Teacher) 로는 동결된 (Frozen) 원래의 언어 모델 (LM) 을 사용합니다.
• 메커니즘:
  1. 학생 VLM 이 이미지와 텍스트를 입력받아 디코더에서 멀티모달 표현을 생성하고, 이를 KV 캐시 (Key-Value Cache) 로 저장합니다.
  2. 동결된 교사 LM 은 동일한 텍스트 프롬프트에 대해 쿼리 (Query) 를 생성하지만, 학생이 생성한 KV 캐시를 직접 재사용합니다.
  3. 이를 통해 교사 LM 은 시각적 컨텍스트를 전혀 보지 않았음에도 불구하고, 학생의 멀티모달 표현에 기반한 '시각 - 인지 (Vision-aware)' 감독 신호를 생성할 수 있게 됩니다.
• 장점: 모델 아키텍처를 변경하거나 추가 파라미터를 도입하지 않고도, 고정된 LM 이 멀티모달 컨텍스트를 이해하도록 유도합니다.

2.2. 선택적 증류 목적 함수 (Selective Distillation Objective)

• 문제: 교사 LM 은 텍스트만 학습했기 때문에, OCR 이나 문서 분석과 같은 시각 의존도가 높은 작업에서 잘못된 감독 신호를 줄 수 있습니다.
• 해결: 데이터 소스에 따라 증류 강도를 다르게 적용합니다.
  • 언어 중심 데이터 (Language-heavy): 논리적 추론, 일반 상식 등 언어 의존도가 높은 데이터에서는 교사 LM 의 소프트 라벨 (Soft Label) 을 활용한 증류 손실 (Distillation Loss) 을 강력하게 적용합니다 ($\alpha > 0$).
  • 시각 중심 데이터 (Vision-heavy): OCR, 문서 VQA 등 시각적 정밀도가 중요한 데이터에서는 증류를 억제하고, 학생 모델이 정답 레이블을 직접 학습하는 하드 라벨 (Hard Label) 손실 위주로 훈련합니다 ($\alpha = 0$).
• 결과: 언어 능력은 회복하면서 시각적 grounding 능력은 유지됩니다.

3. 주요 기여 (Key Contributions)

1. 어댑터 없는 복구 방법: 추가 모듈 없이 동결된 원본 LM 을 교사 모델로 활용하여 VLM 의 언어 능력을 복구하는 첫 번째 효율적인 방법론을 제안했습니다.
2. KV 공유 아키텍처: 모델 구조 변경 없이 동결된 LM 이 멀티모달 컨텍스트에 주의를 기울일 수 있도록 하는 레이어별 KV 캐시 공유 메커니즘을 고안했습니다.
3. 선택적 증류 전략: 데이터 유형에 따라 증류 신호를 선택적으로 적용함으로써, 언어 능력 회복과 시각적 성능 유지 사이의 균형을 성공적으로 달성했습니다.

4. 실험 결과 (Results)

The Cauldron 데이터셋을 기반으로 한 실험에서 LINGUDISTILL 은 다음과 같은 성과를 보였습니다:

• 언어 및 지식 벤치마크 회복:
  • 언어 및 지식 중심 벤치마크 (ScienceQA, AI2D, COCO Captioning 등) 에서 약 10% 의 성능 손실 회복을 달성했습니다.
  • 예: ScienceQA 점수는 Vanilla VLM 대비 +14.6%, HellaSwag 는 -2.7% 로 감소폭을 크게 줄였습니다.
• 시각적 작업 성능 유지:
  • 표준 미세 조정 (Standard Fine-tuning) 과 비교했을 때, 시각 의존도가 높은 작업 (DocVQA, OCRBench 등) 에서의 성능 저하가 현저히 줄었습니다.
  • 특히 균일한 증류 (Uniform KD) 를 적용한 경우 OCR 벤치마크 성능이 40% 이상 급락했으나, LINGUDISTILL 은 이를 21% 수준으로 억제했습니다.
• 효율성: 추론 시 추가 파라미터나 계산 비용이 전혀 발생하지 않습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 모델이 언어 능력을 잃지 않고 시각적 능력을 습득할 수 있는 실용적인 해결책을 제시합니다.

• 비용 효율성: 추가 모듈이나 대규모 재학습 없이, 기존 VLM 을 효율적으로 개선할 수 있습니다.
• 일반화 가능성: 특정 모델 아키텍처에 국한되지 않고, 다양한 VLM 에 적용 가능한 일반적인 프레임워크를 제공합니다.
• 핵심 통찰: 멀티모달 적응으로 인한 언어 능력 저하는 단순히 데이터 필터링으로 해결되지 않으며, 교사 모델의 언어적 선지 (Linguistic Priors) 를 선택적으로 증류하는 것이 핵심임을 증명했습니다.

결론적으로, LINGUDISTILL 은 멀티모달 시스템에서 모달리티별 성능 저하를 방지하고, 언어와 시각 능력을 모두 고르게 향상시키는 강력한 도구로 평가받습니다.