기술 요약: Eddy-VL 1.9B

문제 정의

본 논문은 에지 배포가 가능한, 폐쇄형(air-gapped) 포렌식 및 조사 환경에서 고성능 멀티모달 임베딩 모델을 배포하는 과제를 다룹니디. 이러한 환경에서는 클라우드 API를 사용할 수 없고, 지연 시간이 매우 중요하며, 엄격한 노-클라우드(no-cloud) 정책이 존재합니다. 시각-언어 검색을 위한 선도적인 오픈 티처(open teacher) 모델인 Qwen3-VL-Embedding-2B는 28개의 텍스트 디코더 레이어와 4.26 GB의 체크포인트 크기를 가지고 있어, 제약이 많은 에지 시나리오에는 너무 무겁습니다. 목표는 검색 동작과 구성적 이해(compositional understanding)를 유지하면서 파라미터 수를 줄이고 추론 지연 시간을 단축하기 위해 모델을 압축하는 것입니다.

방법론

저자들은 Qwen3-VL-Embedding-2B로부터 유도된 압축된 멀티모달 임베딩 모델인 Eddy-VL 1.9B를 제안합니다. 압축 전략은 두 가지 주요 단계로 구성됩니다:

1. 프로브 기반 구조적 프루닝 (Probe-Driven Structural Pruning)

새로운 파운데이션 모델을 학습시키는 대신, 저자들은 기존 티처의 텍스트 디코더에서 중복된 레이어를 제거합니다.

• 중복 탐지: 1,000개의 캘리브레이션 이미지-캡션 쌍을 사용하여 티처의 28개 디코더 블록 각각의 마지막 토큰으로부터 은닉 상태(hidden states)를 추출합니다.
• 스코어링: 인접 레이어 간의 중복성을 **선형 중심 커널 정렬(Linear Centered Kernel Alignment, CKA)**을 사용하여 스코어링합니다. 블록 $\ell$에 대한 점수 $s(\ell)$는 이전 레이어 및 다음 레이어와의 CKA 합계입니다: $s(\ell) = \text{CKA}(X_{\ell-1}, X_\ell) + \text{CKA}(X_\ell, X_{\ell+1})$.
• 선택 전략: 단순히 가장 높은 점수를 받은 상위 4개 블록(블록 21–24 제거)을 제거하는 대신, 저자들은 CKA 점수의 **균형(balance)**을 분석했습니다. 그들은 블록 2(높은 점수를 가졌으나 비대칭적 이웃을 가짐)를 제거할 경우 초기 깊이 전이가 저하된다는 것을 발견했습니다. 대신, 이들은 $D = \{3, 22, 24, 25\}$ 세트를 제거 대상으로 선택했습니다. 이 선택은 초기 깊이의 램프업(ramp)을 보존하고 중간 및 후기 레이어의 보다 대칭적인 제거를 보장합니다.
• 결과: 텍스트 디코더는 28개 레이어에서 24개 레이어로 감소합니다. 비전 인코더(24개 블록)는 동결된 상태로 유지됩니다.

2. 계층적 지식 증류 (Layered Knowledge Distillation)

프루닝된 24개 레이어의 학생(student) 모델은 홀 커버링(hole-covering) 티처-학생 매핑을 사용하여 28개 레이어의 티처 모델을 모방하도록 학습됩니다.

• 매핑: 제거된 블록들은 학생 레이어를 인접한 티처 레이어에 매핑함으로써 "브릿지"됩니다. 예를 들어, 학생 레이어 3은 티처 레이어 4에 매핑되고, 학생 레이어 21은 티처 레이어 23에 매핑되는 식입니다.
• 손실 함수 (Loss Functions):
  • 중간 레이어 손실 (Mid-Layer Loss): 매핑된 중간 레이어들에 대해, 저자들은 구조적 표현을 정렬하기 위해 평탄화된 어텐션 맵(flattened attention maps)에 대한 $1 - \text{CKA}$를 사용합니다.
  • 최종 레이어 손 loss (Final-Layer Loss): 최종 임베딩은 Matryoshka Representation Learning (MRL) 차원 $\{128, \dots, 2048\}$을 사용하여 MSE + Cosine loss로 정렬됩니다.
• 학습 데이터: 증류에는 두 가지 독점 코퍼스가 혼합되어 사용됩니다:
  • Korean COCO: 약 410k 이미지-캡션 쌍 (이미지 + 한국어 텍스트).
  • OurDataset: 포렌식 관련 도메인(문서, 장면, 장치 등)을 다루는 약 45k의 이미지 전용 샘플 (텍스트 캡션 없음).

주요 기여

• Eddy-VL 1.9B: 1.93 tỷ 파라미터(bf16 기준 3.85 GB)를 가진 출시된 모델로, 이는 2.13B 티처 대비 약 9.5% 감소한 수치입니다.
• 새로운 프루닝 휴리스틱: 분류 작업에 대한 성능 저하를 방기하기 위해 단순한 중복 점수보다 레이어 균형을 우선시하는 프로브 기반 방법을 제시하였으며, 이는 단순한 top-k 프루닝이 분류 중심 작업에서 실패한다는 것을 보여주는 절제 연구(ablation studies)를 통해 검증되었습니다.
• 계층적 증류 프레임워크: 홀 커버링 매핑과 어텐션 맵 CKA 중간 손실을 사용하는 특정 증류 프로토콜을 제공하며, 이는 은닉 상태 전용 증류 및 기타 중간 레이어 목적 함수(RCKA, STRUCTURE, mutual-kNN)보다 우수한 성능을 보였습니다.
• 에지 최적화: 이 모델은 오프라인, 폐쇄형 포렌식 검색을 위해 명시적으로 설계되었으며, 약 10%의 순방향 지연 시간(forward latency) 감소를 제공합니다.

결과

VLM2Vec 프레임워크를 사용하여 MMEB-V2 벤치마크(78개 태스크)에서 평가되었습니다:

• 전반적인 성능:
  • 티처 (Qwen3-VL-Embedding-2B): 68.9 (논문의 특정 프로토콜 하에 평가됨).
  • 프루닝 베이스라인 (증류 없음): 56.8 (12.1 포인트 손실).
  • Eddy-VL 1.9B: 63.2.
  • 유지율 (Retention): Eddy-VL은 이 프로토콜 하에서 티처 성능의 **91.7%**를 유지하며, 프루닝만으로 손실된 12.1 포인트 중 6.4 포인트를 회복했습니다.
• 구성적 프로브 (Compositional Probes):
  • SugarCrepe: 86.1 (vs. 티처 86.4).
  • MR2-Bench: 24.5 (vs. 티처 24.7).
  • ARO: 59.5 (vs. 티처 60.4).
  • Winoground: 6.8 (vs. 티처 8.5). 저자들은 이를 모델의 주요 약점으로 언급했습니다.
• 효율성:
  • FlashAttention-2를 사용하는 NVIDIA DGX Spark에서 이미지당 순방향 지연 시간이 150.0 ms에서 136.4 ms로 감소했습니다 (~10% 속도 향상).

의의 및 주장

본 논문은 구조적 프루닝과 계층적 증류의 결러이션이 에지 배포 가능한 멀티모달 리트리버를 만드는 데 효과적임을 입증한다고 주장합니다.

• 완곡한 주장: 저자들은 모든 공개된 리더보드 설정(예: 공개 Qwen 리더보드 점수 73.2 vs. 자신들의 재평가 점수 68.9)과 동일하다고 주장하지 않습니다. 대신 고정된 프로토콜 하에서의 상대적 압축 이득에 집중합니다.
• 대상 사용 사례: 이 모델은 최종 순위를 결정하기 위한 리랭커(reranker)와 함께 사용되도록 설계된, 포렌식 조사에서의 **후보 추출(candidate surfacing)**용 임베더로 포지셔닝됩니다.
• 한계점: 저자들은 티처와의 약 8.3% 상대적 격차, 학습 데이터의 독점적 성격(공개적 재배포 불가), 그리고 Winoground 그룹 점수에서의 특정 약점을 인정합니다.

이 연구는 자원이 제한된 오프라인 환경에서 대부분의 검색 능력을 희생하지 않고 대규모 시각-언어 모델을 배포할 수 있는 실질적인 경로를 제공합니다.