기술 요약: 시각-언어 모델의 공간 추론을 위한 다중 뷰 관계 증류 (Multi-View Relational Distillation)

1. 문제 정의

시각-언어 모델(VLMs)은 이미지 및 비디오 이해 측면에서 강력한 능력을 입증해 왔으나, 기하학적으로 취약한 시각-공간 표현(geometrically fragile visual-spatial representations) 문제를 겪고 있습니다. 이러한 취약성은 상대적 거리 추론이나 객체 위치 파악과 같이 로보틱스, 임바디드 AI(Embodied AI), 자율 주행에 필수적인 공간 추론 작업에서 실패를 초래합니다.

VLMs를 기하학에 접지(grounding)시키려는 기존 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 지도 미세 조정(Supervised Fine-Tuning, SFT): 공간 질의응답 데이터셋으로 학습하는 것은 근본적인 기하학적 이해를 교정하기보다는 "가짜 시각 표현(spurious visual representations)"을 고착화하는 경우가 많습니다.
2. 특징 융합(Feature Fusion): 기하학적으로 접지된 대규모 비전 모델(예: VGGT, CUT3R)의 특징을 VLMs에 융합하는 방식은 공간 추론 능력을 향상시키지만, 모델 크기와 추론 지연 시간을 크게 증가시켜 실시간 애플리케이션 적용에 어려움을 줍니다.

세 번째 접근 방식인 **지식 증류(Knowledge Distillation)**는 추론 비용을 높이지 않고 교사 모델(teacher model)로부터 학생 모델(student VLM)로 기하학적 지식을 전달하려고 시도합니다. 그러나 저자들은 표준적인 **특징 증류(feature distillation)**에서 발생하는 결정적인 실패 모드를 식별했습니다. 즉, 학생의 다중 뷰 시각 특징을 기하학적으로 접지된 교사의 특징에 직접 맞추는 방식은 시각과 텍스트 간의 사전 학습된 정렬(alignment)을 방해합니다. 이러한 트레이드오프는 객체의 외형 순서를 추적하거나 텍스트 쿼리에 기반하여 객체의 크기를 추정하는 것과 같은 언어적 접지(linguistic grounding) 능력을 저하시킵니다.

2. 방법론: 다중 뷰 관계 증류 (MVRD)

기하학적 접지와 시각-언어 정렬 사이의 트레이드오프를 해결하기 위해, 저자들은 **다중 뷰 관계 증류(Multi-View Relational Distillation, MVRD)**를 제안합니다.

핵심 개념

MVRD는 특징 벡터 자체를 증류(특징이 특정 기하학적 공간으로 수렴하도록 강제함)하는 대신, 여러 뷰 사이의 **코사인 유사도(relations)**를 증류합니다.

• 가설: 다중 뷰 관계는 공간적 이해를 개선하기에 충분한 기하학적 대응 관계를 인코딩합니다. 결정적으로, 쌍별 유사도(pairwise similarity)를 일치시키는 것은 특징 벡터의 절대적인 값을 유일하게 결정하지 않으므로, 학생 모델은 기하학적 목적을 만족하면서도 사전 학습된 시각-언어 공간에 근접한 특징 표현을 선택할 수 있는 자유를 유지할 수 있습니다.
• 수학적 공식화:
  • $v_{1:T}$를 학생의 비전 토큰이라 하고, $\bar{g}_{1:T}$를 교사의 기하학적 접지 특징이라 합니다.
  • 관계 표현 $R$은 유사도 함수 $r$(구체적으로 코사인 유사도)을 사용하여 구축됩니다: $R(h)[i, j] = r(h[i], h[j])$.
  • 증류 손실 $L_{RD}$는 학생과 교사의 관계 행렬 간의 차이를 최소화합니다:
    $$L_{RD} := \ell_{RD}(R(f(v_{1:T})), R(\text{sg}(\bar{g}_{1:T})))$$
  • 여기서 $f$는 위치별 MLP 투영이며, $\text{sg}$는 stop-gradient 연산자를 나타냅니다. 전체 학습 목적 함수는 표준 SFT 손실과 관계 증류 손실의 결합($L_{SFT} + \gamma L_{RD}$)입니다.

아키텍처 개선 사항

사전 학습된 공간으로부터의 이탈을 최소화하기 위해, 저자들은 이중 경로(Dual Pathway) 아키텍처를 도입합니다.

• 기하학적 어댑터(Geometric Adapter): 복합 손실($L_{SFT} + \gamma L_{RD}$)에 의해 감독되는 저계수 적응(LoRA) 모듈이 다중 뷰 관계 신호를 학습합니다.
• 의미론적 어댑터(Semantic Adapter): 오직 $L_{SFT}$에 의해서만 감독되는 병렬 LoRA 모듈이 언어에 정렬된 동작을 보존합니다.
• 통합: 이 어댑터들의 출력은 증류 층 이후에 합산되어 나머지 VLM 블록으로 전달됩니다. 이러한 디커플링(decoupling)은 기하학적 학습이 언어 관련 서브스페이스(subspace)를 방해하지 않도록 보장합니다.

설계 선택 사항

• 유사도 함수: 코사인 유사도는 스케일 및 방향 불변성을 위해 선택되었으며, 이를 통해 모델이 특징의 크기를 강제로 맞추지 않고도 상대적인 각도를 맞출 수 있게 합니다.
• 손실 함수: 유사도 점수의 스케일 변화에 대한 견고성을 높이기 위해 평균 제곱 오차(MSE) 대신 행 단위 음의 피어슨 상관계수(row-wise negative Pearson correlation)를 사용합니다.
• 인과적 마스킹(Causal Masking): VLM의 인과적 어텐션 메커니즘을 준수하기 위해, 손실을 계산하기 전에 인과적 마스킹과 대각 성분 제로화(diagonal zeroing)를 적용합니다.

3. 주요 기여

1. 특징 증류 실패 진단: 본 논문은 표준 특징 증류가 시각-언어 정렬을 저하시켜, 기하학적 작업 성능을 높임에도 불구하고 언어적 접지 작업(예: 객체 개수 세기, 크기 추정)에서 성능 저하를 일으킨다는 점을 식별하고 입증했습니다.
2. MVRD 제안: 가공되지 않은 특징이 아닌 다중 뷰 관계 유사도를 통해 기하학적 지식을 전달함으로써 사전 학습된 시각-언어 공간을 보존하는 새로운 증류 프레임워크를 제 제안합니다.
3. 이중 경로 아키텍처: 기하학적 학습과 의미론적 정렬을 더욱 격리하여 균형 잡힌 모델을 만드는 경량 매개변수 분리 메커니즘을 제공합니다.
4. 효율성: MVRD는 특징 융합 방식과 유사한 성능을 달면서도 추가 파라미터는 훨씬 적게(<25% 오버헤드) 사용하며, 추론 지연 시간 또한 특징 융합 베이스라인 대비 낮게(<16% 오로헤드) 유지합니다.

4. 실험 결과

이 방법은 VSI-Bench(Visual-Spatial Intelligence Benchmark)와 다양한 3D 장면 이해 데이터셋에서 평가되었습니다.

• VSI-Bench 성능:
  • MVRD는 8개 작업 중 6개에서 지도 미세 조정(SFT) 및 표준 특징 증류(3DRS)보다 우수한 성능을 보였습니다.
  • 특징 증류가 이전에 실패했던 언어적 접지(예: 객체 크기, 외형 순서) 작업에서도 일관된 이득을 보여주었습니다.
  • MVRD + Dual Pathway 변형은 평균 정확도 **60.4%**를 달 기록하며, 동일한 백본과 데이터셋을 사용하는 최첨단 특징 융합 방식(VLM-3R)과의 격차를 단 0.5 포인트로 좁혔습니다.
• 표현 분석:
  • 정성적 및 정량적 분석을 통해 MVD가 높은 텍스트-비전 정렬(텍스트 기반 객체 탐지 정밀도로 측정됨)을 유지하면서도 효과적으로 기하학적 관계를 모델링함을 확인했습니다.
  • 특징 증류는 텍스트 토큰을 해당 시각 패치와 정렬되지 않게 만드는 반면, MVRD는 이러한 대응 관계를 보존함을 보여주었습니다.
• 일반화:
  • MMD가 3D 장면 이해 작업(ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D)으로 성공적으로 전이되었음을 입증했으며, 이전의 3D 장면 이해 일반 모델들과 특징 증류 베이스라인인 3DRS를 능가했습니다.
  • 이 방법은 다양한 VLM 백본(LLaVA-Video, InternVL3, Qwen2.5-VL)에서 견고함을 증명했습니다.

5. 의의 및 주장

본 논문은 MMD가 VLMs를 3D 기하학에 접지시키기 위한 계산 효율적인 대안임을 주장합니다. 증류 대상을 특징에서 관계로 전환함으로써, 이 방법은 기하학적 접지와 언어적 정렬 사이의 이전에 진단되지 않았던 충돌을 해결합니다.

저자들은 MVRD가 "시각-언어 정렬을 희생하지 않고도" VLMs가 기하학적 이해를 습득할 수 있게 한다고 강조합니다. Dual Pathway 변형은 기하학적 목적과 의미론적 목적을 분리하는 것이 훨씬 적은 추론 비용으로 무거운 특징 융합 아키텍처의 성능에 근접하는 더 균형 잡힌 모델을 만든다는 것을 입증합니다. 이 연구는 관계적 표현이 사전 학습된 VLMs에 기하학적 지식을 전달하는 데 있어 더 적절하고 최소한의 메커니즘임을 시사합니다.