TRANSPORTER: Transferring Visual Semantics from VLM Manifolds

1. 문제 정의 (Problem Statement)

• 배경: 최근 비전 - 언어 모델 (VLM, Vision-Language Models) 은 복잡한 장면, 다양한 객체, 행동 수행, 장면 역동성을 이해하고 추론하는 능력을 크게 향상시켰습니다.
• 핵심 과제: VLM 이 어떻게 답을 도출하는지 그 내부 과정을 이해하고 제어하는 것은 여전히 해결되지 않은 난제입니다.
• 기존 방법의 한계:
  • 기존 해석 방법 (프롬프트, 선형 프로빙, 숨은 임베딩 디코딩 등) 은 텍스트 기반 설명에 의존하거나, 길이가 제한적이며, 모델의 내부 과정을 왜곡하거나 변화에 민감한 경우가 많습니다.
  • 특히 비디오 도메인에서는 시각적 설명 (Visual Explanations) 을 생성하는 방법이 부족합니다.
• 목표: VLM 의 예측 (로그이트 분포) 에 기반하여, 해당 예측이 시각적으로 무엇을 의미하는지 직접적으로 보여주는 비디오 생성이 필요합니다.

2. 제안 방법론: TRANSPORTER (Methodology)

이 논문은 Logits-to-Video (L2V) 라는 새로운 생성 작업을 제안하며, 이를 위해 모델에 독립적인 TRANSPORTER 프레임워크를 개발했습니다.

2.1. Logits-to-Video (L2V) 작업

• VLM 이 텍스트 쿼리와 비디오 인코딩을 기반으로 토큰 로그이트 (logit) 확률 분포를 출력합니다.
• L2V 는 두 가지 다른 토큰 로그이트 분포 (예: $\omega^-$: 'happy' vs $\omega^+$: 'sad') 사이의 차이 ($\Delta\omega$) 를 입력받아, 해당 차이를 반영하는 새로운 비디오 ($x'$) 를 생성하는 작업입니다.

2.2. TRANSPORTER 아키텍처

TRANSPORTER 는 생성기 (T2V 모델) 의 잠재 공간과 VLM 의 고차원 의미 공간 사이의 최적 수송 (Optimal Transport, OT) 경로를 학습합니다.

1. 커플링 네트워크 (Coupling Network, $\Phi$):

   • 생성기 (Generator) 의 잠재 벡터 ($z_\Xi$) 를 VLM 의 임베딩 공간 ($\mathbb{R}_\Omega$) 에 매핑합니다.
   • $\Phi_{\Omega1}$: MSE 손실 함수를 사용하여 전역적인 임베딩 정합을 학습합니다.
   • $\Phi_{\Omega2}$: 그람 행렬 (Gram-matrix) 손실을 사용하여 토큰 간의 국소적 기하학적 관계 (상호 구조) 를 보존하도록 학습합니다.
   • $\rho$-OT (Learnable Optimal Transport): 두 가지 표현 ($\tilde{z}_{\Omega1}, \tilde{z}_{\Omega2}$) 을 결합하기 위해 학습 가능한 투영 벡터와 엔트로피 정규화를 기반으로 한 최적 수송 모듈을 도입합니다. 이는 고차원 임베딩 공간 간의 효율적인 정합을 가능하게 합니다.

2. 컨셉 뱅크 (Concept Bank, $Q$):

   • 의미적으로 대조적인 토큰 쌍 (예: 'baseball hit' vs 'baseball miss') 에 해당하는 잠재 방향 벡터 ($q_o$) 를 학습합니다.
   • 학습 과정:
     • 생성기의 속도 필드 (velocity field) 차이 ($\Delta v$) 와 VLM 의 로그이트 차이 ($\Delta\omega$, 헬링거 거리 사용) 를 정렬합니다.
     • 로그이트 차이 $\Delta\omega$ 를 제어 파라미터 $\delta$ 로 사용하여, 생성기가 특정 속성 (예: 빨간색 $\to$ 파란색) 을 변경하도록 유도합니다.

3. 추론 (Inference):

   • 학습된 컨셉 벡터 $q_o$ 를 생성 조건에 추가하여, VLM 의 로그이트 분포 변화를 시각적으로 반영하는 비디오를 생성합니다.
   • 생성된 비디오는 원래 장면의 역동성 (카메라 뷰, 객체 운동 등) 을 유지하면서 목표 속성만 변경됩니다.

3. 주요 기여 (Key Contributions)

1. L2V (Logits-to-Video) 작업 정의: VLM 의 시각적 설명을 위해 로그이트 분포를 직접 비디오로 변환하는 새로운 제어 생성 작업을 제안했습니다.
2. TRANSPORTER 모델: 생성기의 시각적 충실도 공간과 VLM 의 고차원 의미 공간 사이의 최적 수송 경로를 학습하는 모델-independent 접근법을 제시했습니다.
3. 학습 가능한 잠재 공간 조절: 목표 로그이트 발산 ($\Delta\omega$) 에 따라 비디오를 조절할 수 있는 학습 가능한 컨셉 벡터 (Latent directions) 를 도입했습니다.
4. 광범위한 실험 및 검증: 다양한 VLM (VideoLLaMA 3, Gemma 3, Phi 4 MM) 에 대한 정량적/정성적 평가를 통해 모델의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):

  • 시각적 품질: 생성된 비디오는 기존 특징 시각화 방법 (Activation Maximization 등) 보다 훨씬 높은 시각적 충실도를 보였습니다. FVD (Fréchet Video Distance) 와 LPIPSv 지표에서 기존 베이스라인 대비 압도적인 개선을 보였습니다 (예: Gemma 3 기준 FVD $2.42 \times 10^3 \to 1.05 \times 10^2$).
  • 시맨틱 정합도: 생성된 비디오와 목표 캡션 간의 정합도 (CLIPv score, aesthetic score) 가 크게 향상되었습니다.
  • 임베딩 유사성: 생성된 비디오의 임베딩과 실제 비디오의 임베딩 간 코사인 유사도가 높고 KL 발산이 낮아, 생성된 비디오가 실제 데이터 분포를 잘 따름을 증명했습니다.

• 정성적 평가 (Qualitative):

  • 속성 제어: 객체의 색상, 재질, 행동의 속도, 장면의 배경 등 다양한 속성을 정밀하게 변경하는 데 성공했습니다.
  • 세부 사항 보존: 속성 변경 시에도 장면의 역동성, 카메라 움직임, 객체 간의 상호작용 등 비목표 요소는 그대로 유지되었습니다.
  • 로그이트 발산 분석: 로그이트 발산 ($\Delta\omega$) 이 큰 속성 (예: 객체 개수) 은 생성 초기 단계에서 나타나고, 미세한 디테일 (예: 컷의 두께) 은 후기 단계에서 나타나는 등 VLM 의 학습된 계층적 구조를 시각화했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 해석 가능성의 새로운 패러다임: 텍스트 기반 설명을 넘어, VLM 의 추론 과정을 시각적으로 직접 관찰할 수 있는 새로운 방향을 제시했습니다.
• 인과적 인사이트: VLM 의 특정 토큰 예측이 실제 비디오의 어떤 시각적 요소에 대응하는지를 인과적으로 연결하여 보여줍니다.
• 범용성: 다양한 아키텍처와 크기를 가진 VLM 에 적용 가능하며, 비디오 이해 모델의 내부 작동 원리를 탐구하는 강력한 도구로 활용될 수 있습니다.

이 연구는 VLM 이 "무엇을 보고 있는지"를 단순히 텍스트로 설명하는 것을 넘어, 모델이 '어떻게' 시각적 의미를 구성하는지를 비디오 생성을 통해 직접 증명하는 획기적인 시도입니다.