기술 요약: VISCOP (Visual Contextualized Probing) - 비디오 도메인 적응을 위한 연구

1. 문제 정의

대규모 시각-언어 모델(VLMs)은 일반적인 시각적 추론 작업에서 강력한 성능을 보여주지만, 상당한 분포 변화(예: 관점, 센싱 모드 또는 작업 구조의 변화)가 특징인 새로운 도메인에 배포될 때 성능이 크게 저하됩니다. 현재의 도메인 적응 전략은 다음과 같은 결정적인 트레이드오프(trade-off)에 직면해 있습니다:

• **비전 인코더를 동결(Freezing)**하고 경량 커넥터만 업데이트하는 방식은 사전 학습된 지식을 보존하지만, 도메인 특화된 시각적 특징을 학습하는 능력을 제한합니다.
• **비전 인코더를 전체 또는 부분적으로 미세 조정(Fine-tuning)**하는 방식은 전문화된 시각적 이해를 가능하게 하지만, 사전 학습 과정에서 습득한 광범위한 능력을 상실하는 치명적 망각(catastrophic forgetting) 현상을 초래할 수 있습니다.

또한, 기존 방식들은 대개 동결된 비전 인코더의 최종 레이어 표현에 의존하며, 다층적 시각 구조를 인코딩하는 중간 레이어의 특징들을 버리는 경향이 있습니다. 본 논문은 추상화된 최종 레이어 표현이 시각적으로 두드러진 도와 변화에는 불충분하다고 가정하며, VLM이 어떻게 동결된 인코더의 깊이 전반에 걸쳐 도메인 특화 신호를 활용하면서도 치명적 망각을 일으키지 않을 수 있는지에 대해 질문을 던집니다.

2. 방법론: VISCOP

저자들은 사전 학습된 일반 지식을 보존하면서 VLM을 타겟 도메인에 특화시키기 위해 설계된 경량 적응 메커니즘인 **VISCOP (Vision Contextualized Probing)**를 제안합니다.

핵심 아키텍처

VISCOP는 동결된 비전 인코더에 소수의 압축된 학습 가능한 시각적 프로브(visual probes) ($P \in \mathbb{R}^{M \times d_v}$)와 상호작용 모듈을 추가하여 확장합니다. 고정된 특징을 재해석하거나 최종 레이어에서 압축하는 방식과 달리, VISCOP는 병렬적인 파라미터 경로를 생성합니다:

1. 레이어별 프로빙 (Layer-wise Probing): 이 방법은 동결된 비전 인코더의 중간 레이어 ($\ell = 1, \dots, L$)로부터 도메인 관련 신호를 추출합니다.
2. 상호작용 모듈 ($\Phi^\ell$): 각 레이어에서 학습 가능한 상호작용 모듈은 **비전-프로브 교차 주의 집중(vision-probe cross-attention)**을 통해 계층적 시각 표현($X^\ell$)에 프로브를 조건화합니다.
   • 프로브는 다음과 같이 업데이트됩니다: $P^{\ell+1} = \Phi^\ell(P^\ell, X^\ell)$.
   • 이를 통해 프로브는 베이스 인코더가 동결되어 있음에도 불구하고, 모든 프레임에 주의를 기울여 타겟 도메인에 특화된 복잡한 시공간적 관계를 학습할 수 있습니다.
3. LLM으로의 투영 (Projection to LLM): 마지막 레이어를 거친 후, 업데이트된 프로브($P^L$)는 전용 커넥터($C_{probe}$)를 통해 언어 임베딩 공간으로 투영됩니다.
4. 학습 목적 함수 (Training Objective): VLM은 원래의 시각적 임베딩($E$)과 프로브 임베딩($Z$) 모두에 조건화된 표준 자기회귀적 다음 토큰 예측 손실(next-token prediction loss)로 학습됩니다.

학습 전략

• 동결된 구성 요소: 사전 학습된 비전 인코더 파라미터는 동결된 상태를 유지합니다.
• 학습 가능한 구성 요소: 오직 시각적 프로브, 상호작용 모듈, 시각-언어 커넥터, 그리고 (선택적으로) LLM의 LoRA 파라미터만이 업데이트됩니다.
• 메커니즘: 업데이트를 저차원(low-rank)의 프로브로 정의된 시각적 부분 공간(subspace)으로 한정함으로써, VISCOP는 비전 인코더를 통한 직접적인 그래디언트 흐름과 관련된 "충돌(crash)"(치명적 망각)을 피하면서 학습을 도메인 관련 구조로 유도합니다.

3. 주요 기여

1. 새로운 적응 전략: 동결된 인코더의 레이어별 프로빙을 통해 도메인 특화 시각 표현을 학습함으로써, 사전 표현을 방해하지 않고 효과적인 전이를 가능하게 하는 VISCOP를 도입했습니다.
2. 포괄적인 평가: 세 가지 도전적인 적응 시나리오를 아우르는 엄격한 평가 환경을 구축했습니다:
   • 교차 뷰 (Cross-view): 외재적(Exocentric) $\to$ 내재적(Egocentric).
   • 교차 모달리티 (Cross-modal): RGB $\to$ Depth.
   • 교차 태스크 (Cross-task): 인간 이해 $\to$ 로봇 제어.
3. 경험적 우월성: VISCOP가 타겟 도메인 성능에서는 기존 전략들(전체 미세 조정 및 부분 미세 조정 포함)보다 우수한 성능을 보이면서도, 소스 도메인의 광범위한 능력을 더 잘 유지함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 도메인에 대해 VISCOP를 베이스라인(Base VML, Full Fine-tuning, Partial Fine-tuning, Q-Former 스타일, Prompt Tuning)과 비교 평가했습니다:

• 내재적 비디오 이해 (Exocentric $\to$ Egocentric):

  • VISCOP는 타겟 도메인에서 가장 높은 향상($\Delta_{target} = +3.53$)을 달tes는 동시에 소스 도메인 유지력($\Delta_{source} = +1.77$) 또한 개선했습니다.
  • 반면, 전체 미세 조정(full fine-tuning)은 타겟 성능을 약간 높였으나($\Delta_{target} = +0.57$), 소스 도메인에서 망각을 일으켰습니다($\Delta_{source} = -0.50$).

• 뎁스(Depth) 비디오 이해 (RGB $\to$ Depth):

  • RGB와 Depth 사이의 시각적 격차로 인해 표준 미세 조정 방식에서 심각한 망각이 발생했습니다($\Delta_{source} = -3.87$).
  • VISCOP는 가장 큰 타겟 이득($\Delta_{target} = +19.27$)을 달성하면서도 소스 성능을 보존했습니다($\Delta_{source} = +1.84$).

• 로봇 제어 (Human Understanding $\to$ Robot Control):

  • 극단적인 도메인 격차(시각 및 언어 공간 모두)로 인해 베이스 VLM의 정확도는 0%였습니다.
  • VISCOP는 가장 좋은 타겟 성능($\Delta_{target} = +67.82$)을 달성했으며, 다른 전문가 모델들이 심각한 망각($\Delta_{source} \approx -8.87$)을 겪은 것과 비교하여 소스 지식을 가장 많이 유지했습니다($\Delta_{source} = -4.58$).

• 일반화 (Generalization): VISCOP는 오디오 이해(스펙트로그램 입력)에 대해서도 테스트되었으며, 베이스라인과 유사한 타겟 성능을 보이면서도 소스 망각은 현저히 줄어들어, 이 방법이 시각적 변화에만 국한되지 않음을 보여주었습니다.

효율성

VISCOP은 적은 계산 오버헤드(파라미터 2% 증가, VRAM 약 3.4GB 증가)를 도입했으며, 특히 더 집중된 토큰 생성을 통해 베이스 VLM보다 낮은 추론 지연 시간(latency)을 입증했습니다.

5. 의의 및 주장

본 논문은 VISCOP가 VLM 도메인 적응의 근본적인 트레이드오프, 즉 사전 학습된 지식을 지우지 않고 새로운 시각적 특징을 학습할 수 없는 문제를 해결한다고 주장합니다. 동결된 인코더로부터 그래디언트 흐름을 차단하고 대안적인 경로로 유도하는 "교통 경찰(traffic cop)" 역할을 수행함으로써, VISCOP는 다음을 가능하게 합니다:

• 효과적인 도메인 전이: 사전 학습된 표현에는 존재하지 않는 도메인 특화 단서(예: 내재적 움직임, 뎁스 구조, 로봇 조작)를 학습합니다.
• 일반 능력의 보존: 모델이 다양한 입력을 처리해야 하는 실제 환경 적용 시 필수적인 소스 도메인에 대한 역량을 유지합니다.
• 중간 특징의 활용: 중간 레이어의 동결된 인코더가 최종 레이어의 표현만을 사용할 때 소실되는 가치 있는 도메인 특화 신호를 포함하고 있음을 입증합니다.

저자들은 결론적으로, VISCOP가 사전 학습된 비전 인코더 파라미터를 수정하지 않고도 두드러진 시각적 격차가 있는 비디오 도메인 적응을 위한 단순하면서도 효과적인 접근법을 제공하며, 이는 기존 방식으로는 불가능했던 능력이라고 밝히고 있습니다.