기술 요약: TACO – 비디오 인식을 위한 과업 일관적 개방형 어휘 적응 (Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition)

1. 문제 정의

본 논문은 대규모 시각-언어 모델(VLM), 특히 CLIP을 **개방형 어휘 비디오 인식(open-vocabulary video recognition)**을 위해 적응시키는 과제를 다룹다. CLIP은 이미지-텍스트 사전 학습을 통해 미학습 시각 개념에 대해 강력한 일반화 능력을 제공하지만, 이를 비디오 도메인으로 적응시키기 위해서는 사전 학습된 일반화 능력을 파괴하지 않으면서 비디오 특유의 시간적 지식을 주입해야 한다.

저자들은 기존의 미세 조정(fine-tuning) 패러다임에서 발생하는 결정적인 **불일치(inconsistency)**를 식별하였다:

• 학습 목적 함수(Training Objective): 최적화가 엄격하게 내부 분포(In-Distribution, ID) 공간(미세 조정 데이터셋에 포함된 특정 카테 category)에 국한된다.
• 평가 목적 함수(Evaluation Objective): 모델은 외부 분포(Out-of-Distribution, OOD) 공간(학습되지 않은 카테고리)에서 평가된다.

기존 방법들은 정규화(regularization)를 사용하여 일반화와 특수화 사이의 균형을 맞추려 시도하지만, 학습 분포 너머에서 발생하는 **표현의 편차(deviation of representations)**는 간과한다. 본 논문은 표준적인 미세 조정이 OOD 공간에서 시각 및 텍래 임베딩을 서로 다른 방향으로 표류하게 만들어, 사전 학습된 CLIP 모델이 구축한 교차 모달 정렬(cross-modal alignment)을 저해한다고 주장한다. 이러한 "정렬 이동(alignment shift)"은 미학습 비디오 카테고리에 대한 모델의 일반화 능력을 직접적으로 약화시킨다.

2. 방법론: TACO 프레임워크

표현 편차의 부정적 효과를 완화하기 위해, 저자들은 두 가지 핵심 구성 요소로 구축된 TACO 프레임워크를 제안한다.

A. 상대적 구조 증류 (Relative Structure Distillation, RSD)

OOD 의미론을 명시적으로 모델링하는 대신(이는 비용이 많이 드는 데이터 수집을 요구함), TACO는 전체 표현 공간의 상대적 기하학적 구조를 보존하도록 정규화한다.

• 메커니즘: 이 방법은 CLIP 임베딩 공간의 단위 초구(unit hypersphere)에서 샘플링된 **무작위 기하학적 앵커(Random Geometric Anchors, $Z$)**를 도입한다. 이 앵커들은 공간 전체에 균일하게 분포되어 있으며, 의미적으로는 중립적이지만 기하학적 참조점 역할을 한다.
• 증류 목적 함수: 학생(student)의 임베딩(시각 및 텍스트)과 앵커 사이의 상대적 관계를 교사(teacher) 모델(학생의 지수 이동 평균)과 정렬하기 위해 쿨백-라이블러(KL) 발산 손실을 적용한다.
  • 손실 함수($L_{RSD}$)는 $vZ^\top$ 및 $ZW^\top$에 의해 정의된 기하학적 구조가 학생과 교사 모델 사이에서 일관되게 유지되도록 보장한다.
• 효과: 이는 미세 조정 과정에서 임베딩이 OOD 공간에서 임의로 표류하는 것을 방지하며, 명시적인 OOD 감독 데이터 없이도 유해한 정렬 이동을 효과적으로 억제한다.

B. 특수화 투영 (Specialization Projection)

저자들은 표준 미세 조정이 공유 표현 공간을 태스크 특화적인 교차 엔트로피(Cross-Entropy, CE) 손실에 직접 노출시켜 과도한 특수화를 초래한다는 점을 관찰하였다.

• 메커격: 시각 인코더와 최적화 공간 사이에 가벼운 잔차 선형 투영 레이어($h(\cdot)$)를 삽insert한다.
  • 표현 공간(인코더의 출력)을 최적화 공간(CE 손실의 입력)과 별도로 유지한다.
  • 투영 헤드(projection head)는 더 높은 학습률로 훈련되며 추론 시에는 폐기된다.
• 효과: 이는 표현 공간을 CE 목적 함수의 직접적인 압박으로부터 분리한다. 태스크 특화 적응은 "폐기 가능한" 투영 브랜치에서 발생하며, 이를 통해 근본적인 표현 공간의 미학습 카테고리에 대한 일반화 능력을 보존한다.

전체 손실 함수는 표준 교차 엔트로피 손실($L_{CE}$)과 상대적 구조 증류 손실($L_{RSD}$)을 결합한다:
$$L = L_{CE} + \lambda L_{RSD}$$

3. 주요 기여

1. 문제 재정의: 본 논문은 비디오 인식에서 ID 기반 미세 조정과 OOD 기반 평가 사이의 목적 불일치를 식별하고 분석하며, 표준 미세 조정이 OOD 공간에서 표현 표류와 정렬 이동을 유발함을 입증한다.
2. 상대적 구조 증류: 무작위 기하학적 앵커를 사용하여 임베딩 공간의 전역적 기하학적 구조를 보존하는 새로운 정규화 기술을 제안하며, 이를 통해 명시적인 OOD 데이터 없이도 OOD 편차를 효과적으로 억제한다.
3. 표현-최적화 분리: 특수화 투영을 사용하는 일반적인 아키텍처 전략을 통해 공유 표현 공간이 훈련 목적 함수에 의해 직접적으로 과도하게 특수화되는 것을 방지한다.
4. 최첨단 성능(SOTA): 다양한 벤치마크를 통해 프레임워크를 검증하여 기존 방법들보다 일관된 개선을 보여준다.

4. 실험 결과

저자들은 ViT-B/16 및 Vi-L/14 백본을 사용하여 교차 데이터셋(Cross-Dataset) 및 베이스-투-노벨(Base-to-Novel) 설정에서 TACO를 평가한다.

• 교차 데이터셋 성능: TACO는 UCF-101, HMDB-51, Kinetics-600에서 기존의 최첨단 방법들(예: Open-VCLIP, FROSTER, MoTE)을 능가한다. 예를 들어, ViT-L/14 백본을 사용할 때 TACO는 UCF-101에서 91.4%, HMDB-51에서 **64.2%**를 달성하여 이전 최고 성능인 MoTE를 상당한 차이로 앞질렀다.
• 베이스-투-노벨 성능: TACO는 K400, HMDB, UCF, Something-Something v2 전반에서 가장 높은 조화 평균(Harmonic Mean, HM)을 달성하였으며, 이는 훈련 카테고리에 적합시키는 능력과 새로운 카테고리로 일반화하는 능력 사이의 우수한 균형을 나타낸다.
• 절제 연구(Ablation Studies):
  • 앵커: 가우시안 분포($N(0, I)$)에서 샘플링된 무작위 기하학적 앵커가 LLM이나 텍스트 코퍼스에서 유도된 의미론적 앵커보다 우수한 성능을 보였으며, 이는 이득이 의미적 내용이 아닌 기하학적 커버리지에서 온다는 것을 확인시켜 준다.
  • 분리(Decoupling): 특수화 투영은 다양한 적응 유형(Adapter-based, Prompt-based, LoRA, Full Fine-tuning)에서 효과적임이 입증되었으며, 이는 해당 방법이 근본적인 적응 메커니즘에 대해 직교적(orthogonality)임을 증명한다.
  • 정렬 이동: 실험을 통해 TACO가 표준 미세 조정에 비해 OOD 공간에서의 KL 발산(정렬 이동)을 줄인다는 것을 확인하였으며, 이는 개선된 일반화 성능과 상관관계가 있다.

5. 의의 및 주장

본 논문은 TACO가 개방형 어휘 비디오 인식에서 일반화-특수화 트레이드오프에 대한 단순하면서도 효과적인 솔루션을 제공한다고 주장한다. 이 연구의 주요 의의는 단순히 훈련 분포 내의 제약을 추가하는 것을 넘어, 훈련 분포 너머의 표현 공간의 일관성을 보존하는 것으로 초점을 전환했다는 데 있다.

기하학적 정규화와 아키텍처적 분리를 통해 OOD 공간의 편차를 명시적으로 다룸으로써, TACO는 모델이 CLIP으로부터 물려받은 견고하고 전이 가능한 정렬을 유지하면서 비디오 특유의 지식을 습득할 수 있게 한다. 저자들은 이 접근 방식이 확장 가능하며, 다양한 적응 파이프라인에 쉽게 통합될 수 있고, 복잡한 시간적 모델링 모듈이나 비용이 많이 드는 OOD 데이터 수집 없이도 최첨단 결과를 달성한다고 강조한다.