1. 문제 정의 (Problem Statement)

• 기존 시각 표현의 한계: DINOv2, MAE 와 같은 사전 학습된 비전 트랜스포머 (ViT) 는 다양한 다운스트림 작업 (검색, 분류, 분할 등) 에 적용 가능한 강력한 일반적 시각 특징을 제공합니다. 그러나 이러한 표현들은 이미지 내의 가장 눈에 띄는 (salient) 객체에 집중하는 경향이 있습니다. 예를 들어, 실내 장면에서 고양이가 주된 객체라면 고양이에만 집중하고 리모컨이나 책장 같은 덜 두드러진 객체는 무시합니다.
• 멀티모달 LLM 의 한계: 텍스트 프롬프트로 안내가 가능한 멀티모달 LLM 은 있지만, 그 표현은 언어 중심적 (language-centric) 이어서 일반적인 시각 작업의 성능이 떨어지며, 시각 인코더의 내부 처리 과정에 텍스트가 개입되지 않아 (Late Fusion) 시각적 정밀도가 낮아집니다.
• 핵심 과제: 기존 비전 인코더의 **표현 품질 (Representation Quality)**을 유지하면서, 자연어 프롬프트를 통해 **어떤 객체에 집중할지 (Steerability)**를 제어할 수 있는 새로운 시각 표현의 필요성이 대두되었습니다.

2. 제안 방법: SteerViT (Methodology)

저자들은 SteerViT라는 새로운 프레임워크를 제안하여, 사전 학습된 비전 인코더를 자연어로 '조종 (Steer)'할 수 있게 합니다.

• 핵심 아키텍처 (Early Fusion):
  • 기존 모델들이 텍스트와 시각 특징을 인코딩 후 결합하는 Late Fusion을 사용하는 반면, SteerViT 는 Early Fusion 방식을 채택합니다.
  • 동결된 (Frozen) ViT 블록 내부에 가벼운 가변적 크로스 어텐션 (Gated Cross-Attention) 레이어를 삽입합니다.
  • 텍스트 인코더 (RoBERTa-Large) 의 토큰 임베딩을 시각 패치 토큰의 키 (Key) 와 값 (Value) 으로 사용하여, 시각 특징이 텍스트 프롬프트에 직접적으로 반응하도록 합니다.
• 게이트 메커니즘 (Gating Mechanism):
  • 크로스 어텐션 출력은 $\tanh(\alpha_\ell)$ 게이트를 통해 잔여 스트림 (Residual Stream) 에 통합됩니다.
  • $\alpha_\ell$은 0 으로 초기화되어, 학습 시작 시에는 원본 ViT 와 동일하게 동작하다가 학습을 통해 점차 텍스트 조건부 정보를 주입합니다.
  • 추론 시에는 이 게이트 인자를 조절하여 (0~1 사이) 원본 ViT 의 특성과 텍스트 조종 특성을 연속적으로 조절할 수 있습니다.
• 학습 목표 (Training Objective):
  • **참조 분할 (Referential Segmentation)**을 프락시 작업 (Pretext Task) 으로 사용합니다.
  • 이미지와 텍스트 프롬프트 (예: "중앙의 개") 가 주어졌을 때, 해당 객체에 대응하는 패치 (Patch) 를 예측하도록 학습합니다.
  • 픽셀 단위가 아닌 ViT 의 패치 단위로 분할 마스크를 생성하여 계산 효율성을 높이고, 텍스트가 시각 특징의 공간적 분포를 재구성하도록 유도합니다.
• 데이터: RefCOCO, Visual Genome, LVIS, Mapillary Vistas 등 다양한 참조 분할 및 그라운딩 데이터셋을 혼합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. SteerViT 프레임워크 도입: 사전 학습된 임의의 비전 인코더 (DINOv2, MAE, SigLIP 등) 에 텍스트 기반 조종 기능을 추가하는 새로운 방법론을 제시했습니다. 오직 21M 개의 추가 학습 가능 파라미터만으로 구현됩니다.
2. 파레토 개선 (Pareto Improvement): 기존 방법들은 조종성 (Steerability) 과 표현 품질 (Representation Quality) 사이에서 트레이드오프 관계에 있었으나, SteerViT 는 두 가지 특성을 모두 동시에 달성합니다.
3. 제로샷 일반화 (Zero-Shot Generalization): 특정 작업에 대한 추가 학습 (Fine-tuning) 없이도 텍스트 프롬프트를 통해 새로운 도메인 (개인화된 객체 식별, 산업용 이상 탐지 등) 으로의 전이가 가능합니다.

4. 실험 결과 (Results)

저자들은 CORE (COnditional REtrieval) 벤치마크를 새로 제안하여 조종성을 평가하고, 다양한 작업에서 SteerViT 의 성능을 검증했습니다.

• 조건부 이미지 검색 (CORE Benchmark):
  • 특정 객체 (예: "부엌의 과일 그릇") 를 프롬프트로 주어 검색할 때, 기존 DINOv2 는 장면 전체 (부엌) 에 집중하여 43.7% 의 정확도를 보인 반면, SteerViT 는 96.0% 의 정확도를 기록했습니다.
  • 텍스트가 잘못된 객체를 지시할 경우 성능이 급격히 하락하여, 시각 특징이 실제로 텍스트에 의해 제어됨을 입증했습니다.
• 표현 품질 유지:
  • 텍스트 조종 기능을 추가했음에도, ImageWoof, StanfordCars 와 같은 분류 작업 및 ADE20k 분할 작업에서 원본 ViT 의 성능을 유지하거나 오히려 향상시켰습니다.
  • 특히 MAE 의 경우, 텍스트 조건부 학습이 시각 특징에 의미론적 구조를 부여하여 오히려 표현 품질이 향상되었습니다.
• 다양한 다운스트림 작업:
  • 개인화된 객체 식별 (PODS): "내 머그컵"과 같은 구체적인 설명을 프롬프트로 주면, SteerViT 는 일반 머그컵과 구별되는 세밀한 특징을 추출하여 기존 DINOv2 를 능가하는 성능을 보였습니다.
  • 이상 탐지 (Anomaly Detection): MVTec AD 데이터셋에서 텍스트 프롬프트 ("<객체>의 이상") 를 사용하여 Zero-shot으로 이상 영역을 분할했습니다. 전용 이상 탐지 모델 (FADE 등) 과 경쟁하는 수준의 성능 (PRO 82.1) 을 보였습니다.
• 임베딩 공간 재구성:
  • UMAP 시각화를 통해 텍스트 프롬프트에 따라 임베딩 공간의 클러스터링 기준이 바뀔 수 있음을 확인했습니다. (예: "동물" 프롬프트 시 동물 클래스끼리 모이고, "눈" 프롬프트 시 눈이 있는 모든 객체가 모이는 등)

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존의 "시각을 언어에 맞추는 (Language-conditioned Vision)" 방식에서 벗어나, "언어로 시각 인코더를 조종하는 (Vision-conditioned by Language)" 새로운 패러다임을 제시했습니다.
• 효율성: 수십억 개의 파라미터를 가진 대규모 멀티모달 LLM 을 사용하는 대신, 동결된 ViT 에 소수의 파라미터만 추가하여 동일한 수준의 조종성과 더 높은 시각적 정밀도를 달성했습니다.
• 유연성: 텍스트 프롬프트의 세밀함 (Coarse vs. Fine-grained) 을 조절함으로써 시각 특징의 추상화 수준과 세분화 정도를 실시간으로 제어할 수 있어, 다양한 응용 분야에 유연하게 적용 가능합니다.

결론적으로 SteerViT 는 자연어를 통해 시각 모델의 '주의 (Attention)'와 '의미 (Semantics)'를 사용자가 원하는 대로 자유롭게 제어하면서도, 모델이 가진 원래의 강력한 시각 표현 능력을 잃지 않는 획기적인 기술입니다.