Prompt-based Adaptation in Large-scale Vision Models: A Survey

논문 개요

이 논문은 컴퓨터 비전 분야에서 대규모 모델 (Vision Transformer, Swin Transformer 등) 을 특정 하위 작업에 적응시키기 위해 등장한 프롬프트 기반 적응 (Prompt-based Adaptation, PA) 기술에 대한 최초의 포괄적인 개요 (Survey) 입니다. 기존 연구들이 프롬프트 기법 (Visual Prompting, VP) 과 프롬프트 튜닝 (Visual Prompt Tuning, VPT) 을 혼용하거나 명확히 구분하지 못했던 점을 지적하고, 이를 통합된 프레임워크로 재정의하고 체계적인 분류 체계를 제시합니다.

1. 문제 제기 (Problem)

• 전체 파인튜닝 (Full Fine-tuning) 의 한계: 대규모 비전 모델은 방대한 데이터로 사전 학습되지만, 특정 작업에 적용하기 위해 모든 파라미터를 업데이트하는 전체 파인튜닝은 계산 비용과 저장 공간이 과도하게 요구되며, 사전 학습된 지식을 손상시킬 위험이 있습니다.
• 개념의 모호성: 현재 연구 커뮤니티에서 'Visual Prompting (VP)'과 'Visual Prompt Tuning (VPT)'이 종종 혼용되어 사용되며, 두 기법의 개념적 경계와 적용 범위가 불명확합니다.
• 체계적 부재: 멀티모달이나 텍스트 프롬프트에 초점을 맞춘 기존 개요들은 비전 모델 내부의 픽셀/토큰 주입 메커니즘과 파라미터 효율적 적응 (PEFT) 을 통합적으로 다루지 못했습니다.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

저자들은 PA 를 **프롬프트가 주입되는 위치 (Granularity)**와 생성 메커니즘에 따라 다음과 같이 체계적으로 분류합니다.

A. 주입 위치 (Injection Granularity) 에 따른 구분

1. 시각적 프롬프팅 (Visual Prompting, VP):
   • 정의: 토큰화/특징 추출 전에 입력 공간 (Pixel Level) 에서 프롬프트를 조작합니다.
   • 작동 원리: 입력 이미지 $x$를 프롬프트 함수 $u(x; \theta)$를 통해 변형된 $\tilde{x}$로 만든 후, 프리셋된 (frozen) 백본 모델 $f_\phi$에 입력합니다.
   • 하위 유형:
     • VP-Fixed: 학습 가능한 파라미터가 없음 (예: SAM 의 점, 박스, 마스크). 사용자 정의 또는 규칙 기반.
     • VP-Learnable: 픽셀 공간에서 프롬프트 파라미터 $\theta$를 학습 (예: 오버레이, 잔차, 주파수 신호).
     • VP-Generated: 작은 생성기 $g_\psi$를 사용하여 입력 이미지별 적응형 프롬프트를 생성.
2. 시각적 프롬프트 튜닝 (Visual Prompt Tuning, VPT):
   • 정의: 백본 모델 내부의 **토큰/특징 시퀀스 (Token Level)**에 프롬프트를 주입합니다.
   • 작동 원리: 백본 파라미터 $\phi$는 고정하고, 학습 가능한 프롬프트 토큰 $P$와 작업 헤드 $h_\omega$만 학습합니다.
   • 하위 유형:
     • VPT-Learnable: 고정된 수의 학습 가능한 토큰을 레이어의 시작 (Shallow) 또는 모든 레이어 (Deep) 에 추가.
     • VPT-Generated: 입력이나 작업 조건에 따라 프롬프트 토큰을 동적으로 생성하는 생성기 사용.

B. 생성 메커니즘 (Generation Mechanism)

• Fixed: 학습 없이 미리 정의됨 (인터랙션 및 해석 가능성 우수).
• Learnable: 그라디언트 기반 최적화를 통해 학습됨 (도메인 적응에 강력하지만 정적임).
• Generated: 입력별 (Instance-adaptive) 로 동적으로 생성됨 (복잡한 환경에 강하지만 계산 오버헤드 존재).

3. 주요 기여 (Key Contributions)

1. 통합 분류 체계 (Unified Taxonomy): VP 와 VPT 를 명확히 구분하고, 이를 픽셀/토큰 주입 및 고정/학습/생성 메커니즘에 따라 체계적으로 분류한 최초의 개요를 제시했습니다.
2. 다양한 도메인 및 제약 조건 분석:
   • 기초 비전 작업: 분할, 복원/향상, 압축 등.
   • 도메인 특화 응용: 의료 영상, 원격 탐사, 로봇 공학, 산업 검사, 자율 주행, 3D 포인트 클라우드, 비디오 이해 등.
   • 제약 조건 하의 적응: 소수 샷 (Few-shot), 무감독 도메인 적응 (UDA), 테스트 시간 적응 (TTA), 블랙박스/페더레이티드 러닝 환경 등.
3. 신뢰할 수 있는 AI (Trustworthy AI) 관점: PA 가 강건성 (Robustness), 공정성 (Fairness), 프라이버시 및 보안 (Privacy & Security) 에 미치는 영향을 분석했습니다.
4. 이론적 분석 및 기초 연구: PA 가 모델의 행동 (Attention 맵) 을 어떻게 변화시키는지, 프롬프트가 무엇을 학습하는지, 그리고 최적의 프롬프트 길이와 배치 전략에 대한 이론적 통찰을 제공합니다.

4. 주요 결과 및 통찰 (Results & Insights)

• 효율성 비교:
  • VPT: 파라미터와 옵티마이저 상태는 크게 줄이지만, 백본을 통과해야 하므로 활성화 메모리 (Activation Memory) 는 전체 파인튜닝과 유사하게 유지됩니다.
  • VP: 특히 Fixed VP 는 학습 파라미터가 없어 메모리 오버헤드가 거의 없으며, 블랙박스 환경 (API 만 접근 가능) 에 적합합니다.
• 성능 및 적용 시나리오:
  • VP: 입력 공간 수정이 필요한 경우 (예: 의료 분할의 SAM, 악천후 조건에서의 입력 보정) 에 효과적이며, 블랙박스 배포에 유리합니다.
  • VPT: 심층 의미적 적응이 필요한 경우 (예: 원격 탐사, 3D 포인트 클라우드, 비디오 시간적 맥락) 에 더 우수한 성능을 보입니다.
• 도메인별 전략:
  • 의료/산업: VP (특히 SAM 기반) 가 분할 및 이상 탐지에 널리 사용됨.
  • 자율 주행: 악천후 대응을 위해 VP(입력 보정) 와 VPT(도메인 정렬) 가 모두 활용됨.
  • 3D/비디오: 3D 데이터의 희소성 처리를 위해 VP(투사) 와 VPT(토큰 주입) 가 혼용됨.
• 이론적 발견:
  • VP 는 학습된 픽셀 패턴을 통해 사전 학습된 표현을 새로운 클래스에 매핑합니다.
  • VPT 의 프롬프트 토큰은 학습 과정에서 패치 토큰 (patch tokens) 의 분포에 점진적으로 수렴하며, 상호 정보량 (NMI) 이 증가합니다.
  • 프롬프트 길이는 비선형적인 영향을 미치며, 너무 많은 프롬프트는 성능 향상을 가져오지 않을 수 있습니다.

5. 의의 및 향후 과제 (Significance & Future Directions)

• 의의: 이 개요는 연구자와 실무자가 PA 기술의 특성을 명확히 이해하고, 특정 응용 분야 (데이터 제약, 블랙박스 환경, 실시간성 등) 에 맞는 최적의 적응 전략을 선택할 수 있는 로드맵을 제공합니다.
• 남은 과제 (Challenges):
  • 안전성 (Safety): 프롬프트를 악용한 백도어 공격 및 편향 증폭 위험에 대한 대응 필요.
  • 학습 안정성 및 오버헤드: VPT 의 하이퍼파라미터 검색 비용과 초기화 민감성, VP 의 불안정성 해결 필요.
  • 추론 지연 (Latency): 프롬프트 생성 및 주입으로 인한 추가적인 지연 시간 최적화.
  • 실제 환경 평가: 학술적 벤치마크를 넘어 복잡하고 동적인 실제 세계 (Real-world) 데이터에서의 성능 검증 필요.

이 논문은 대규모 비전 모델의 효율적 적응을 위한 핵심 기술로서 PA 의 현재 상태와 미래 방향성을 정립하는 중요한 이정표가 될 것입니다.