Robust Adaptation of Foundation Models with Black-Box Visual Prompting

1. 연구 배경 및 문제 정의 (Problem)

대규모 사전 학습 모델 (PTM, Foundation Models) 의 등장으로 파라미터 효율적 전이 학습 (PETL) 이 주목받고 있습니다. 그러나 기존 PETL 방법론들은 다음과 같은 두 가지 비현실적인 가정에 의존하고 있어 실제 적용에 한계가 있습니다.

1. 모델 파라미터 접근성: PTM 의 전체 파라미터나 아키텍처에 대한 완전한 접근이 가능해야 함 (White-box). 하지만 실제 산업 현장에서는 PTM 이 블랙박스 API 나 독점 소프트웨어로 제공되어 파라미터 접근이 제한적입니다.
2. 메모리 요구량: 그래디언트 계산을 위해 모든 중간 활성화 (intermediate activations) 를 캐시할 수 있는 충분한 메모리 용량이 필요함. 대규모 모델의 경우 이는 막대한 비용과 하드웨어 제약을 초래합니다.

따라서, 모델의 내부 구조나 파라미터를 알 수 없는 블랙박스 환경에서도, 메모리 효율적으로 PTM 을 다양한 하위 작업에 적응시키는 robust 한 방법이 필요합니다.

2. 제안 방법론: BlackVIP (Methodology)

저자들은 **Black-Box Visual Prompting (BlackVIP)**을 제안합니다. 이는 PTM 의 아키텍처나 파라미터를 알지 못하더라도 입력 공간 (Input Space) 에서만 학습 가능한 시각적 프롬프트를 통해 모델을 적응시키는 프레임워크입니다.

핵심 구성 요소

1. Coordinator (입력 의존적 프롬프트 생성기):

   • 기존 시각적 프롬팅 (Visual Prompting, VP) 이 고정된 영역에 수동으로 프롬프트를 추가하거나 입력과 무관한 공통 프롬프트를 사용하는 것과 달리, 입력 이미지마다 다른 프롬프트를 생성합니다.
   • 구조: 고정된 인코더 (Encoder) 가 입력 이미지를 저차원 특징으로 변환하고, 이를 학습 가능한 '프롬프트 트리거 벡터'와 결합하여 경량 디코더 (Decoder) 를 통해 이미지 크기와 동일한 시각적 프롬프트를 생성합니다.
   • 효과: 이미지의 의미론적 구조를 유연하게 변경하여 분포 이동 (Distribution Shift) 이나 잡음에 강인한 적응이 가능합니다.

2. SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction):

   • PTM 이 블랙박스이므로 실제 그래디언트를 알 수 없습니다. 이를 위해 0 차 최적화 (Zeroth-order Optimization) 기법인 SPSA 를 사용합니다.
   • SPSA-GC 의 혁신: 기존 SPSA 는 고차원 문제에서 수렴 속도가 느리고 노이즈에 민감한 단점이 있습니다. 저자들은 Nesterov-style Look-ahead 메커니즘을 도입하여 그래디언트 추정을 보정 (Correction) 하는 모멘텀 기반 업데이트 규칙을 제안했습니다.
   • 이는 그래디언트 추정의 노이즈를 줄이고 수렴 속도를 획기적으로 개선합니다.

3. BlackVIP-SE (Statistical feature-guided Efficient prompt):

   • BlackVIP 의 Coordinator 에 사용되는 보조 PTM 인코더 (예: ViT) 를 제거하고, PCA(주성분 분석) 기반의 통계적 특징 추출기로 대체한 변형입니다.
   • 장점: 추가적인 모델 추론이 불필요하여 학습 및 추론 속도가 매우 빠르고, 파라미터 수가 극도로 적어 (약 1K) 메모리 및 계산 비용이 최소화됩니다.

3. 주요 기여 (Key Contributions)

1. 블랙박스 환경에서의 효율적 적응: PTM 의 파라미터 접근 없이도 소량의 파라미터 (9K 또는 1K) 만으로 다양한 도메인과 작업에 적응 가능한 BlackVIP 와 BlackVIP-SE 를 제안했습니다.
2. 새로운 최적화 알고리즘 (SPSA-GC): 고차원 블랙박스 최적화 문제에서 기존 SPSA 의 수렴 속도와 안정성 문제를 해결한 그래디언트 보정 기법을 도입했습니다.
3. 이론적 분석 (일반화 및 강인성): 시각적 프롬팅 방법이 **랜덤화 스무딩 (Randomized Smoothing)**의 인증된 강인성 (Certified Robustness) 과 연결됨을 이론적으로 증명했습니다. 즉, 학습된 프롬프트가 입력에 가우시안 노이즈를 추가하는 스무딩 분류기 역할을 하여, $L_2$ 노이즈와 분포 이동에 대한 일반화 성능을 보장함을 보였습니다.
4. 광범위한 실험: 19 개의 데이터셋 (자연물, 세밀한 분류, 위성 이미지, 행동 인식 등) 에서 기존 방법론 (BAR, VP 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능: 14 개의 벤치마크 데이터셋에서 BlackVIP 는 Zero-shot 성능을 13/14 개, BlackVIP-SE 는 14/14 개에서 모두 향상시켰습니다. 특히 CLEVR(시각적 추론) 과 같은 복잡한 작업에서 기존 방법론보다 월등히 좋은 성능을 보였습니다.
• 강인성 (Robustness):
  • Biased MNIST: 배경색과 라벨의 허위 상관관계 (Spurious Correlation) 가 있는 환경에서 BlackVIP 는 기존 방법론보다 훨씬 높은 정확도를 기록하며, 입력 의존적 프롬프트가 허위 특징을 우회하는 능력을 입증했습니다.
  • Loc-MNIST: 객체 위치가 변하거나 가짜 객체가 중심에 있는 환경에서도 robust 하게 성능을 유지했습니다.
  • WILDS (실제 분포 이동): Camelyon17, iWildCam 등 실제 세계의 분포 이동 데이터셋에서도 우수한 적응 능력을 보였습니다.
• 효율성:
  • 메모리: 백색상자 (White-box) 파인튜닝에 비해 학습 시 피크 메모리 사용량을 대폭 줄였습니다 (예: ViT-B 기준 2.4GB → 1.3GB).
  • 쿼리 효율성: API 호출 횟수 대비 성능 향상 폭이 커서 비용 효율적입니다.
  • 속도: BlackVIP-SE 는 기존 프롬팅 방법론과 유사한 추론 속도를 유지하면서 높은 정확도를 달성했습니다.
• 백색상자 환경에서의 검증: PTM 파라미터 접근이 가능한 환경 (White-box) 에서도 BlackVIP 의 프롬프트 설계가 기존 SOTA 방법 (CoOp, LoRA 등) 보다 우수한 성능을 보여, 프롬프트 설계 자체의 우수성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 AI 모델의 **실제 배포 환경 (블랙박스 API, 제한된 리소스)**을 고려한 최초의 체계적인 시각적 프롬팅 솔루션을 제시했다는 점에서 의의가 큽니다.

• 실용성: 고가의 GPU 메모리나 모델 소스코드 접근 없이도 클라우드 기반 PTM 을 효율적으로 활용할 수 있는 길을 열었습니다.
• 이론적 통찰: 시각적 프롬팅이 단순한 튜닝을 넘어, 확산된 스무딩 (Smoothed) 분류기로서 작동하여 모델의 강인성을 본질적으로 향상시킨다는 이론적 근거를 제공했습니다.
• 확장성: BlackVIP-SE 를 통해 통계적 특징 기반의 초경량 적응 방식을 제시하여, 에지 디바이스나 저사양 환경에서도 PTM 활용이 가능함을 보여주었습니다.

결론적으로, BlackVIP 는 PTM 의 블랙박스 한계를 극복하고, 메모리 효율성과 강인성을 동시에 확보한 차세대 전이 학습 패러다임을 제시합니다.