기술 요약: 비전 파운데이션 모델에서의 미분 가능한 탐색을 통한 계층별 프롬프트 융합 발견

1. 문제 정의

시각적 프롬프트 튜닝(Visual Prompt Tuning, VPT)은 대규모 비전 트랜스포머(ViT)를 다운스트림 태스크에 적응시키기 위한 매개변수 효율적 미세 조정(PEF) 전략으로 부상했습니다. 표준 VPT에서 학습 가능한 프롬프트 토큰은 동결된 ViT 백본의 입력 및 특징 공간에 주입됩니다. 핵심 연산은 프로프트 토큰이 트랜스포머 레이어에 진입하기 전 이미지 토큰과 융합되는 과정을 포함합니다.

현재 커뮤니티는 모든 트랜스포머 레이어에 균일하게 적용되는 단일 고정 융합 방식인 연결(concatenation) 또는 **더하기(addition)**를 주로 사용하고 있습니다. 본 논문은 이러한 접근 방식의 근본적인 결함을 지적합니다. 즉, 단일 융합 방식이 모든 레이어와 태스크에 최적인지, 그리고 하이브리드 융합 방식(다양한 레이어에 서로 다른 방식을 결합하는 것)이 ViT의 레이어별 의미론적 특성을 더 잘 활용할 수 있는지 여부가 밝혀지지 않았다는 점입니다. 기존 문헌은 융합 규칙 자체를 학습 가능한 구성 요소로 탐구하기보다는 정적인 하이퍼파라미터로 취급하는 경우가 드뭅니다.

2. 방법론: 오토-프롬프팅(Auto-Prompting)

저자들은 프롬프트와 이미지 토큰 사이의 융합을 탐색 가능하고 미분 가능한 구성 요소로 취급하는 **오토-프롬프팅(Auto-Prompting)**이라는 통합 프레임워크를 제안합니다. 이 방법은 **미분 가능한 신경 구조 탐색(DARTS)**을 통해 해결되는 이중 레벨 최적화(bi-level optimization) 문제로 정식화되었습니다.

2.1 탐색 공간 설계

표준적인 연결 및 더하기를 넘어 탐색 공간을 풍부하게 하기 위해, 저자들은 두 가지 추가적인 경량 융합 연산자를 도입했습니다:

1. 연결 ($\Delta_{concat}$): 프롬프트 토큰을 이미지 토큰 앞에 배치하고, 고정된 백본 인터페이스($k \times d$)를 유지하기 위해 토큰 보존형 축소 행렬을 적용합니다.
2. 더하기 ($\Delta_{add}$): 프롬프트를 LayerNorm-mean으로 요약하고 이를 브로드캐스팅하여 프롬프트 의존적 잔차 바이어스(residual bias)를 주입합니다.
3. 아핀 변환 ($\Delta_{affine}$): 피처별 선형 변조(Feature-wise Linear Modulation, FiLM)를 적용하며, 프롬프트 요약을 사용하여 채널별 스케일 및 시프트 파라미터를 생성합니다.
4. 교차 주의 집중 ($\Delta_{cross}$): 이미지 토큰이 프롬프트 메모리(키/값 소스로 취급됨)를 참조하도록 하는 콘텐츠 적응형 라우팅을 가능하게 합니다.

2.2 이중 레벨 최적화

프레임워크는 두 단계로 작동합니다:

• 내부 루프 (학습): 훈련 세트에서 학습 가능한 프롬프트 파라미터($\phi$)와 융합 연산자의 내부 가중치를 최적화합니다.
• 외부 루프 (검증): 각 레이어에서 융합 연산자의 혼합 가중치($\pi$)를 결정하는 아키텍처 로짓($\alpha$)을 최적화합니다. 이는 검증 손실의 아키텍처 파라미터에 대한 그래디언트를 근사하기 위해 헤시안-벡터 곱(Hessian-vector product)을 사용하는 일보 전개 근사(one-step unrolled approximation)를 통해 수행됩니다.

외부 목적 함수에는 다음의 정규화 항이 포함됩니다:

• 엔트로피 정규화: 단일 연산자로 조기에 수렴하는 것을 방지하기 위해 탐색 공간에 대한 탐색(exploration)을 장려합니다.
• 비용 정규화: 무거운 연산자(Affine/Cross-Attention)가 상당한 정확도 이득을 제공하지 않는 한, 더 가벼운 연산자(Add/Concat) 쪽으로 탐색을 유도하여 정확도-지연 시간 간의 트레이드오프를 보장합니다.

2.3 이산화(Discretization)

탐색 단계 이후, 연속적인 혼합 가중치는 각 레이어에서 확률이 가장 높은 연산자를 선택함으로써 이산화됩니다. 이후 성능 회복을 위해 짧은 미세 조정 단계가 뒤따릅니다.

2.4 이론적 관점: 정보 병목(Information Bottleneck, IB)

저자들은 정보 병목 원리를 통해 이 방법을 해석합니다. 그들은 프롬프트와 융합 방식을 공동으로 최적화하는 것이 프롬프트만을 최적화하는 것보다 더 낮은 경험적 IB 대리값(surrogate)을 이끌어낸다는 것을 관찰했습니다. 구체적으로, 학습된 하이브리드 융합은 더 깊은 레이어가 입력 의존적 변동성을 압축(reducing $I(T; X)$)하는 동시에 레이블 정보와의 정렬을 개선(increasing $I(T; Y)$)하도록 하여, 더 유리한 압축-관련성 트레이드오프를 제공함을 보여줍니다.

3. 주요 기여

1. 근본적 질문 제기: 본 논문은 단일 융합 방식이 충분하다는 가설에 도전하며, 고정된 융합(연결 또는 더하기)이 다양한 태스크와 레이어에서 최적의 성능을 내지 못한다는 점을 밝혀냈습니다.
2. 새로운 최적화 프레임워크: 미분 가능한 구조 탐색을 통해 프롬프트와 레이어별 융합 규칙을 공동으로 학습하는, 이중 레벨 최적화 문제로 정식화된 하이브리드 융합 방법을 제안합니다.
3. 탐색 공간 확장: 아핀 변환과 교차 주의 집중을 새로운 경량 프리미티브로 VPT 탐색 공간에 도입하여, 더욱 표현력이 높으면서도 효율적인 융합 기반을 구축했습니다.
4. 포괄적 검증: 본 연구는 IB를 통한 이론적 해석과 광범적인 경험적 평가를 모두 제공하여, 시각적 프롬프트 튜닝에서 하이브리드 융합의 필요성과 확장성에 대한 핵심 질문에 답합니다.

4. 실험 결과

본 방법은 세 가지 주요 벤치마크인 VTAB-1k(19개 데이터셋), FGVC(5개 미세 조정 데이터셋), HTA(10개 다양한 데이터셋)에 걸친 34개 데이터셋에서 평가되었습니다. 백본은 동결된 ViT-Base/16을 사용했습니다.

• 성능 향상:

  • VTAB-1k: 평균 정확도 **77.01%**를 달성하여, 강력한 VPT-Deep 베이스라인(69.43%)보다 +7.58%, 최근 변형인 VFPT(75.49%)보다 +1.52% 높은 성능을 보였습니다.
  • FGVC: 평균 정확도 **92.5%**를 달성하여, VPT-Deep(85.5%)보다 +7.0% 앞섰습니다.
  • HTA: 평균 정확도 **91.6%**를 달성하여, VPT-Deep(85.5%)보다 +6.1% 개선되었습니다.
  • 매개변수 효율성: 본 방법은 (태스크별 헤드를 포함하여) ViT 파라미터의 단 **0.75%**만을 튜닝하며, 이는 다른 SOTA PEFT 방법들과 대등하거나 더 낮습니다.

• 일반화 능력:

  • 방법론은 서로 다른 사전 학습 패러다임(MAE 및 MoCo v3) 전반에서 견고함을 입증했으며, 재구성 중심(reconstruction-centric) 및 대조 학습(contrastive) 목적 함수 모두에서 베이스라인을 일관되게 능가했습니다.
  • 또한 Swin-Base에서도 검증되어, 계층적 백본에 대해서도 유사한 이득과 적응성을 보여주었습니다.

• 절제 연구(Ablation Studies):

  • 단일 vs. 하이브리드: 단일 연산자(Concat, Add, Affine, 또는 Cross-Attention) 중 어느 것도 균일하게 최적은 아니었습니다. 탐색 가능한 하이브리드 접근 방식이 모든 고정 단일 연산자 베이스라인보다 일관되게 우수한 성능을 보였습니다.
  • 계층별 패턴: 분석 결과, 얕은 레이어는 구조적 단서를 보존하기 위해 경량 연산자(Concat/Add)를 선호하는 반면, 깊은 레이어는 특징 교정 및 콘텐츠 적응형 라ู팅을 위해 의미론적 연산자(Affine/Cross-Attention)로 전환됨을 발견했습니다.
  • 효율성: 탐색 단계에서 발생하는 훈련 오버헤드(약 1.38x VPT-Deep)에도 불구하고, 최종 이산화된 모델은 상당한 정확도 향상을 제공하면서도 추론 지연 시간은 단 7.4%(15.9ms vs 14.8ms)만 증가했습니다.

5. 의의 및 주장

본 논문은 프롬프트가 이미지 토큰과 어떻게 융합되는지가 시각적 프롬프트 튜닝의 일반화에 있어 1차적인 결정 요인이라고 주장합니다. 고정된 융합 방식에서 계층별 학습된 하이브리드 융합으로 전환함으로써, 본 방법은 ViT 레이어의 뚜렷한 표현 요구 사항을 효과적으로 활용합니다.

저자들은 자신들의 연구가 신경 구조 탐색(NAS)과 경량 미세 조정 사이의 간극을 메우는 새로운 관점을 제공한다고 단언합니다. 결론적으로, 하이브리드 융합 방식은 최적일 뿐만 아니라 매우 확장 가능하며, 새로운 단일 융합 방식을 탐색 공간에 원활하게 통합할 수 있습니다. 이러한 접근 방식은 동결된 백본이 더 무거운 헤드나 수작업으로 설계된 귀납적 편향(inductive bias) 없이도 도메인 변화와 복잡한 태스크(특히 구조적 추론)에 더 효과적으로 적응할 수 있도록 합니다.