기술 요약: PRiSM - 소수 샷 VLM을 위한 프로토타입 정규화 (Prototype Regularization for Few-Shot VLMs)

문제 정의

본 논문은 현재의 훈련 불필요(training-free) 소수 샷 적응형 시각-언어 모델(VLM) 방식이 가진 두 가지 결정적인 한계를 지적한다:

1. 비현실적인 평가 프로토콜: 표준 벤치마크는 클래스 균형이 잡힌 서포트(support) 및 쿼리(query) 세트에 의존한다. 이러한 가정은 데이터 분포가 자연스럽게 왜곡되어 있고(클래스 불균형), 관찰된 클래스의 집합이 불완전할 수 있는 실제 환경에서 발생하는 심각한 프로토타입 편향을 은폐한다.
2. 데이터 증가에 따른 성능 저하: 일반적인 소수 샷 가정과는 반대로, 저자들은 현실적인 클래스 불균형 상황에서 샷(레이블된 샘플)의 수를 늘리는 것이 최신 훈련 불필요 방식들의 성능을 오히려 저하시킨다는 것을 관찰했다. 추가된 샘플들이 결정 경계(decision boundary)를 정교하게 만드는 대신, 불균형한 분포로부터 오는 편향을 증폭시켜 프로토타입을 왜곡하고 클래스 간 혼동을 가중시킨다.

기존 방식들(예: Tip-Adapter, APE, GDA, ProKeR)은 검증 세트를 통한 태스크별 하이퍼파라미터 튜닝을 요구하는 경우가 많은데, 이는 검증 세트를 사용할 수 없거나 주석 달기 비용이 많이 드는 소수 샷의 가정을 위반하는 것이다. 또한, 이러한 방식들은 왜곡된 서포트 분포로 인해 발생하는 고유한 프로토타입 추정 편향을 교정하는 메커니즘이 부족하다.

방법론: PRiSM

저자들은 검증 세트 없이도 편향된 클래스 프로토타입을 교정하도록 설계된 플러그 앤 플레이(plug-and-play) 프레임워크인 PRiSM(Prototype Regularization for Few-Shot VLMs)을 제안한다.

1. 목적 함수 (Objective Function)

PRiSM은 베이스라인 분류기의 프로토타입 $a$로부터 정규화된 프로토타입 $w$를 학습하기 위해 새로운 다중 항(multi-term) 손실 함수를 최적화한다. 목적 함수 $L(w, \phi)$는 세 가지 항을 결합한다:
$$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$$
여기서:

• 서포트-특징 정렬 ($\beta$): 교정된 프로토타입 $w_c$가 서포트 세트의 평균 시각적 특징 $\mu_c(\phi)$와 일치하도록 유도하여, 관찰된 데이터 분포와의 일관성을 보장한다.
• 베이스라인 충실도 ($\gamma$): 교정된 프로토타입을 원래의 베이스라인 프로토타입 $a_c$에 고정시켜, 사전 훈련된 제로샷 지식으로부터 크게 벗어나는 것을 방지한다.
• 클래스 간 분리 ($\lambda$): 서로 다른 클래스 프로토타입 간의 거리를 최대화하는 쌍별(pairwise) 정규화 항으로, 간섭을 줄이고 불균형 조건에서의 분리성을 개선한다.

최적화는 두 개의 변수 블록인 교정된 프로토타입 $w$와 비전 인코더 파라미터 $\phi$를 대상으로 수행된다.

2. 최적화 전략: 블록 Majorize-Minimize (MM)

비볼록(non-convex) 목적 함수를 효율적으로 해결하기 위해, 저자들은 다음을 교대로 수행하는 블록 Majorize-Minimize (MM) 옵티마이저를 도입한다:

• 프로토타입 교정 (Prototype Rectification): $\phi$를 고정한 상태에서 $w$를 업데이트한다. 목적 함수가 $w$에 대해 이차 형식(quadratic)이므로, 저자들은 유효한 블록별 립시츠 상수(Lipschitz constant) $\rho$(Hessian의 스펙트럼 노름에 대한 상한)를 도출한다. 이를 통해 계산 비용이 많이 드는 그리드 탐색 없이도 $1/\rho$의 암묵적 스텝 사이즈를 사용할 수 있다. 이 상한은 **거슈고린 원 정리(Gershgorin circle theorem)**를 사용하여 효율적으로 계산된다.
• 특징 적응 (Feature Adaptation): $w$를 고정한 상태에서 $\phi$를 업데이트한다. 이는 파라미터 효율성을 보장하기 위해 LoRA(Low-Rank Adaptation)를 사용한 표준 역전파를 통해 수행되며, 비전 인코더의 아주 작은 부분 집합만을 업데이트한다.

주요 기여

1. 현실적인 벤치마킹: 저자들은 디리클레 샘플링(Dirichlet sampling)을 사용하여 클래스 불균형과 유효 클래스 수를 변화시키는 벤치마크를 도입함으로써 기존 소수 샷 프로토콜의 한계를 폭로한다. 이들은 심각한 불균형 상황에서 표준 방식들이 샷 수가 증가함에 따라 성능이 저하됨을 입증한다.
2. PRiSM 프레임워크: 검증 세트 없이도 작동하며, 기존의 모든 훈련 불필요 베이스라인 위에 배치할 수 있는 검증 불필요(validation-free), 플러그 앤 플레이 방식의 프로토타입 정규화 모듈이다. 이는 다수 클래스의 지배력을 효과적으로 완화하면서 VLM 임베딩 공간의 판별 구조를 보존한다.
3. 효율적인 최적화: 프로토타입 업데이트를 위한 블록별 립시츠 상수를 도출하여, 계산적으로 효율적이고 이론적으로 근거가 확실하며 검증이 필요 없는 스텝 사이즈 선택을 가능하게 한다.
4. 실험적 검증: 다양한 베이스라인(Tip-Adapter, APE, GDA, ProKeR)의 성능을 크게 향상시킨다는 것을 광범위한 실험을 통해 보여준다. 특히 심각한 클래스 불균형과 높은 클래스 수의 시나리오에서 효과적이다.

실험 결과

실험은 CLIP의 ViT-B/16 백본을 사용하여 10개의 다양한 이미지 분류 데이터셋(예: Oxford-Pets, EuroSAT, Food-101)에서 수행되었다.

• 심각한 불균형 (높은 유효 클래스 수): 심각한 불균형 상황에서 베이스라인 방식들은 샷 수가 증가함에 따라 성능이 저하되는 경향을 보인다 (예: Tip-Adapter는 2-shot에서 16-shot으로 이동할 때 정확도가 약 63%에서 33%로 하락). PRiSM은 이러한 추세를 역전시켜, 16-shot 설정에서 Tip-Adapter의 평균 정확도를 +35.05%, 4-shot 설정에서 +23.22% 향상시켰다.
• 준-균형 설정 (Near-Balanced Settings): 준-균형 조건에서도 PRiSM은 일관된 이득을 제공했으며, Tip-Adapter는 16-shot 설정에서 +29.79% 향상되었다.
• 낮은 유효 클래스 수: 유효 클래스 수가 적은 체제에서도 PRiSM은 특히 성능이 낮은 베이스라인들에 대해 유의미한 개선을 보여주었으며, 이는 프로토타입 편향이 레이블 공간이 축소된 경우에도 지속됨을 확인시켜 준다.
• 비교: PRiSM을 사용하면 단순한 방식(예: Tip-Adapter)도 프로토타입이 정규화되었을 때 더 복잡한 최신 방식(예: ProKeR)과 대등하거나 이를 능가하는 성능 수준에 도달할 수 있다.
• 학습률 분석: 제안된 립시츠 기반 스텝 사이즈는 철저한 하이퍼파라미터 튜닝 없이도 여러 데이터셋에서 최적의 성능 영역에 부합함을 보여주어, 이론적 도출의 타당성을 입증했다.

의의 및 주장

본 논문은 소수 샷 VLM 적응의 주요 병목 현상이 반드시 적응 메커니즘 자체에 있는 것이 아니라, 예측에 사용되는 클래스 프로토타입의 품질에 있으며, 이 프로토타입은 불균형한 데이터에 의해 쉽게 편향될 수 있다고 주장한다.

저자들의 논지는 다음과 같다:

1. 프로토타입 편향은 공통적인 실패 모드이다: 불균형으로 인한 편향은 다양한 적응 방식 전반에서 나타나는 체계적인 실패 모드로 작용한다. 이 편향을 교정하는 것은 다양한 접근 방식의 성능을 체계적으로 높일 수 있다.
2. 검증 불필요 적응은 가능하다: 이론적으로 근거가 확실한 스텝 사이즈를 도출하고 정렬(alignment), 충실도(fidelity), 분리(separation)를 균형 있게 맞추는 다중 항 손실을 사용함으로써, PRiSM은 비현실적인 레이블된 검증 세트 접근 가정을 하지 않고도 경쟁력 있는 성능을 달те한다.
3. 평가의 현실성: 제안된 벤치마크는 현재의 최신 기술(SOTA) 주장들이 비현실적인 클래스 균형 가정으로 인해 부풀려졌을 수 있음을 강조한다. 저자들은 더 견고한 적응 기술 개발을 촉진하기 위해 실제 세계의 왜곡된 분포를 반영하는 평가 프로토콜을 권장한다.

결론적으로 PR-iSM은 프로토타입 기하학을 정규화하여 의미론적 충실도를 유지하면서도 지배적인 클래스로의 붕괴를 방지함으로써, 도전적인 소수 샷 체제에서 강건성을 높이는 단순하면서도 효과적인 교정책을 제공한다.