1. 문제 정의 (Problem Statement)

대규모 비전 - 언어 모델 (VLM, 예: CLIP) 을 하위 작업에 적응시키는 과정에서 기존 방법론은 다음과 같은 한계를 겪고 있습니다.

• 동질적 아키텍처의 한계 (Homogeneity): 기존 어댑터 (Adapter) 나 프롬프트 학습 방법은 이미지와 텍스트 토큰을 동일한 1 차원 벡터로 처리하는 '일률적 (One-size-fits-all)' 접근을 취합니다.
  • 이미지: 본질적으로 2 차원 공간적 상관관계 (Spatial locality, 예: 질감, 모양) 를 가짐.
  • 텍스트: 밀집된 의미적 관계 (Semantic density) 를 가짐.
  • 이러한 구조적 차이를 무시하면 이미지의 공간적 정보가 손실되어 ('Spatial Amnesia') 미세한 분류나 질감 인식 등에서 성능이 저하됩니다.
• 과적합 및 안정성 - 가소성 딜레마: 소수 샷 (Few-shot) 학습 환경에서 전체 모델을 파인튜닝하면 계산 비용이 과도하고 과적합 (Catastrophic forgetting) 위험이 큽니다. 반면, 기존 파라미터 효율적 파인튜닝 (PEFT) 방법들은 내부 특징 차원을 확장 (Expansion, 예: 4 배) 하는 '역병목 (Inverse Bottleneck)' 구조를 사용하여 파라미터 수가 증가하고 과적합 위험이 커집니다.
• 초기화 전략의 제약: 기존 PEFT 방법들은 어댑터 가중치를 0 으로 초기화 (Zero-initialization) 하여 사전 학습 지식을 보존하려 하지만, 이는 학습 초기 단계에서 기울기 소실 (Vanishing Gradient) 을 유발하여 적응 속도를 늦춥니다.

2. 제안 방법론: HeBA (Heterogeneous Bottleneck Adapter)

저자는 비전과 언어 모달리티의 고유한 구조적 특성을 반영한 이질적 병목 어댑터 (HeBA) 를 제안합니다. 프리트레인된 CLIP 백본은 동결 (Frozen) 하고, 경량의 어댑터 모듈만 학습합니다.

핵심 아키텍처 혁신

1. 이질적 인덕티브 바이어스 (Heterogeneous Inductive Biases):
   • 시각 스트림 (Visual Stream): 이미지 토큰의 2 차원 공간적 상관관계를 보존하기 위해 2D 깊이 분리 합성곱 (2D Depthwise-separable Convolutions) 을 사용합니다. (입력 토큰을 2D 그리드로 재구성 후 처리)
   • 텍스트 스트림 (Textual Stream): 텍스트의 의미적 무결성을 유지하기 위해 밀집 선형 투영 (Dense Linear Projections) 만을 사용합니다. (공간적 합성곱 제거)
2. 구조적 정규화를 위한 병목 (Bottleneck Regularization):
   • 기존 방법들의 특징 확장 (Expansion, $D \to 4D$) 과 반대로, HeBA 는 압축 병목 구조 ($D \to D/4$) 를 도입합니다.
   • 이는 모델의 용량을 제한하여 과적합을 방지하고, 도메인 변화에 대한 저차원 (Low-rank) 표현을 강제하는 구조적 정규화제 (Structural Regularizer) 역할을 합니다.
3. 능동적 기울기 초기화 (Active Gradient Initialization):
   • 기존 0 초기화 대신 Kaiming Initialization 전략을 적용합니다.
   • 어댑터의 상향 투영 (Up-projection) 가중치를 정규 분포로 초기화하여 학습 초기부터 충분한 기울기 흐름을 보장합니다. 이는 백본의 사전 학습 지식을 해치지 않으면서 하위 도메인에 빠르게 적응하도록 돕습니다.

최적화 및 정규화

• 동적 스케일링 (Dynamic Slow-Fast Schedule): 학습 중 어댑터 출력 스케일 인자를 확률적으로 변형하여 최적화 경로를 안정화합니다.
• 라벨 스무딩 (Label Smoothing): 소수 샷 데이터에서의 과신도 (Overconfidence) 예측을 방지하기 위해 Cross-Entropy 손실 함수를 수정합니다.

3. 주요 기여 (Key Contributions)

1. 모달리티 특화 아키텍처: 이미지에는 합성곱, 텍스트에는 선형 계층을 사용하여 각 모달리티의 구조적 특성을 명시적으로 모델링했습니다.
2. 압축 병목 설계: 파라미터 수를 줄이고 과적합을 방지하는 압축 병목 ($D/4$) 을 도입하여 구조적 안정성을 확보했습니다.
3. 초기화 패러다임 전환: 0 초기화의 한계를 극복하고 Kaiming 초기화를 통해 학습 수렴 속도와 성능을 동시에 개선했습니다.
4. SOTA 달성: 11 개 다양한 벤치마크에서 Few-shot Base-to-Novel 일반화 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

논문은 11 개의 이미지 분류 데이터셋 (ImageNet, Caltech101, Oxford-Pets, EuroSAT, DTD 등) 에서 HeBA 를 평가했습니다.

• Base-to-Novel 일반화:
  • **Harmonic Mean (HM): 81.35%**를 기록하여 이전 SOTA 인 LwEIB (81.21%) 와 MMA (79.87%) 를 능가했습니다.
  • Novel Accuracy: 78.62% 로, 새로운 클래스에 대한 일반화 성능이 우수했습니다.
  • 특히 DTD (질감) 와 EuroSAT (위성 이미지) 와 같은 공간적/구조적 정보가 중요한 데이터셋에서 기존 방법 대비 큰 성능 향상 (+2.37% 이상) 을 보였습니다.
• 크로스-데이터셋 평가 (Cross-Dataset):
  • ImageNet 에서 학습하여 다른 10 개 데이터셋에 직접 적용했을 때 평균 정확도 **68.71%**를 기록했습니다.
  • 위성 이미지 (EuroSAT) 에서 LwEIB 대비 3.62% 높은 성능을 보여 공간적 특징 추출의 우수성을 입증했습니다.
• 도메인 일반화 (Domain Generalization):
  • ImageNet-V2, Sketch, A, R 등 OOD (Out-of-Distribution) 데이터셋에서 강력한 견고성을 유지했습니다. 특히 ImageNet-A (적대적 예제) 에서 51.36% 의 정확도로 SOTA 를 달성했습니다.
• Ablation Study:
  • Kaiming 초기화 사용 시 Base 정확도가 84.29% 로 상승했습니다.
  • 공간적 인덕티브 바이어스 (Depthwise Conv) 와 병목 구조를 제거할 경우 성능이 저하되어 각 구성 요소의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

HeBA 는 비전 - 언어 모델의 적응 과정에서 "하나의 아키텍처가 모든 모달리티에 적합하다"는 기존 관념을 깨뜨렸습니다.

• 구조적 차별화: 이미지와 텍스트가 본질적으로 다른 구조적 특성을 가지므로, 이를 반영한 이질적 어댑터 설계가 필수적임을 증명했습니다.
• 효율성과 안정성: 파라미터를 확장하는 대신 압축 병목을 사용하여 과적합을 방지하고, 능동적 초기화를 통해 학습 효율을 극대화했습니다.
• 실용적 가치: 소수 샷 학습 환경뿐만 아니라 위성 이미지, 질감 분석 등 공간적 정보가 중요한 분야에서 높은 일반화 능력을 보여주어, 실제 응용 분야에서의 VLM 활용도를 높이는 데 기여합니다.

결론적으로 HeBA 는 파라미터 효율적 파인튜닝 (PEFT) 의 새로운 표준을 제시하며, 구조적 인덕티브 바이어스와 정규화를 결합하여 견고한 Few-shot 학습을 가능하게 한 획기적인 연구입니다.