기술 요약: 희소 오토인코더를 활용한 CLIP 모델의 견고하고 해석 가능한 파인튜닝

문제 제기

대규모 사전 학습된 비전 - 언어 모델 (예: CLIP) 은 뛰어난 제로샷 성능과 분포 변화에 대한 견고성을 보입니다. 그러나 하류 작업에서 분포 내 (ID) 성능을 향상시키기 위해 이러한 모델을 파인튜닝하면 종종 분포 외 (OOD) 견고성이 저하됩니다. "표상 이동 (representational drift)" 또는 "특징 억제 (feature suppression)"라고 불리는 이 현상은 표준 파인튜닝이 사전 학습된 표현 공간을 왜곡하여 의미 있는 특징을 작업별 노이즈나 임의의 방향으로 덮어쓰기 때문에 발생합니다.

기존의 견고한 파인튜닝 방법들은 이러한 트레이드오프를 완화하려 시도하지만 상당한 한계에 직면해 있습니다:

• WiSE-FT: 제로샷 모델과 파인튜닝된 모델 간의 가중치를 평균화합니다. 효과적이기는 하지만 텍스트 인코더를 무시하고 단순 보간에 의존하여 어떤 특징이 보존되는지에 대한 제어가 제한적입니다.
• 텍스트 유도 접근법 (예: FLYP, StarFT): 이러한 방법들은 비전 및 텍스트 인코더 모두를 파인튜닝하거나 합성 특징과 외부 사전 지식을 텍스트 프롬프트에 주입합니다. 이러한 접근법은 계산 복잡성을 증가시키고 외부 데이터 엔지니어링에 의존하여 파인튜닝 파이프라인을 복잡하게 만듭니다.

핵심적인 과제는 OOD 일반화를 희생하지 않으면서 분포 내 성능을 향상시키는 견고한 파인튜닝을 달성하는 것이며, 동시에 비전 모드만으로 작동하고 모델의 적응 방식을 해석 가능하게 제공하는 계산 효율적인 방법을 찾는 것입니다.

방법론: SAE-FT

저자들은 사전 학습된 모델의 해석 가능한 특징 범위로 파인튜닝 과정을 제한하는 정규화 프레임워크인 SAE-FT(희소 오토인코더 파인튜닝) 를 제안합니다. 이 방법은 고수준 개념이 활성화 공간에서 선형 방향으로 인코딩된다는 선형 표현 가설 (Linear Representation Hypothesis) 에 의존합니다.

핵심 구성 요소

1. 희소 오토인코더 (SAE) 학습:

   • 사전 학습된 제로샷 CLIP 모델의 고정된 비전 표현 ($r_0$) 에 대해 비지도 방식으로 Top-k SAE 를 학습합니다.
   • SAE 는 밀집된 다의적 표현을 의미 있는 특징의 희소하고 과완비적인 기저 ($s$) 로 분해합니다.
   • SAE 가중치는 학습 후 고정되어 해석 가능한 특징의 고정된 사전으로 기능합니다.

2. 정규화 전략:
   비전 인코더 ($f_{ft}$) 를 파인튜닝하는 동안, 모델은 표현 업데이트 ($r_{ft}$) 가 사전 학습된 SAE 의 의미 범위에 머무르도록 제한됩니다. 총 손실 함수는 표준 교차 엔트로피 손실 ($L_{CE}$) 과 두 가지 특정 정규화 항을 결합합니다:

   • 잔차 정렬 페널티 ($L_{resid}$): 표현의 변화 ($\Delta r = r_{ft} - r_0$) 가 SAE 디코더에 의해 재구성될 수 있도록 보장합니다. 이는 업데이트가 학습된 의미 특징의 선형 결합으로 표현되도록 강제하여 모델이 사전과 직교하는 임의의 기하학적 방향으로 이동하는 것을 방지합니다.
     $$L_{resid} := \|\Delta r - W_d(\Delta s)\|_2^2$$
   • 특징 보존 페널티 ($L_{add}$): 제로샷 모델에서 비활성화되었던 특징의 활성화를 명시적으로 페널티화합니다. 이는 새로운 잠재적 인위적 의미 개념의 "추가"를 방지합니다.
     $$L_{add} := \lambda_{add} \sum_{k=1}^{p} (1 - m_k)|s_{ft}^k|$$
     여기서 $m_k$는 제로샷 모델에서 활성화된 특징에 대한 지표입니다.

3. 학습 및 추론:

   • SAE 는 파인튜닝 중에는 업데이트되지 않으며 추론 중에도 사용되지 않습니다. 이는 학습 루프 동안 기하학적 제약으로만 기능합니다.
   • 이 방법은 텍스트 측 데이터 엔지니어링의 복잡성을 피하고 선형 헤드 교차 엔트로피 설정을 사용하여 비전 인코더에서만 작동합니다.

주요 기여

1. SAE-FT 프레임워크: 사전 학습된 백본의 해석 가능한 특징 범위로 표현 업데이트를 제한하는 새로운 파인튜닝 전략입니다. 이는 적응이 기존 의미 개념을 덮어쓰는 것이 아니라 재가중치함으로써 발생하도록 보장하여 일반 지식의 파국적 망각을 방지합니다.
2. 성능 및 효율성: 광범위한 실험을 통해 SAE-FT 가 ImageNet 및 분포 변화 벤치마크에서 최첨단 (SOTA) 수준의 견고성과 일치하거나 초과함을 입증했습니다. 특히 텍스트 측 증강이나 주입된 사전 지식을 필요로 하지 않으므로 계산 효율적이며 텍스트 유도 방법보다 배포가 용이합니다.
3. 메커니즘 통찰: 이 프레임워크는 특징 보존에 대한 세밀한 분석을 제공합니다. 이는 견고한 파인튜닝이 완전히 새로운 표현을 학습하는 것이 아니라 기존 특징을 재가중치하는 것 (예: 소방차를 위해 "사다리"와 "빨간 페인트"를 증폭) 임을 명시적으로 보여주어 적응 과정에 대한 투명한 시각을 제공합니다.

실험 결과

저자들은 OpenAI ViT-B/16 모델을 대상으로 여러 벤치마크에서 SAE-FT 를 평가했습니다:

• ImageNet 및 분포 변화: SAE-FT 는 ImageNet 정확도 82.9% (SOTA 와 일치) 를 달성했으며, 분포 변화 벤치마크 (ImageNet-R, A, S, V2) 에서 평균 정확도 **64.6%**로 가장 높은 성적을 거두었습니다. CAR-FT 및 WiSE-FT 와 같은 비전 인코더 전용 방법들을 능가했습니다.
• 하류 전이: 추가 파인튜닝 없이 CIFAR-10, CIFAR-100, Caltech-101, STL-10 에서 평가되었을 때, SAE-FT 는 가장 높은 평균 전이 정확도 (87.8%) 를 달성하여 표현이 다양한 작업에 효과적으로 일반화됨을 나타냈습니다.
• iWilds 벤치마크: 실제 세계 OOD 데이터셋 (iWildCam 및 FMoW) 에서 SAE-FT 는 최악의 그룹 정확도 및 OOD 매크로 F1 점수에서 특히 최적이거나 그와 유사한 성능을 달성하여 L2 정규화 및 기타 견고한 파인튜닝 방법들을 능가했습니다.
• 베이스라인 비교: 일반적인 정규화 방법 (L1, L2, PCA) 이도 기하학적 이동을 제한함으로써 견고성을 향상시켰지만, SAE-FT 는 특정 특징 변화에 대한 우수한 제어를 제공했습니다. 이러한 베이스라인보다 평균 정확도가 약간 더 높았으며, 학습된 의미 있는 특징 기저에서 작동한다는 독특한 장점을 제공했습니다.

중요성 및 주장

본 논문은 SAE-FT 가 파인튜닝을 견고하고 해석 가능하게 만드는 중요한 진전이라고 주장합니다.

• 해석 가능성: 모든 방향을 동등하게 취급하는 표준 노름 정규화와 달리, SAE-FT 는 연구자들이 어떤 의미 특징이 보존, 재가중치, 또는 억제되는지를 직접 분석할 수 있게 합니다. 저자들은 모델이 (예: 해적선과 스쿠너를 구분하는) 오분류를 수정할 때 원래 특징 어휘를 유지하면서 작업 관련 특징을 증폭시킴으로써 이를 수행함을 보여줍니다.
• 효율성: 비전 모드만으로 작동하고 복잡한 텍스트 측 조작이나 외부 LLM 데이터를 피함으로써, SAE-FT 는 견고한 파인튜닝을 위한 간소화된 파이프라인을 제공합니다.
• 성공 메커니즘: 저자들은 SAE-FT 의 성공이 모델이 기존 특징 중 더 희소하고 관련성 높은 부분집합에 집중하도록 강제하는 능력에서 비롯된다고 주장합니다. 이는 표준 파인튜닝 중 일반적으로 발생하는 기반 모델 특징의 "마비"를 방지하여 모델의 일반 지식을 보존하면서 작업별 구분을 선명하게 합니다.

이 연구는 해석 가능한 정규화가 사전 학습된 모델의 학습된 개념을 지우지 않고 효율적인 파인튜닝을 가능하게 하며, 복잡하고 텍스트에 의존하는 견고한 파인튜닝 전략에 대한 실현 가능한 대안을 제공한다고 결론지었습니다.