기술 요약: TRACER – 견고한 멀티모달 파인튜닝을 위한 지속적 정규화

1. 문제 제기

CLIP 과 같은 사전 학습된 멀티모달 모델은 대규모 사전 학습에서 비롯된 뛰어난 제로샷 전이 능력을 갖추고 있습니다. 그러나 표준 파인튜닝을 통해 이러한 모델을 하위 작업에 적응시키는 과정에서는 종종 **파괴적 망각 (catastrophic forgetting)**이 발생합니다. 이는 모델이 작업 특유의 패턴을 최적화하기 위해 범용적, 분포 외 (OOD) 견고성을 희생하는 현상입니다. 이를 완화하기 위한 다양한 전략 (가중치 평균, L2 정규화, 자기 증류 등) 이 존재하지만, 종종 근본적인 한계에 직면합니다.

본 연구에서 식별된 중요하면서도 크게 간과된 한계는 견고한 파인튜닝에 사용되는 표준 지수 이동 평균 (EMA) 교사의 동작입니다. 학습이 수렴하고 학생 모델이 교사 모델에 접근함에 따라, EMA 교사는 학생 모델로 붕괴되어 정규화 신호가 OOD 견고성이 가장 취약한 시점에 정확히 소멸하게 됩니다. 또한, 정적 자기 증류 방법은 초기 사전 학습 가중치에 교사를 고정함으로써 '앵커 편향 (anchor bias)'을 도입하여, 모델이 작업 부분 공간 내에서 최적의 작업 해에 완전히 수렴하는 것을 방해합니다.

2. 방법론: TRACER

저자들은 대비 학습에 대한 새로운 이론적 분석에 기반한 파인튜닝 프레임워크인 TRACER(Trajectory-Robust Anchoring for Contrastive Encoder Regularization, 대비 인코더 정규화를 위한 궤적-견고한 앵커링) 을 제안합니다.

2.1 이론적 프레임워크

본 논문은 이미지 및 텍스트 인코더를 선형화함으로써 멀티모달 대비 파인튜닝을 위한 이론적 프레임워크를 개발합니다. 주요 이론적 통찰은 다음과 같습니다:

• 대비 타겟 행렬 재구성: 선형화된 멀티모달 대비 학습 (MMCL) 목적 함수를'대비 타겟 행렬'($Y_{FT}$) 에 의해 주도되는 행렬 최소제곱 문제로 재구성합니다. 이를 통해 다양한 파인튜닝 전략에 대한 폐형 해 (closed-form solutions) 를 도출할 수 있습니다.
• 기하학적 분해: 분석 결과, 파인튜닝은 두 가지 구별된 기하학적 행동을 포함함이 밝혀졌습니다:
  1. 직교 보존: 파인튜닝 데이터와 직교하는 방향에서 사전 학습된 지식을 유지합니다.
  2. 작업 부분 공간 혼합: 파인튜닝 데이터가 span 하는 부분 공간 내에서 지식을 적응시키거나 혼합합니다.
• 기존 방법의 한계:
  • 직접 파인튜닝은 작업 부분 공간에서 사전 학습된 지식을 폐기합니다.
  • L2 정규화는 오래된 가중치와 새로운 가중치를 복잡하고 비외과적인 방식으로 혼합합니다.
  • 정적 자기 증류는 직교 지식을 보존하지만 작업 부분 공간에 편향을 도입하여 최적의 작업 해에 대한 수렴을 방해합니다.
  • EMA 교사는 교사와 학생이 수렴함에 따라 신호 붕괴를 겪습니다.

2.2 WMA 교사

EMA 교사의 붕괴와 정적 교사의 편향을 해결하기 위해 TRACER 은 가중 이동 평균 (WMA) 교사를 도입합니다.

• 메커니즘: 최근성을 기반으로 역사를 가중하는 EMA 와 달리, WMA 교사는 정규화된 시간 커널 (예: 베타 분포) 을 기반으로 학생의 전체 궤적에 가중치를 부여합니다.
• 지속적 정규화: 초기 (사전 학습) 상태와 후기 (수렴) 상태 모두에 가중치를 부여하는 커널을 사용함으로써, WMA 교사는 유한한 학습 구간 동안 지속적인 정규화 힘을 유지합니다. 이는 교사 - 학생 간격이 너무 일찍 소멸하는 것을 방지합니다.
• 편향 없는 수렴: 저자들은 WMA 교사가 학생이 작업 부분 공간 내에서 최소 노름 작업 해에 수렴하도록 함으로써 (정적 앵커 편향 제거) 직교 부분 공간의 지식을 엄격히 보존함을 증명합니다.

2.3 학습 목적 함수

TRACER 은 표준 대칭 InfoNCE 손실과 WMA 교사에 의해 안내되는 동적 자기 증류 손실을 결합합니다:
$$L_{TRACER} = L_{MMCL} + \lambda_{SD} L_{SD-WMA}$$
증류 손실 ($L_{SD-WMA}$) 은 기하학적 원리를 구현하기 위한 네 가지 관점으로 구성된 복합체입니다:

1. 특징 증류 (FD): 학생과 교사의 임베딩을 정렬합니다.
2. 대비 관계 증류 (CRD): 배치별 유사성 분포를 매칭합니다.
3. 상호작용 대비 학습 (ICL): 학생 - 교사 간 교차 모드 정렬을 장려합니다.
4. 교차 지식 증류 (Cross-KD): 교차 모드 로짓을 정렬하여 관계 구조를 전이합니다.

3. 주요 기여

1. 이론적 재구성:'대비 타겟 행렬'을 도입하여 선형화된 대비 손실을 최소제곱 문제로 재구성함으로써, 폐형 해와 파인튜닝 전략의 기하학적 분해를 가능하게 했습니다.
2. 교사 붕괴 식별: 표준 EMA 교사가 내재적 붕괴를 겪어 OOD 견고성이 가장 취약한 시점에 정규화를 약화시킨다는 것을 증명했습니다.
3. WMA 교사 및 편향 없는 수렴: 가중 이동 평균 교사가 지속적 정규화 신호를 유지하면서 직교 지식을 보존하는 동시에 작업 부분 공간에서 편향 없는 수렴을 달성함을 입증했습니다.
4. TRACER 구현: 이러한 원리를 대비 학습과 WMA 기반 다중 관점 증류를 결합한 실용적 방법으로 구체화했습니다.

4. 실험 결과

저자들은 ImageNet-1K 에서 파인튜닝되고 다섯 가지 OOD 분포 변화 (IN-V2, IN-R, IN-A, IN-S, ObjectNet) 에서 테스트된 CLIP 모델 (ViT-B/16, ViT-L/14, ResNet50) 에 대해 TRACER 을 평가했습니다.

• OOD 성능: TRACER 은 평균 OOD 정확도에서 LP-FT, FLYP, Lipsum-FT, CaRot, Model Stock 을 포함한 최첨단 베이스라인을 일관되게 능가했습니다. 예를 들어, ViT-B/16 에서 TRACER 은 64.07% 의 평균 OOD 정확도를 달성했으며, CaRot 은 62.54%, LP-FT 는 59.91% 였습니다.
• 보정: TRACER 은 OOD 데이터셋 전반에 걸쳐 가장 낮은 기대 보정 오차 (ECE) 를 달성하여 분포 변화 하에서 향상된 확률적 신뢰성을 나타냈습니다.
• 기하학적 보존: 레이어별 표현 유사성 분석 (CKA 및 SVCCA) 은 직접 파인튜닝이 더 깊은 레이어에서 상당한 편차 (망각) 를 유발한 반면, TRACER 은 모든 레이어에서 사전 학습 모델과의 유사성을 0.97 이상으로 유지했음을 보여주었습니다.
• 애블레이션 연구: 포괄적인 애블레이션 실험은 다음을 확인했습니다:
  • 다중 관점 증류 구성 요소는 상호 보완적입니다.
  • 적절한 증류 강도 ($\lambda_{SD} \approx 1.0-2.0$) 가 ID-OOD 트레이드오프를 가장 잘 제공합니다.
  • 이 방법은 교사 업데이트 빈도에 강건합니다 (불안정한 스케줄링이 필요한 CaRot 과는 대조적).
  • 호석형 (arcsine-like) 가중치 (Beta(0.5, 0.5)) 가 커널에 가장 효과적입니다.
• 효율성: TRACER 은 $O(d^3)$ 스펙트럼 정규화 비용을 피하고 증류를 위해 $O(B^2)$ 의 오버헤드만 발생시켜 CaRot 보다 계산적으로 더 효율적입니다.

5. 중요성 및 주장

본 논문은 TRACER 이 파인튜닝의 기하학과 견고한 방법의 실용적 설계 사이의 간극을 메운다고 주장합니다. WMA 교사를 통한 궤적 정규화가 정규화 신호의 붕괴를 방지한다는 것을 이론적으로 증명함으로써, 이 방법은 멀티모달 모델의 파괴적 망각에 대한 원칙적인 해결책을 제공합니다.

저자들은 그들의 작업이 순수 방어적이며, 의료 영상, 자율 시스템 등 훈련 데이터와 다른 입력이 발생할 수 있는 실세계 응용 분야에서 기초 모델의 신뢰성을 강화하는 것을 목표로 한다고 강조합니다. 이 방법은 해로운 능력을 가속화하는 것이 아니라 과적합을 완화하고 일반화를 개선한다고 명시적으로 밝힙니다. 현재 이론적 분석은 선형화된 영역에서 개발되었으며, 향후 작업은 더 큰 비선형 모델을 위한 신경 접선 커널 (NTK) 및 랜덤 특징 설정으로의 확장을 제안합니다.