기술 요약: 셀프 수퍼비전(Self-Soupervision): 라벨 없이 모델 수프 요리하기

1. 문제 정의

모델 수프(Model soups)는 단일 사전 학습된 모델(스톡, stock)로부터 초기화된 여러 모델(재료, ingredients)의 파라미터를 평균하여 예측 정확도를 높이는 기법입니다. 효과적이긴 하지만, 기존의 수프 방식은 전적으로 **지도 학습(supervised learning)**에 의존합니다. 즉, 다양한 재료를 생성하기 위해 라벨이 있는 데이터를 필요로 하며, 일반적으로 최적화 하이퍼파라미터를 변경하거나 서로 다른 라벨링된 데이터셋으로 미세 조정(fine-tuning)하는 방식을 사용합니다. 이러한 의존성은 가능한 "메뉴"를 제한하여, 현실 세계에 존재하는 방대한 양의 라벨 없는 데이터를 활용하는 것을 방해합니다. 또한, 기존 방법들은 명시적인 라벨 없이 분포 변화(distribution shifts)나 라벨 없는 타겟 데이터를 활용하여 강건성(robustness)을 개선하는 데 어려움을 겪습니다.

본 논문은 다음과 같은 질문을 던집니다: 모델 수프를 **자기 지도 학습(Self-Supervised Learning, SSL)**으로 일반화할 수 있는가? 구체적으로, 서로 다른 SSL 알고리즘과 손실 함수를 사용하여 라벨 없는 데이터로 다양한 "재료"를 만들고, 이를 하나의 강건한 모델로 성공적으로 혼합할 수 있는가?

2. 방법론: 셀프 수퍼비전(Self-Soupervision)

저자들은 최종적인 지도 미세 조정 및 혼합 전, 독립적인 자기 지도 학습 실행을 통해 모델 수프 재료를 생성하는 프레임워크인 셀프 수퍼비전을 소개합니다.

핵심 프레임워크

프로세스는 다음과 같이 공식화됩니다:
$$\theta = \frac{1}{N \cdot M} \sum_{j=1}^{N} \sum_{i=1}^{M} \text{Train}(\underbrace{\text{Train}(\theta_{pt}, X_i)}_{\text{Self-Supervised Inter-training}}, X_j, Y_j)$$
여기서:

• $\theta_{pt}$는 사전 학습된 스톡(stock)입니다.
• $M$은 서로 다른 SSL 알고리즘이나 하이퍼파라미터를 사용하여 라벨 없는 데이터 $X_i$에 대해 수행된 인터 트레이닝(inter-training) 횟수입니다.
• $N$은 타겟 태스크를 위한 라벨 데이터 $X_j, Y_j$에 대한 미세 조정(fine-tuning) 횟수입니다.
• 최종 모델 $\theta$는 결과물인 모든 재료의 평균입니다.

주요 구성 요소

1. 다양한 SSL 재료: 단순히 지도 학습 하이퍼파라미터만을 변경하는 대신, 이 방법은 자기 지도 학습 실행 자체를 다양화합니다. 재료는 다음과 같은 다양한 SSL 계열을 사용하여 라벨 없는 데이터로 인터 트레이닝함으로써 만들어집니다:
   • 재구성(Reconstruction): MAE (Masked Autoencoders).
   • 인스턴스 대조(Instance-Contrastive): MoCoV3.
   • 차원 대조(Dimension-Contrastive): MMCR 및 LeJEPA.
   • 하이퍼파라미터 변형: 동일한 알고리즘 내에서 서로 다른 학습률(learning rates) 및 마스킹 비율(masking ratios).
2. 변화 인지형 인터 트레이닝(Shift-Aware Inter-training): 강건성을 높이기 위해, 깨끗한 라벨링된 훈련 분포로 다시 미세 조정되기 전에 손상되거나 변화된 라벨 없는 데이터(예: ImageNet-C 또는 LAION-C)로 재료를 인터 트레이닝할 수 있습니다. 이를 통해 모델은 해당 변화에 대한 라벨 없이도 변화를 "맛볼(taste)" 수 있습니다.
3. 셀프 시즈닝(Self-Seasoning): 전통적인 수프 혼합은 소량의 퓨샷(few-shot) 라벨 세트를 기반으로 "시즈닝"(최적의 혼합 가중치 선택)을 수행합니다. 저자들은 비지도 방식의 변형인 셀프 시즈닝을 제안합니다. 이는 라벨 없는 데이터에 대한 최근접 이웃(nearest-neighbor) 예측의 엔트로피를 최소화함으로써 혼합 계수 $\alpha$를 최적화하며, 이를 통해 전이 태스크(transfer tasks)를 위한 완전한 비지도 수프 생성을 가능하게 합니다.

3. 주요 기여

• SSL로의 일반화: 본 논문은 모델 수프가 단순히 지도 미세 조정의 변형뿐만 아니라, 서로 다른 자기 지도 손실 및 알고리즘으로 학습된 재료들로부터 구축될 수 있음을 입증합니다.
• 선형 모드 연결성(Linear Mode Connectivity, LMC) 발견: 저자들은 근본적으로 다른 SSL 알고리즘(예: MAE와 MoCoV3 재료의 혼합)으로 학습된 재료들 사이에서도 LMC(모델 가중치의 선형 보간이 높은 정확도를 유지하는 조건)가 성립함을 최초로 보여줍니다.
• 라벨 없는 변화를 통한 강건성: 이 방법은 손상된 라벨 없는 데이터로 인터 트레이닝함으로써 "변화 인지형(shift-aware)" 재료를 생성할 수 있게 하며, 이는 손상에 대한 라벨 없이도 손상된 테스트 세트에 대한 강건성을 크게 향к 높여줍니다.
• 완전 비지도 전이: 셀프 시즈닝을 통해, 본 논문은 혼합 단계에서 태스크별 라벨 없이도 새로운 태스크를 위해 수프를 혼합하고 최적화할 수 있음을 보여줍니다.

4. 실험 결과

저자들은 ImageNet 및 VTAB(21개의 다양한 시각적 태스크) 컬렉션에 대해 셀프 수퍼비전을 평가했습니다.

손상된 데이터에 대한 강건성

• ImageNet-C & LAION-C: 손상된 라벨 없는 데이터(ImageNet-C/LAION-C)로 인터 트레이닝한 후 깨끗한 데이터로 미세 조정한 셀프 수프는 표준 지도 수프보다 유의미한 이득을 얻었습니다.
  • ImageNet-C에서 +3.5% 개선.
  • LAION-C에서 +7.0% 개선.
• 비교: 이러한 셀프 수프는 개별 재료의 앙상블 및 표준 "지속적 SSL + 지도 수프(Continued SSL + Supervised Soup)" 베이스라인(깨끗한 데이터로만 인터 트레이닝하는 방식)보다 우수한 성능을 보였습니다.

전이 학습 (VTAB)

• 깨끗한 데이터: 셀프 수프는 21개 VTAB 태스크 전반에서 지도 학습 전용 수프 및 "지속적 SSL" 베이스라인보다 완만하지만 일관된 이득을 달ей했습니다.
• 손상된 데이터: 셀프 수프는 특히 **블러(blur), 날씨(weather), 디지털 손상(digital corruptions)**에 대해 강점을 보였으며(+2% 이득), 노이즈(noise)에 대해서는 지도 학습 전용 수프보다 약간 낮은 성능을 보였습니다.
• Ratatouille와의 비교: 셀프 수프는 인터 트레이닝을 위해 보조 라벨 데이터셋이 필요한 "모델 라타투이(Model Ratatouille)"의 성능과 대등한 수준을 보이면서도, 추가적인 라벨 데이터셋이 전혀 필요하지 않았습니다. 이는 재료의 다양성을 위해 라벨 없는 데이터를 사용하는 것의 효용성을 증명합니다.

셀프 시즈닝 성능

• 퓨샷 시나리오(<500개 훈련 샘플)에서, 셀프 시즈닝(비지도 혼합 최적화)은 "라벨 시즈닝"(지도 최적화)과 경쟁할 만한 수준이었으며, 자연스러운 태스크(natural tasks)에 대한 표준 미세 조정보다 뛰어난 성능을 보였습니다. 이는 고품질의 수프가 태스크별 라벨 없이도 생성되고 튜닝될 수 있음을 보여줍니다.

5. 의의 및 주장

본 논문은 셀프 수퍼비전이 라벨 없는 데이터와 다양한 SSL 손실을 활용함으로써 "가능한 수프의 메뉴를 대폭 확장한다"고 주장합니다. 주요 의의는 다음과 같습니다:

1. 강건성의 민주화: 전문가들이 값비싼 라벨링된 변화 데이터 없이도 라벨 없는 변화 데이터만을 사용하여 모델의 강건성을 개선할 수 있도록 합니다.
2. 알고리즘적 다양성: 서로 다른 SSL 목적 함수(예: 재구성 vs 대조 학습)로 학습된 모델을 혼합하는 것이 가능할 뿐만 아니라 생산적임을 입증하여, 재료가 학습 목적 함수 측면에서 동질적이어야 한다는 가설에 도전합니다.
3. 비용 효율성: 이 방법은 추론 비용을 증가시키지 않으면서(최종 수프는 단일 모델임) 정확도와 강건성을 개선하며, "요리" 과정에서의 라벨 데이터 의존도를 줄입니다.

저자들은 깨끗한 데이터에서의 이득은 완만할 수 있지만, 라벨 없는 데이터를 강건성을 위해 활용하는 능력과 근본적으로 다른 SSL 알고리즘을 혼합할 수 있는 능력은 모델 병합(model merging) 및 자기 지도 학습 분야에서 중요한 진전임을 결론지었습니다.