Self-Supervised Learning with a Multi-Task Latent Space Objective

기술 요약: 다중 작업 잠재 공간 목적 함수를 이용한 자기 지도 학습

문제 정의
BYOL, SimSiam, MoCo v3와 같은 시암 네트워크(Siamese networks) 기반의 자기 지도 학습(SSL)은 동일한 이미지의 서로 다른 증강된 뷰(augmented views)를 정렬함으로써 시각적 표현을 학습한다. 현대적인 SSL에서 핵심적인 구성 요소는 글로벌 뷰(global views)와 함께 작은 로컬 크롭(local crops)을 포함하여 공간적 일관성을 강제하는 **멀티 크롭 전략(multi-crop strategy)**이다. 이 전략은 대비 기반(contrastive) 및 클러스터링 기반 방법(예: SimCLR, Swav, DINO)에서 성능을 크게 향상시키지만, **예측기 기반 시암 아키텍처(predictor-based Siamese architectures)**에서는 심각한 불안정성을 유발한다.

저자들은 이러한 불안정성이 모든 뷰 유형(글로벌 및 로컬)에 대해 **단일 공유 예측기(single shared predictor)**를 사용하는 데서 기인한다고 지적한다. 글로벌 크롭과 로컬 크롭은 규모와 내용 면에서 극적으로 다르기 때문에, 통합된 예측기는 이러한 이질적인 표현들을 정렬하는 데 어려움을 겪으며, 이는 최적화 실패, 조기 성능 정체, 또는 표준 2-뷰 베이스라인 대비 정확도 저하로 이어진다.

방법론
제안된 해결책은 두 가지 주요 아키텍처 및 방법론적 변화를 포함한다:

1. 뷰 특화 예측기 (Multi-Predictor Multi-Crop):
   모든 뷰에 단일 공유 예측 헤드를 사용하는 대신, 저자들은 각 뷰 유형(글로벌, 로컬, 그리고 이후의 컷아웃)에 전용 예측기를 할당하는 한편 인코더(백본 및 프로젝션 헤드)는 공유 상태로 유지한다.

   • 메커니즘: 각 예측기는 자신의 특정 뷰 유형에 맞는 표현을 정렬하도록 전문화된다. 이러한 디커플링(decoupling)은 글로벌 크롭과 로컬 크롭 사이의 정렬 목적 함수 간의 간섭을 줄여준다.
   • 이점: 이 수정 사항은 새로운 하이퍼파라미터를 요구하지 않고 학습 가능한 파라미터 수를 약간만 증가시키면서, 손실 함수를 변경하지 않고도 훈련을 안정화한다.

2. 컷아웃 뷰를 이용한 다중 작업 공식화 (Multi-Task Formulation with Cutout Views):
   안정화된 멀티 크롭 설정을 바탕으로, 저자들은 **컷아웃 뷰(cutout views)**를 도입하여 프레임워크를 확장한다.

   • 비대칭 컷아웃 (Asymmetric Cutout): 이미지의 임의의 직사각형 영역이 온라인 뷰(online view)에서 마스킹(가려짐)되는 반면, 타겟 뷰(target view)는 완전한 상태를 유지한다. 이는 온라인 모델이 부분적으로 마스킹된 입력으로부터 전체 이미지 표현을 예측하도록 만드는 비대칭 설정을 생성하며, 이는 잠재 공간에서의 경량 인페인팅(inpainting) 작업 역할을 한다.
   • 보완적 신호: 로컬 크롭이 외부 맥락을 제거한다면, 컷아웃은 내부 콘텐츠를 제거한다. 이는 모델이 주변 영역으로부터 누락된 정보를 추론하도록 독려하며, 크로핑에 의해 학습된 척도 불변성(scale invariance)을 보완한다.
   • 통합 프레임워크: 최종 공식은 글로벌, 로컬, 컷아웃 뷰를 별개의 잠재 공간 작업으로 취급한다. 총 정렬 손실은 각 뷰 유형에 대한 예측 오차를 글로벌 타겟 표현에 대해 가중 합산한 것이다.

주요 기여

1. 불안정성 진단: 본 논문은 공유 예측기가 비대칭 시암 SSL에서 멀티 크롭 실패의 주요 원인임을 식별하고, 뷰 특화 예측기를 할당하는 것이 이 문제를 해결함을 입증한다.
2. 안정화된 멀티 크롭 훈련: 제안된 멀티-예측기 접근 방식은 예측기 기반 방법(BYOL, SimSiam, MoCo v3)이 멀티 크롭 증강을 완전히 활용할 수 있게 하여 일관된 성능 향상을 가져온다.
3. 공간 증강 확장: 비대칭 컷아웃 뷰의 도입은 보완적인 공간 감독 신호를 제공한다. 저자들의 분석에 따르면, 공간 증강(크로핑 및 컷아웃)이 비공간적 증강보다 더 효과적인 감독 소스로서 SSL에서 가장 유효한 역할을 한다.
4. 통합 다중 작업 프레임워크: 본 연구는 CNN 및 트랜스포머 백본 모두와 호환되는, 글로벌, 로컬, 마스킹된 뷰를 하나의 훈련 레시피로 통합하는 단순하고 백본 불가지론적인(backbone-agnostic) 다중 작업 공식화 방식을 제시한다.

실험 결과
이 접근 방식은 ImageNet-1k 데이터셋에서 ResNet-50 및 Vision Transformer (ViT) 백본을 사용하여 BYOL, SimSiam, MoCo v3에 대해 검증되었다.

• ResNet-50 성능:

  • BYOL: 선형 평가 정확도가 공유 예측기를 사용한 표준 멀티 크롭의 70.7%에서 멀티-예측기 설정 적용 시 **74.7%**로 향상되었다. 최종 다중 작업 공식(컷아웃 포함)은 **75.6%**에 도달했다.
  • SimSiam & MoCo v3: 두 프레임워크 모두 표준 멀티 크롭에서 멀티-예측기 설정으로 전환할 때 약 **+4%**의 선형 평가 정확도 상승을 보였다.
  • 효율성: 다중 작업 SimSiam 변형은 200 에포크 만에 74.7%의 정확도를 달달성하여, 800 에포크가 필요했던 기존 SimSiam 베이스라인(71.3%)을 능가했다.

• ViT 성능:

  • ViT-S: 선형 정확도가 71.4%에서 **74.0%**로 향상되었다.
  • ViT-B: 선형 정확도는 **77.7%**에 도달하여, 표준 BYOL 베이스라인보다 +3.7% 높은 성능을 보였다.

• 다운스트림 작업:

  • COCO 객체 탐지/세그멘테이션: 다중 작업 BYOL 모델은 지도 학습 기반 사전 훈련 및 다른 SSL 방법들을 모두 능가하였으며, ResNet-50 백본 기준으로 가장 높은 AP(탐지 41.8, 세그멘테이션 38.0)를 달성했다.
  • 비교: 이 방법은 선형 평가 설정에서 상태 최고 수준(SOTA)의 대비 기반, 클러스터링 기반 및 비-대비 기반 방법들을 지속적으로 능가하거나 대등한 성능을 보였으며, 마스크 이미지 모델링(MIM) 접근 방식보다 우수한 성능을 보였다.

의의 및 주장
본 논문은 뷰 유형 간의 예측기를 분리하는 것이 예측기 기반 시암 SSL에서 멀티 크롭 전략을 효과적으로 만들기 위한 근본적인 요구 사항이라고 주장한다. 각 공간적 변환을 별도의 정렬 작업으로 취급함으로써, 저자들은 다양한 아키텍처 전반에 걸쳐 표현 품질을 개선하는 안정적이고 일반화 가능한 프레임워크를 제공한다.

이 연구는 공간 증강이 SSL에서 지배적인 학습 신호임을 강조한다. 컷아웃 뷰의 통합은 복잡한 아키텍처 변경이나 재구성 목적 함수 없이도 폐쇄(occlusion) 기반의 감독을 시암 프레임워크에 효과적으로 포함할 수 있음을 보여준다. 저자들은 이러한 원칙들, 특히 예측기의 디커플링과 다양한 공간적 뷰의 사용이 비디오나 포인트 클라우드와 같은 다른 구조화된 모달리티로도 확장될 수 있다고 제안한다. 또한, 뷰 특화 정보(예: 컷아웃 좌표)에 따라 예측기를 조건화하는 것은 공동 임베딩 예측 아키텍처(JEPA)를 향한 잠재적인 미래 방향임을 언급한다.