기술 요약: Fake & Square: 합성 데이터와 합성 하드 네거티브를 이용한 자기 지도 학습 비전 트랜스포머 훈련

문제 정의

대조적 자기 지도 학습(Contrastive self-supervised learning)은 컴퓨터 비전 분야에서 놀라운 성공을 거두었으나, 두 가지 주요 병목 현상에 직면해 있습니다:

1. 데이터 부족 및 다양성: 이러한 방법들은 경쟁력 있는 성능을 달ا하기 위해 방대한 양의 실제 라벨링된 또는 라벨링되지 않은 데이터를 필요로 하며, 이는 지도 학습과 유사한 확장성 문제를 야기합니다.
2. 하드 네거티브(Hard Negative)의 한계: 학습된 표현(representation)의 품질은 "하드 네거티브"(의미론적으로는 가깝지만 서로 다른 예시들)에 크게 의존합니다. 기존 방법들은 변별력 있는 특징을 학습하는 데 필수적인 하드 네거티브의 제한된 다양성으로 인해 어려움을 겪는 경우가 많습니다.

저자들은 "될 때까지 속여라(fake it till you make it)"라는 격언을 탐구함으로써 이러한 요구 사항에 대한 대안을 조사하고자 합니다. 이들은 합성 데이터와 합성 하드 네거티브가 비전 트랜스포머(ViT)를 훈련할 때 실제 세계의 구성 요소들을 효과적으로 보강하거나 대체할 수 있는지 질문을 던집니다.

방법론: Syn2Co

본 논문은 두 가지 형태의 "속임수(faking)"를 자기 지도 학습 파이프라인에 통합하는 프레임워크인 Syn2Co를 소개합니다.

1. 합성 데이터 생성 (이미지 공간)

• 접근 방식: 저자들은 생성형 확산 모델(generative diffusion model)을 활용하여 ImageNet-100 데이터셋의 합성 클론을 생성합니다.
• 규모: 원본 데이터셋과 동일한 클래스 분포를 유지하면서 약 130,000개의 합성 이미지를 생성합니다.
• 통합: 훈련 중에 실제 데이터($X$)와 합성 데이터($X_s$)가 혼합된 풀(pool)에서 이미지를 샘플링합니다. 이를 통해 실제 데이터로만 훈련하거나, 합성 데이터로만 훈련하거나, 혹은 다양한 혼합 비율을 사용하는 시나리오를 모두 구현할 수 있습니다.

2. 합성 하드 네거티브 (표현 공간)

• 접근 방식: 메모리 큐(memory queue)에 있는 실제 부정 샘플에만 의존하는 대신, 이 프레임워크는 특징 표현 공간($Z$)에서 직접 합성 하드 네거티브를 생성합니다.
• 선택: 쿼리 표현 $q$가 주어지면, 코사인 유사도를 기반으로 기존 큐에서 $N$개의 가장 어려운 네거티브($Q_N$)를 선택합니다.
• 합성: 합성 함수 $F$는 쿼리와 선택된 하드 네거티브 상에서 작동하여 새로운 합성 네거티브($s$)를 생성합니다. 저자들은 보간(interpolation), 외삽(extrapolation), 혼합(mixing), 노이즈 지터링(noise jittering), 섭동(perturbation), 그리고 적대적 방법(adversarial methods)을 포함한 6가지 전략의 $F$를 구현했습니다.
• 통합: 합성된 네거티브($Q_s$)는 실제 네가티브 큐($Q$)와 결합되어, 추가적인 실제 데이터 수집 없이도 훈련 중 대조의 다양성을 확장합니다.

3. 학습 프레임워크

이 방법은 MoCo 및 BYOL과 유사한 대조 학습 목적 함수(InfoNCE loss)를 채택합니다.

• 아키텍처: 프레임워크는 DeiT-S(Data-efficient Image Transformer)와 Swin-T(Swin Transformer Tiny)에서 평가됩니다.
• 훈련: 타겟 인코더는 모멘텀 메커니즘을 통해 업데이트되는 반면, 온라인 인코더는 역전파(backpropagation)를 통해 최적화됩니다.

주요 기여

1. 합성 데이터 클론: ImageNet-100의 합성 클론을 제작하고, 합성 데이터가 대조적 자기 지도 학습에 미치는 영향을 입증했습니다.
2. 트랜스포머를 위한 합성 네거티브: (다른 맥락에서 이전에 탐구된) 합성 네거티브 생성 기술을 비전 트랜스포머에 적응 및 확장하여, DeiT와 Swin이 합성 대조를 활용해 더 변별력 있는 특징을 학습할 수 있음을 보여주었습니다.
3. 포괄적 평가: 실제 데이터와 합성 데이터 사이의 트레이드오프, 그리고 합성 네거티브의 비율과 난이도가 미치는 영향에 대한 체계적인 조사를 수행했습니다.

실험 결과

실험은 학습된 표현의 품질을 평가하기 위해 선형 프로빙(linear probing)을 사용하여 ImageNet-100에서 수행되었습니다.

• 성능 비교:
  • DeiT-S: 모델은 합성 데이터와 합성 네거티브를 모두 효과적으로 활용했습니다. 최고의 성능(Top-1 정확도 82.12%)은 300 에폭 동안 전체 Syn2Co 접근 방식(두 합성 구성 요소 모두 사용)을 사용했을 때 달성되었으며, 이는 지도 학습 베이스라인(80.50%)과 표준 MoBY(79.36%)를 능가했습니다.
  • Swin-T: 이 아키텍처는 주로 합성 네거티브로부터 이득을 얻었습니다. 합성 네거티브만을 사용했을 때 최적의 성능(Top-1 84.04%)을 달성하였으며, 이는 합성 이미지 데이터 없이도 합성 대조를 효과적으로 활용할 수 있음을 보여줍니다.
• 데이터 혼합:
  • 합성 데이터로만 훈련된 모델은 합리적인 성능을 보였으나, 실제 데이터의 비율이 높아질수록 정확도가 향려되었습니다.
  • 결과는 합성 이미지가 실제 데이터의 완전한 대체물이라기보다는 가치 있는 보완재 역할을 한다는 것을 시사하지만, 완전히 합성된 훈련과 완전히 실제 데이터로 훈련하는 것 사이의 성능 격차는 상대적으로 작습니다.
• 하드 네거티브 민감도:
  • DeiT: 합성 네거티브의 난이도 수준과 비율 모두에 민감하게 반응했습니다.
  • Swin: 다양한 합성 네거티브 구성에서도 일관된 성능 향상을 유지했습니다.

의의 및 주장

본 논문은 근본적으로 새로운 방법을 제시한다기보다, 기존의 자기 지도 학습 방식 위에 구축하여 합성 증강(synthetic augmentation)의 한계를 탐구한다고 겸손하게 주장합니다.

• 가능성: 본 연구의 결과는 합성 데이터와 합성 하드 네거티브가 견고하고 전이 가능한 시각적 표현을 생성하는 데 있어 유망하며, 특히 방대한 양의 큐레이션된 실제 데이터에 대한 의존도를 줄이는 데 기여할 수 있음을 강조합니다.
• 한계: 저자들은 합성 데이터가 수확 체감(diminishing returns)의 패턴을 따르며, 확산 모델이 실제 데이터의 완전한 대체 효과를 제한하는 분포 변화(distribution shifts)를 유발한다는 점을 언급합니다.
• 아키텍처적 뉘앙스: 핵심적인 통찰은 DeiT와 Swin 같은 서로 다른 트랜스포머 아키텍처가 합성 증강 전략에 다르게 반응한다는 것이며, 이는 합성 증강의 선택이 특정 모델 설계에 맞춰 조정되어야 함을 시사합니다.

요약하자면, Syn2Co는 합성 데이터와 합성 하드 네거티브를 통한 "속이기(faking it)"가 자기 지도 학습을 강화하기 위한 실행 가능한 전략임을 입증하며, 비전 트랜스포머 훈련을 더욱 확장 가능하고 자원 효율적인 방향으로 이끄는 경로를 제시합니다.