기술 요약: 효율적이고 롱테일(Long-Tail)을 고려한 시각-언어 사전 학습을 위한 동적 클러스터 데이터 샘플링

문제 정의

CLIP과 같은 시각-언어 모델(VLM)을 학습시키는 것은 매우 거대한 규모의 데이터셋(예: LAION-400M, DataComp)을 사용하기 때문에 막대한 계산 자원을 필요로 합니다. 기존의 비용 절감 전략들은 샘플당 정보량을 줄이는 방식(예: 토큰 감소, 저해상도 학습)이나 데이터 필터링을 통해 의미적 균형을 달성하는 방식에 집중하지만, "롱테일" 문제를 효과적으로 해결하는 데는 종종 실패합니다.

자연적인 웹 스크레이핑 데이터셋은 소수의 의미적 개념이 지배하는 반면 희귀한 개념은 과소 표현되는 "두꺼운 머리와 긴 꼬리(fat head and long tail)" 분포를 보입니다. MetaCLIP 및 밀도 기반 프루닝(Density-Based Pruning, DBP)과 같은 기존의 의미적 균형 기법들은 흔히 "균등함을 목표로 함(aim for even)"이라는 철학을 채택합니다. 이는 분포를 평탄하게 만들기 위해 두꺼운 머리 부분을 공격적으로 잘라내는데, 이 과정에서 의도치 않게 희귀한 개념을 제거하거나 불균형하게 축소시킵니다. 결과적으로 롱테일 개념은 충분히 표현되지 못하며, 이는 모델이 희귀 카테로리에 대해 일반화하는 능력을 제한합니다. 또한, 비용 절감과 품질 개선을 결មាន하는 많은 다목적 접근 방식들은 사전 학습된 VLM을 필터로 활용하므로 복잡성과 의존성을 증가시킵니다.

방법론: DynamiCS

저자들은 비용을 줄이면서 동시에 롱테일 개념에 대한 성능을 명시적으로 향상시키는 이중 목적 접근 방식인 DynamiCS(Dynamic Cluster-based Sampling)를 제안합니다. 이 방법은 두 가지 핵심 구성 요소로 이루어져 있습니다.

1. 클러스터 스케일링 ("유용성을 목표로 함")

의미적 분포를 평탄하게 만드는 대신, DynamiCS는 "유용성을 목표로 함(aim for utility)"이라는 철학을 채택합니다. 이는 두꺼운 머리 부분은 비용 절감을 위해 다운샘플링되어야 하지만, 완전히 제거되어서는 안 된다는 점을 인정하는 것입니다. 반대로, 롱테일 부분은 표현력을 보장하기 위해 업샘플링되어야 합니다.

클러스터 $i$에 대한 재샘플링 크기 $S_i$는 다음과 같이 계산됩니다:
$$S_i = \frac{c_i^\alpha}{\sum_{j=1}^N c_j^\alpha} \cdot T$$
여기서:

• $c_i$는 클러스터 $i$의 원래 크기입니다.
• $N$은 총 클러스터 수입니다.
• $T$는 목표 총 샘플 수입니다.
• $\alpha$는 스케일링 계수($0 \le \alpha$)입니다.
  • $\alpha = 0$: "균등함을 목표로 함"을 나타냅니다 (모든 클러스터 크기가 동일).
  • $\alpha = 1$: 무작위 샘플링을 나타냅니다.
  • $\alpha > 1$: 큰 클러스터를 선호합니다 (롱테일에 대한 공격적인 프루닝).
  • 최적의 $\alpha$: 저자들은 적절한 $\alpha$(예: 0.2)가 두꺼운 머리와 롱테일 사이의 균형을 맞추며, 클러스터 크기의 상대적 순서를 유지하면서도 테일을 강조한다는 것을 발견했습니다.

클러스터는 이미지 임베딩(DINOv2-ViT-B/16 사용)에 대한 K-means를 사용하여 생성되며, 중복성을 줄이기 위해 코사인 유사도가 임계값을 초과하는 중심점(centroids)들은 병합됩니다.

2. 동적 샘플링 (Dynamic Sampling)

업샘플링을 실질적으로 가능하게 하고 에포크 간 데이터 다양성을 개선하기 위해, DynamiCS는 동적 샘플링을 사용합니다. 각 학습 에포크마다 계산된 스케일링 계수 $P_i = S_i / c_i$에 따라 각 클러스터에서 서로 다른 샘플 서브셋이 추출됩니다.

• 큰 클러스터의 경우 ($S_i < c_i$), 샘플이 다운샘플링됩니다.
• 작은 클러스터의 경우 ($S_i > c_i$), 샘플이 업샘플링됩니다 (복원 추출을 통해 추출).
• 이를 통해 전체 데이터셋 크기를 늘리지 않고도, 학습 과정 전반에 걸쳐 모델이 희귀한 샘플을 포함한 모든 클러스터로부터 다양한 샘플을 볼 수 있도록 보장합니다.

주요 기여

1. 데이터 샘플링의 재정의: 본 논문은 효과적인 VLM 데이터 샘플링은 "분포를 평탄하게 만드는 것"에서 벗어나 다운샘플링(비용 절감용)과 업샘플링(롱테일 성능용)을 모두 포함하는 "유용성 기반 스케일링"으로 나아가야 한다고 주장합니다.
2. 동적 샘플링 메커니즘: 저자들은 동적 샘플링이 에포크 간 다양성을 개선하고 고정된 계산 예산 내에서 업샘플링을 가능하게 함으로써 클러스터 스케일링을 보완함을 입증합니다.
3. DynamiCS 프레임워크: 이들은 기존의 비용 절감 방법들보다 우수한 성능을 보이며, 전체 규모의 사전 학습과 경쟁할 수 있는 완전한 파이프라인을 제안하며, 전체 OpenCLIP 학습 비용의 약 3%만으로 이러한 결과를 달ing합니다.

실험 결과

실험은 ViT-B/16 및 ViT-L/16 인코더를 사용하여 LAION-400M 및 DataComp 데이터셋에서 수행되었습니다. 모델은 ImageNet-1K(표준), Let It Wag!(롱테일), 그리고 다양한 강건성(robustness) 및 검색 벤치마크에서 평가되었습니다.

• 성능 대비 비용: DynamiCS는 표준 및 롱테일 벤치마크 모두에서 비용 절감 베이스라인(RECLIP, FLIP, CLIPA) 및 다목적 접근 방식(DataComp, DFN, HQ-CLIP)을 유의미하게 능가합니다.
  • ImageNet-1K에서 DynamiCS는 전체 규모의 OpenCLIP과 경쟁할 만한 정확도를 달성하면서 GPU 시간을 약 60%만 사용합니다.
  • Let It Wag! 롱테일 벤치마크에서 DynamiCS는 상당한 개선을 보여줍니다 (예: LAION-400M에서 RECLIP 대비 +10.2%).
• 스케일링: 이 방법은 관찰된 샘플 수를 0.64B에서 2.56B까지 효과적으로 확장합니다. DataComp-DFN에서의 DynamiCS-2.56B는 전체 학습 베이스라인(OpenAI-WIT, MetaCLIP, OpenCLIP)보다 ImageNet-1K 및 Let It Wag!에서 더 높은 성능을 보이면서도, 이들의 학습 비용의 약 3%만을 사용합니다.
• 강건성: DynamiCS는 6개의 강건성 데이터셋(IN-A, IN-O, IN-R 등)에서 강력한 강건성을 입증하며, 종종 훨씬 적은 자원으로 전체 규모 학습 모델을 능가합니다.
• 미세 분류 인식: 이 방법은 롱테일 표현력의 향상에 힘입어 CUB-200-2011 및 Flowers102와 같은 미세 분류 작업에서 명확한 이점을 보여줍니다.
• 하이퍼파라미터 민감도: 이 방법은 $\alpha$의 선택에 견고하며, $\alpha=0.2$가 최적의 결과를 냅니다.

의의 및 주장

본 논문은 DynamiCS가 희귀 개념에 대한 모델 성능을 희생하지 않으면서도, 때로는 오히려 향상시키면서 VLM 사전 학습의 높은 계산 비용에 대한 실질적인 해결책을 제공한다고 주장합니다. "분포를 평탄하게 만드는 것"에서 "유용성 기반 스케일링"으로 패러다임을 전환하고 동적 샘플링을 활용함으로써, 저자들은 현재의 최첨단 방식들이 요구하는 자원의 극히 일부만으로도 매우 효과적인 VLM을 학습시키는 것이 가능하다는 것을 입증했습니다. 이 접근 방식은 불균형한 데이터셋에 대한 일반화 가능한 전략으로 제시되며, 테스트된 특정 데이터셋을 넘어 확장될 가능성이 있습니다. 저자들은 DataComp에서의 검색 성능이 LAION-400M을 능가하지 못했다는 점을 언급했는데, 이는 아마도 캡션 품질의 차이 때문일 것으로 보고 있습니다. 그럼에도 불구하고 이 방법은 분류 및 강건성 작업에 여전히 효과적입니다.