Data Selection Through Iterative Self-Filtering for Vision-Language Settings

기술 요약: 시각-언어 환경에서의 반복적 자기 필터링을 통한 데이터 선택

문제 정의

CLIP과 같은 대규모 시각-언어 모델을 훈련하는 데는 방대한 데이터셋이 필요하지만, 이는 인터넷 규모의 스크레이핑에서 기원했기 때문에 본질적으로 노이즈가 많은 경우가 많습니다. 이러한 규모에서는 수동 검토가 불가능하므로, 기존의 데이터 필터링 방식은 휴리스틱(예: 단어 수, 해상도), 정제된 참조 데이터셋, 또는 사전 훈련된 모델(예: OpenAI의 CLIP)에 의존하여 깨끗한 샘플을 선택합니다.

저자들은 현재 접근 방식의 세 가지 결정적인 한계를 식별했습니다:

1. 혼란스러운 지식(Confounding Knowledge): 사전 훈련된 모델을 필터링에 사용하면, 데이터 선택의 이점과 필터 자체의 지식을 간접적으로 증류(distillation)하는 효과가 뒤섞여, 필터링 자체가 샘플 효율성을 개선하는 것인지 불분명해집니다.
2. 편향 전파(Bias Propagation): 선택된 데이터셋은 필터로 사용된 사전 훈련된 모델의 한계와 편향(예: OpenAI의 CLIP은 오래된 사건에 편향되어 있고 최근 개념에는 어려움을 겪음)을 필연적으로 반영하게 됩니다.
3. 과학적 불투명성(Scientific Opacity): 독점적인 필터의 사전 훈련 데이터셋에 접근할 수 없다는 점은 데이터 필터링의 본질에 대한 과학적 탐구를 저해합니다.

나아가, "어려운(hard)" 샘플(유용하고 비자명한 지식을 인코딩함)과 "노이즈(noisy)" 샘플(이미지-텍스트 쌍이 일치하지 않음)을 구분하는 것은 근본적인 과제입니다. 두 유형 모두 훈련 초기 단계에서 높은 손실(loss)을 유발하기 때문입니다.

방법론: 자기 필터링 (Self-Filtering)

본 논문은 시각-언어 모델을 훈련하는 동시에 진화하는 데이터셋을 구축하는 부트스트랩 방식의 반복적 방법인 **자기 필터링(Self-Filtering)**을 제안합니다. 이 접근 방식은 사전 훈련된 모델이나 추가 데이터 없이 작동합니다. 핵심 철학은 더 나은 모델이 더 나은 데이터 혼합물을 만들고, 이것이 다시 더 나은 모델을 생성한다는 것입니다.

이 방법은 4단계의 반복 루프(알고리즘 1)를 따릅니다:

1. 초기화(Initialization): 모델($f_\theta$)을 무작위로 초기화하고, 훈련 데이터 혼합물($D_{current}$)을 전체 필터링되지 않은 데이터셋으로 설정합니다.
2. 훈련 단계(Training Phase): $D_{current}$에서 샘플링된 예시들을 바탕으로 모델을 $T$ 스텝 동안 훈련합니다.
3. 선택 단계(Selection Phase): 현재 모델이 필터 역할을 수행합니다. 데이터셋의 모든 $(x, y)$ 쌍에 대해 이미지와 텍스트 임베딩 간의 정렬도(CLIP의 코사인 유사도)를 기반으로 점수를 계산합니다. 점수가 높은 상위 $p\%$의 샘플을 "깨끗할 가능성이 높은(likely clean)" 것으로 식별합니다.
4. 혼합 단계(Mixing Phase): 전체 데이터셋과 "깨끗할 가능성이 높은" 서브셋의 합집합에서 재샘플링하여 새로운 데이터 혼합물을 생성합니다. 결정적으로, "깨끗할 가능성이 높은" 샘플에는 두 배의 샘플링 가중치를 부여합니다. 이 단계는 착취(exploitation)(높은 신뢰도를 가진 샘플에 집중)와 다양성(diversity)(모델 붕괴를 방지하고 어려운 샘플이 영구적으로 버려지지 않도록 전체 분포에 대한 접근 권한을 유지) 사이의 균형을 맞춥니다.

이 주기는 $R$ 라운드 동안 반복됩니다. 저자들은 혼합 단계가 쉬운 샘플들로 편향된 집합으로 수렴하는 것을 방지하고, 모델이 처음에 노이즈로 잘못 분류되었던 어려운 샘플을 결국 학습할 수 있도록 하는 데 필수적이라고 강조합니다.

주요 기여

• 사전 훈련된 모델으로부터의 독립성: 저자들은 사전 훈련된 모델이나 추가적인 독점 데이터에 의존하지 않고도 효과적인 필터링 전략을 달성할 수 있음을 입증했습니다.
• 반복적 자기 개선: 훈련 모델이 스스로 훈련할 데이터셋을 반복적으로 개선하여, 데이터 품질과 모델 성능의 양의 피드백 루프를 생성하는 방법을 제안합니다.
• 착취-다양성 균형: 선택된 고확률 샘플을 전체 분포의 무작위 예시와 혼합하는 특정 전략을 도입하여, 모델이 다양한 데이터에 계속 접근하면서도 깨끗할 가능성이 높은 샘플에 집중할 수 있도록 보장합니다.
• 지표 간 상관관계: 필터링 성능과 다운스트림 성능이 동일한 훈련 실행 내에서 서로 상관되어 있음을 보여줌으로써, 이 접근 방식의 자기 개선 성격을 검증했습니다.

실험 결과

실험은 Datacomp 벤치마크(소규모 서브셋: 약 1,150만 개 샘플; 중규모 서브셋: 약 1억 2,800만 개 샘플)에서 CLIP ViT-B/32 모델을 사용하여 수행되었습니다.

• 성능 향상: 자기 필터링 모델(선택된 샘플의 30% 또는 40%로 구성된 혼합물로 훈련됨)은 전체 데이터셋이나 OpenAI의 사전 훈련된 CLIP으로만 필터링된 데이터셋으로 훈련된 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 사전 훈련된 필터와의 비교: 자기 필터링으로 생성된 데이터 혼합물로 훈련된 모델은 훨씬 더 큰 규모의 OpenAI CLIP ViT-L/14로 훈련된 모델과 대등한 다운스트림 성능을 달升했습니다.
• 반복적 개선: 이전 반복 단계에서 필터링된 데이터셋으로 처음부터 모델을 훈련시킨 실험 결과, 점진적인 성능 향상(예: Round 2 > Round 1)이 나타났으며, 이는 데이터 품질이 매 반복마다 개선됨을 확인시켜 줍니다.
• 전이 가능성(Transferability): 소규모 Datacomp 서브셋에서 자기 필터링으로 훈련된 모델이 별도의 미지의 중규모 서브셋을 성공적으로 필터링하였으며, 원시 데이터로 훈련하는 것보다 우수하고 OpenAI CLIP 필터링과 대등한 결과를 얻었습니다.
• 커리큘럼 vs 데이터 품질: 저자들은 성능 향상이 커리큘럼 학습 효과(데이터를 쉬운 것에서 어려운 순서로 제시하는 것) 때문이 아님을 발견했습니다. 최종 고정된 데이터 혼합물로 처음부터 훈련된 모델이 반복적으로 훈련된 모델보다 높은 성능을 보였는데, 이는 주요 이점이 데이터 제시 순서가 아니라 데이터 자체의 높은 품질에 있음을 시사합니다.

의의 및 주장

본 논문은 자기 필터링이 값비싼 사전 훈련된 필터나 추가 데이터 자원에 대한 의존 없이 고품질의 시각-언어 훈련을 위한 실행 가능한 경로를 제공한다고 주장합니다. 데이터 선택과 모델 훈련을 동일한 문제의 두 측면으로 다룸으로써, 이 방법은 학습된 지식을 착취하는 것과 데이터셋의 다양성을 유지하는 것 사이의 균형을 달성합니다.

저자들은 자신의 방법이 시간이 지남에 따라 노이즈와 어려운 샘플을 효과적으로 구분하지만, 훈련 초기 단계에서 이를 완벽하게 해결하지는 못한다는 점을 겸허히 인정합니다. 또한, 샘-선택을 위한 점수 계산의 계산 비용이 Datacomp 분석에는 포함되지 않았으나, 이는 오래된 하드웨어에서의 병렬 추론을 통해 완화될 수 있다고 제안합니다. 궁극적으로, 이 연구는 자기 개선 모델이 대규모 사전 훈련된 모델에 의해 큐레이션된 것과 대등한 품질의 데이터셋을 생성할 수 있음을 입증하며, 시각-언어 모델 확장을 위해 외부의 정적인 필터가 반드시 필요한지에 대해 의문을 제기합니다.