Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

기술 요약: 필요한 것은 빈도수이다: 시각-언어 모델 사전 학습 시 텍스트 마스킹의 이점을 고려할 때 단어 빈도수의 고려

문제 제기
CLIP과 같은 시각-언어 모델(VLM)은 일반적으로 대규모 이미지-텍스트 데이터셋에 대한 사전 학습을 위해 막대한 계산 자원(수천 GPU-일)을 필요로 한다. 이 과정을 가속화하기 위해 최근 연구들은 이미지 및 텍크스 토큰에 대한 마스킹 전략을 채택해 왔다. 이미지 마스킹은 잘 확립되어 있는 반면, 텍스트 마스킹 전략은 엇갈린 결과를 보여왔다. 이전의 최첨단 연구(CLIPA)는 품사(POS) 태깅을 기반으로 명사와 형용사를 우선적으로 유지하는 "구문 마스킹(syntax masking)"을 우수한 텍스트 마스킹 방식으로 식별했다. 그러나 본 논문은 이러한 전략들에 대한 평가가 고정된 비교적 적은 수의 에포크(epoch) 동안 학습되었다는 점 때문에 제한적이었다고 주장한다. 저자들은 학습 에포크가 증가함에 따라 구문 마스킹의 성능이 다른 전략들에 비해 저하되는 것을 관찰하였으며, 이는 최적의 텍스트 마스킹에 대한 현재의 이해가 불완전함을 시사한다.

방법론
저자들은 서로 다른 텍스트 마스킹 전략이 학습 데이터 내 단어 빈도수의 분포에 어떻게 영향을 미치는지에 대한 체계적인 분석을 제안한다. 이들은 텍스트 $T$에서 토큰의 하위 집합을 선택하여 새로운 입력 $T'$를 형성하는 것을 텍스트 마스킹으로 정의한다. 본 연구는 네 가지 기존 전략을 비교한다:

1. 절단(Truncation): 처음 $k$개의 토큰을 유지한다.
2. 무작위(Random): $k$개의 토큰을 무작위로 선택한다.
3. 블록(Block): 무작위 인덱스에서 시작하는 연속된 $k$개의 토큰 블록을 선택한다.
4. 구문(Syntax): POS 태깅(NLTK와 같은 도구 활용)을 사용하여 명사를 우선적으로 유지하고, 그 다음으로 형용사, 동사 및 기타 단어를 유지한다.

이 분석을 통해 저자들은 절단 및 구문 마스킹과 같은 전략들이 학습 세트 내 단어의 상대적 빈도를 불균형하게 변화시킨다는 것을 발견했다. 예를 들어, 구문 마스킹은 명사를 과도하게 유지하는 반면 기능어("기타" 카테리)를 억제하며, 절단은 문장 시작 단어를 과잉 대표한다. 반면, 무작위 및 블록 마스킹은 원래의 단어 빈도 분포를 더 충실하게 보존한다.

단어 빈도를 보존하는 것이 더 나은 모델 성능과 상관관계가 있다는 발견에 착안하여, 저자들은 **CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking)**를 도입한다. CLIPF는 학습 데이터 내 각 단어 $w_i$의 빈도 $f(w_i)$를 기반으로 마스킹 확률 점수 $P(w_i)$를 계산한다:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
여기서 $t$는 임계값 파라미터이다. 단어를 버리기 위해 하드 컷오프(hard cutoff)를 사용하여 (잠재적으로 입력 슬롯을 비워두는) 기존의 빈도 기반 시도(예: SW-CLIP)와 달리, CLIPF는 이 확률들을 사용하여 어떤 단어를 유지할지 우선순위를 정하고, 가장 높은 확률을 가진 단어들로 입력 토큰을 채운다. 이 접근 방식은 구문 마스킹에 필요한 POS 태깅의 계산 오버헤드를 피할 수 있다.

주요 기여

1. 빈도 영향 분석: 본 논문은 텍스트 마스킹 전략의 성공이 학습 데이터의 단어 빈도 분포를 얼마나 왜곡하느냐와 연결되어 있음을 입증한다. 빈도에 불균형한 영향을 미치는 전략(절단, 구문)은 이를 보존하는 전략(무작위, 블록)보다 성능이 떨어진다.
2. CLIPF 도입: 저자들은 POS 태깅을 요구하지 않고 단어 빈도 통계를 직접 활용하는 빈도 기반 마스킹 전략인 CLIPF를 제안한다.
3. 학습 에포크의 재평가: 본 연구는 학습 에포크 수가 중요한 변수임을 강조한다. 구문 마스킹은 짧은 학습 과정(CLIPA에서 보고된 바와 같이)에서는 우수해 보였으나, 학습이 수렴 단계까지 연장될 경우(예: 30 에포크 이상) 다른 전략들에 뒤처진다.
4. 포괄적 평가: 저자들은 여러 데이터셋(CC3M, CC12M, LAION-400M)과 작업(제로샷 분류, 강건성, 이미지-텍스트 검색)에 걸쳐 광범위한 정량적 비교를 제공한다.

결과

• 성능 대비 에포크: ImageNet-1K에 대한 실험 결과, 구문 마스킹은 초기 학습 단계에서는 성능이 좋지만, 에포크가 증가함에 따라(최대 40 에포크) 무작위, 블록 및 CLIPF에 비해 정확도가 정체되거나 하락한다. CLIPF는 16~40 에포크 범위에서 일관되게 가장 높은 정확도를 달연한다.
• 토큰 효율성: CLIPF는 특히 입력 텍스트 토큰 수가 감소할 때(예: 4개에서 8개 토큰) 구문 마스킹 및 다른 베이스라인보다 뛰어난 성능을 보인다. 이러한 공격적인 마스킹 시나리오에서 CLIPF는 구문 마스킹에 대해 상당한 성능 격차를 유지한다.
• 강건성 및 검색: CLIPF는 ImageNet-A, ImageNet-R, ObjectNet과 같은 데이터셋에서 우수한 제로샷 강건성을 보여준다. 이미지-텍스트 검색 작업에서 CLIPF는 일반적으로 절단 및 구문 마스킹보다 우수하지만, 일부 검색 지표에서는 무작위 및 블록 마스킹과 대등한 성능을 보이며, 높은 마스킹 비율(4개 토큰) 시나리오에서 뚜렷한 우위를 점한다.
• 특정 데이터셋 동작: 클래스 이름이 주로 명사가 아닌 데이터셋(예: Describable Textures Dataset, OxfordPets)에서 구문 마스킹은 낮은 성능을 보이는 반면, CLIPF는 강력한 성능을 유지한다.
• 계산 효율성: CLIPF는 구문 마스킹에 필요한 시간이 많이 소요되는 POS 태깅을 피한다. 실험에 따르면 구문 마스킹은 CC12M 데이터셋을 처리하는 데 CLIPF보다 약 2.5배 더 긴 시간이 걸린다.

의의 및 주장
본 논문은 현재의 최첨단 결과(구문 마스킹이 가장 좋다는 것)가 제한된 학습 기간에 의존하고 있다고 주장한다. 학습을 연장함으로써, 저자들은 구문 마스킹이 최적의 접근 방식이 아님을 보여준다. 본 연구의 의의는 다음과 같다:

• 최첨단 기술의 수정: 구문 마스키가 최선의 텍스트 마스킹 전략이라는 이해를 업데이트하고, 대신 빈도 보존 전략이 더 우수함을 보여준다.
• 실무적 가이드라인: 실무자들에게 명확한 가이드라인을 제공한다: 단어 빈도에 불균형한 영향을 미치는 텍스트 마스킹 전략은 피해야 하며, 상대적 빈도를 보호하는 전략(CLIPF, 무작위, 블록과 같은)이 선호된다.
• 자원 효율성: CLIPF는 계산 오버헤드가 적고(POS 태깅 불필요), 마스킹되지 않은 베이스라인이나 구문 기반 접근 방식에 비해 더 적은 학습 자원(더 적은 토큰 및 에포크)으로 더 나은 결과를 달성하는 고성능 대안을 제공한다.

저자들은 텍스트 마스킹 전략을 선택할 때 단어 빈도를 고려하는 것이 필수적이며, CLIPF가 VLM 사전 학습을 위한 강력하고 효율적이며 고성능인 솔루션을 제공한다고 결론짓는다.