WAON: Large-Scale Japanese Image-Text Pair Dataset for Improving Model Performance on Japanese Cultural Tasks

1. 문제 정의 (Problem)

비전 - 언어 (Vision-Language) 표현 학습의 발전은 대규모 이미지 - 텍스트 쌍 데이터셋을 통한 대비적 사전 학습 (Contrastive Pre-training) 에 크게 의존해 왔습니다. 최근 연구는 글로벌 데이터로 사전 학습한 후 특정 언어나 문화에 맞춰 미세 조정 (Fine-tuning) 하는 방식이 타겟 도메인 성능 향상에 효과적임을 보여주고 있습니다.

그러나 일본어의 경우 다음과 같은 심각한 한계가 존재했습니다:

• 데이터 부족: 일본어와 일본 문화 콘텐츠에 특화된 대규모 고품질 이미지 - 텍스트 쌍 데이터셋이 부족합니다.
• 기존 데이터의 한계:
  • ReLAION (ja subset): 크기는 크지만 (약 1.2 억 개), 중복 제거가 불충분하고 필터링에 사용된 mCLIP 모델이 최신 모델보다 성능이 낮아 품질이 떨어집니다.
  • 번역 기반 데이터: 영어 데이터셋의 캡션을 일본어로 번역한 방식은 번역 오류와 원본 데이터의 문화적 편향 (Cultural Bias) 을 그대로 전달하여 일본 문화 이해에 한계가 있습니다.
• 평가 기준의 결함: 기존 일본 문화 평가 벤치마크 (Recruit dataset) 는 클래스 불균형 (음식 카테고리 과다), 라벨 - 이미지 불일치, 유사 이미지 중복 등의 문제로 신뢰성이 낮았습니다.

2. 방법론 (Methodology)

A. WAON 데이터셋 구축 (Dataset Construction)

저자들은 Common Crawl 의 일본어 웹 콘텐츠에서 약 1.55 억 개 (155M) 의 이미지 - 텍스트 쌍을 추출하여 WAON (Web-scale image text Aligned Open Nihongo) 을 구축했습니다. 데이터 품질을 높이기 위해 다음과 같은 파이프라인을 적용했습니다:

1. HTML 추출 및 언어 식별: WARC 파일에서 일본어 HTML 만 추출하고, <title> 태그가 비어 있거나 언어가 일본어가 아닌 문서는 제거합니다.
2. 텍스트 추출: alt 속성과 <figcaption> 요소에서 이미지 캡션을 추출하며, 일본어 문자 (히라가나, 가타카나, 한자) 가 포함되지 않은 것은 제거합니다.
3. 중복 제거 (Deduplication):
   • URL 과 캡션 기반 중복 제거 (Bloom Filter 사용).
   • 이미지 다운로드 후 pHash(지각 해시) 를 계산하여 시각적으로 유사한 근접 중복 이미지를 제거합니다.
4. 품질 필터링:
   • 이미지 품질: 광고 (비정상적인 종횡비), 저해상도 (150px 미만), 색상 다양성 부족 (32 색 미만) 이미지 제거.
   • NSFW 필터링: OpenCLIP 기반 모델로 성인물/유해 콘텐츠 제거 (스코어 0.1 이상 제거).
   • 의미 정렬 필터링: SigLIP2 모델을 사용하여 이미지와 텍스트 간의 시맨틱 유사도 (Cosine Similarity) 를 계산하고, 0.1 미만의 낮은 점수를 가진 불일치 쌍을 제거합니다.

B. WAON-Bench 구축 (Evaluation Benchmark)

기존 벤치마크의 한계를 극복하기 위해 WAON-Bench를 수동으로 큐레이션했습니다.

• 구성: 374 개의 클래스 (8 개 카테고리: 동물, 건축, 행사, 일상, 음식, 자연, 풍경, 전통) 로 구성되며, 총 1,870 개의 이미지 (클래스당 5 장) 를 포함합니다.
• 개선점: 기존 Recruit 데이터셋보다 클래스 수가 2 배 이상 증가했으며, 라벨 - 이미지 불일치와 유사 이미지 중복을 제거하기 위해 수동 검수 (2 명의 어노테이터) 를 거쳤습니다.

C. 실험 설정

• 기반 모델: 글로벌 데이터로 사전 학습된 강력한 오픈 가중치 모델인 SigLIP2-base-patch16-256을 사용합니다.
• 미세 조정: WAON, ReLAION (ja subset), ReLAION (en→ja 번역본) 데이터셋 각각으로 모델을 미세 조정하여 비교합니다.
• 평가: 제로샷 (Zero-shot) 이미지 분류 (WAON-Bench, Recruit, ImageNet) 및 이미지 - 텍스트 검색 (XM3600) 태스크를 수행합니다.

3. 주요 기여 (Key Contributions)

1. WAON 데이터셋 공개: 일본어 웹 콘텐츠에서 직접 추출한 1.55 억 개의 이미지 - 텍스트 쌍으로 구성된 일본어 최대 규모의 데이터셋을 공개했습니다.
2. WAON-Bench 벤치마크: 374 개의 클래스를 포함하며, 기존 벤치마크의 불균형과 오류 문제를 해결한 고품질 일본 문화 분류 평가 기준을 제시했습니다.
3. 효율적인 문화 적응 전략: 글로벌 데이터 사전 학습 + 일본어/문화 특화 미세 조정 (WAON 사용) 이 기존 일본어 데이터셋보다 문화적 태스크에서 더 효율적이고 우수한 성능을 낸다는 것을 입증했습니다.
4. 오픈 소스: 데이터셋, 모델, 코드 모두 공개하여 연구의 재현성을 보장합니다.

4. 실험 결과 (Results)

• 일본 문화 태스크 성능: WAON 으로 미세 조정된 모델은 WAON-Bench에서 95.1% 의 Top-1 정확도를 기록하여, 기존 ReLAION 기반 모델 (93.0%) 과 베이스라인 모델들을 압도했습니다. Recruit 데이터셋에서도 가장 높은 성능을 보였습니다.
• 학습 효율성: WAON 기반 모델은 학습 단계가 증가함에 따라 성능이 꾸준히 향상되는 반면, 번역 기반 데이터 (ReLAION en→ja) 는 학습 중 성능이 하락하는 경향을 보였습니다.
• 글로벌/서구 문화 태스크:
  • ImageNet (ja): WAON 은 베이스 모델 대비 1.5%p 향상시켰으나, 서구 이미지 비율이 높은 ReLAION (en→ja) 보다 향상 폭은 작았습니다. 이는 WAON 이 일본 문화에 특화되어 있기 때문입니다.
  • XM3600 (검색): WAON 기반 모델은 베이스 모델 대비 35.2%p (38.3% → 73.5%) 의 큰 향상을 보이며, 번역 기반 모델 (73.8%) 과 유사한 성능을 달성했습니다. 이는 WAON 이 교차 언어 검색에도 효과적임을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 일본어와 일본 문화에 특화된 대규모 고품질 데이터의 부재 문제를 해결하고, WAON과 WAON-Bench를 통해 일본어 기반 비전 - 언어 모델의 성능 한계를 확장했습니다.

주요 시사점은 다음과 같습니다:

• 문화적 적응의 중요성: 글로벌 데이터로 사전 학습한 후, 대상 언어와 문화에 맞는 고품질 데이터로 미세 조정하는 것이 특정 문화권 태스크에서 가장 효과적인 전략임을 입증했습니다.
• 데이터 품질의 영향: 단순한 번역이나 기존 데이터셋의 일본어 하위 집합보다는, 원천적으로 일본어 웹에서 추출하고 엄격하게 필터링된 데이터 (WAON) 가 문화적 이해도와 모델 성능을 결정적으로 향상시킵니다.
• 미래 연구 방향: WAON-Bench 와 같은 정교한 평가 기준의 필요성을 강조하며, 향후 더 다양한 일본 문화 개념을 포괄하는 데이터 확장 및 다중 데이터셋 통합 연구의 기초를 마련했습니다.

결론적으로, WAON 은 일본어 비전 - 언어 모델 연구의 새로운 표준 데이터셋 및 평가 체계를 제시하여, 일본 문화 관련 AI 기술 발전에 중요한 기여를 할 것으로 기대됩니다.