Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

1. 문제 제기 (Problem)

• 비영어권 VLM 의 한계: 비영어권 (특히 일본어) 을 위한 고품질 멀티모달 비전 - 언어 모델 (VLM) 을 구축하는 데 있어 가장 큰 장애물은 대규모 고품질 학습 데이터의 부재입니다.
• 기존 방식의 비효율성: 영어권에서는 기존 수천 개의 시각적 질문 응답 (VQA) 데이터를 수집하고 통합하여 대규모 데이터셋을 구축하는 방식이 일반적입니다. 그러나 일본어와 같은 다른 언어권에서는 이러한 기존 VQA 데이터셋의 규모와 도메인 커버리지가 매우 제한적입니다.
• 기존 일본어 데이터셋의 부족: 기존 일본어 멀티모달 데이터셋 (예: DEJIMA, LLM-jp-3 VILA) 은 규모가 작고 문서 이해나 차트 comprehension 과 같은 중요한 도메인을 충분히 다루지 못하며, 종종 GPT-4o 와 같은 독점 모델을 의존하여 라이선스 제약이 따릅니다.

2. 방법론 (Methodology)

저자들은 기존 데이터셋을 단순히 수집하는 방식 대신, 다양한 소스 데이터에서 직접 VQA 쌍을 생성하는 새로운 파이프라인을 제안하여 Jagle 을 구축했습니다.

• 데이터 수집 및 카테고리 정의:
  • Eagle2 의 분류 체계를 기반으로 5 가지 주요 카테고리 (General VQA, Chart & Table, Captioning & Knowledge, OCR QA, Naive OCR) 를 정의했습니다.
  • 이질적인 소스 데이터 활용: 웹 이미지 (japanese-photos), 위키백과 (Wiki-JA), 크롤링 데이터 (WAON), PDF 문서 (NDL WARP, FinePDFs-Edu), 정부 포털 (e-Gov) 등 다양한 원천 데이터를 수집했습니다.
• VQA 생성 전략 (4 가지 핵심 기법):
  1. VLM 기반 QA 생성: Qwen3-VL(235B-A22B-Instruct) 과 같은 고성능 오픈 가중치 모델을 사용하여 이미지와 캡션 정보를 바탕으로 질문과 답변을 대량 생성했습니다.
  2. OCR 기반 텍스트 추출: PaddleOCR-VL 모델을 사용하여 이미지 내 텍스트를 정확하게 추출하고 이를 기반으로 QA 쌍을 생성했습니다.
  3. 텍스트 렌더링 (Text Rendering): JSQuAD, JSSODa 와 같은 텍스트 기반 QA 데이터를 이미지로 변환하여 Naive OCR 태스크를 생성했습니다.
  4. 번역 (Translation): PlotQA, TAT-QA 와 같은 영어 차트/표 데이터를 번역할 때, 이미지 생성 스크립트 (Python) 를 함께 번역하여 이미지 내 텍스트와 QA 쌍의 언어 일관성을 유지했습니다.
• 품질 관리: 생성된 데이터의 품질을 보장하기 위해 수동 검사를 반복 수행하고, 유사한 이미지를 제거 (deduplication) 하며, PDF 의 경우 페이지당 1 장만 무작위 선택하여 다양성을 확보했습니다.

3. 주요 기여 (Key Contributions)

• Jagle 데이터셋 공개: 현재까지 가장 큰 규모의 일본어 멀티모달 포스트-트레이닝 데이터셋인 Jagle을 공개했습니다.
  • 규모: 약 920 만 개 (9.2M) 의 인스턴스.
  • 다양성: 5 개의 카테고리, 17 개의 하위 집합 (subset) 으로 구성됨.
  • 특징: 기존 데이터셋을 단순히 합치는 것이 아니라, 소스 데이터부터 직접 구축하여 저자원 언어 (Low-resource languages) 에도 확장 가능한 파이프라인을 제시했습니다.
• 재현성 및 오픈 소스: 데이터셋, 학습된 모델, 코드, 그리고 상세한 통계 정보를 공개하여 연구의 재현성과 향후 연구를 촉진합니다.

4. 실험 결과 (Results)

저자들은 Jagle 로 학습된 22 억 파라미터 (2.2B) 규모의 모델을 평가했습니다.

• 일본어 태스크 성능:
  • Jagle 로 학습된 모델은 10 개 일본어 벤치마크의 평균 점수에서 InternVL3.5-2B 를 능가했습니다.
  • 또한, Qwen3-VL-2B-Instruct 와 5 점 이내의 격차를 보이며 매우 강력한 성능을 입증했습니다.
  • FineVision(영어 데이터셋) 만으로 학습한 모델보다 일본어 태스크에서 20 점 이상 높은 점수를 기록했습니다.
• 영어 태스크 성능 (다국어 간섭 현상 부재):
  • Jagle 과 FineVision 을 혼합하여 학습했을 때, 영어 태스크 성능이 FineVision 단독 학습보다 오히려 향상되었습니다. 이는 '다국어의 저주 (Curse of Multilinguality)'가 발생하지 않았음을 의미하며, 데이터 다양성 증가가 긍정적 효과를 가져왔음을 시사합니다.
• 효율성: Jagle 학습 모델은 Qwen3-VL 의 포스트-트레이닝 토큰 수 (약 2T) 의 10 분의 1 미만 (약 150B 토큰) 으로 학습되었음에도 불구하고 경쟁력 있는 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 비영어권 VLM 연구의 전환점: 영어 중심의 데이터 구축 방식을 넘어, 소스 데이터를 직접 수집하고 다양한 생성 전략을 적용하여 비영어권 대규모 데이터셋을 구축할 수 있는 확장 가능한 파이프라인을 제시했습니다.
• 실용적 가치: Jagle 은 일본어 문서 이해, 차트 분석, OCR 등 다양한 실제 응용 분야에서 VLM 의 성능을 획기적으로 개선할 수 있음을 입증했습니다.
• 미래 연구 방향: 데이터 혼합 비율 최적화, 할루시네이션 감소, 그리고 수학/과학 등 누락된 카테고리 추가 등을 통해 향후 모델 성능을 더욱 고도화할 수 있는 방향을 제시했습니다.

요약하자면, Jagle 은 일본어 멀티모달 AI 의 발전에 필수적인 대규모 데이터 인프라를 마련했을 뿐만 아니라, 저자원 언어를 위한 데이터 구축 전략으로서의 방법론적 통찰을 제공한 중요한 연구입니다.