Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

1. El Problema

El desarrollo de Modelos de Lenguaje y Visión (VLM) que generalicen bien en diversas tareas depende críticamente de conjuntos de datos de entrenamiento a gran escala y de alta calidad.

• Limitación del enfoque actual: En inglés, la estrategia predominante consiste en agregar, curar y unificar numerosos conjuntos de datos existentes de Visual Question Answering (VQA) (ej. FineVision con 24M de instancias).
• Brecha en idiomas no ingleses: Esta estrategia no es fácilmente transferible a otros idiomas, como el japonés, donde los conjuntos de datos VQA existentes son limitados tanto en escala como en cobertura de dominios.
• Consecuencia: La escasez de recursos multimodales de alta calidad en japonés obstaculiza la creación de VLMs multilingües de alto rendimiento. Los conjuntos de datos japoneses actuales (como DEJIMA o LLM-jp-3 VILA) son pequeños y carecen de cobertura en dominios críticos como la comprensión de documentos y gráficos.

2. Metodología

Los autores proponen Jagle, un pipeline escalable para construir un conjunto de datos desde cero, en lugar de depender de la agregación de datasets existentes. El proceso se divide en tres etapas principales:

A. Definición de Categorías

Se definieron 5 categorías de tareas basadas en la taxonomía de Eagle2, seleccionando aquellas más dependientes del lenguaje:

1. VQA General: Preguntas sobre imágenes naturales.
2. Gráficos y Tablas: Extracción e interpretación de información visual.
3. Descripción y Conocimiento: Generación de descripciones y captura de conocimiento asociado.
4. OCR QA: Preguntas basadas en texto dentro de imágenes.
5. OCR Básico (Naive OCR): Extracción directa de texto en orden de lectura.
   (Se excluyeron categorías como Matemáticas y Ciencias por ser menos dependientes del idioma).

B. Recolección de Datos de Origen

Se recopiló una fuente de datos heterogénea que incluye imágenes, pares imagen-texto y documentos PDF. Las fuentes incluyen:

• Imágenes naturales: japanese-photos, Wiki-JA (Wikipedia japonesa) y WAON (datos de Common Crawl).
• Documentos y PDFs: Archivos del Proyecto de Archivado Web de la Biblioteca Nacional de la Dieta (NDL WARP) y FinePDFs-Edu.
• Datos gubernamentales: Portales e-Gov y conjuntos de datos sintéticos como Nemotron-VLM-Dataset-v2.

C. Generación de Pares Pregunta-Respuesta (QA)

Para superar la falta de datos etiquetados manualmente, se emplearon cuatro estrategias de generación:

1. Generación basada en VLM: Uso de modelos potentes (Qwen3-VL-235B-A22B-Instruct) con prompts específicos para generar preguntas y respuestas a partir de imágenes y textos. Se incluyen subtítulos existentes para enriquecer el contexto.
2. Extracción de texto basada en OCR: Uso de PaddleOCR-VL para extraer texto preciso de imágenes y generar pares QA.
3. Renderizado de texto: Conversión de textos preparados (de datasets como JSQuAD) en imágenes para crear tareas de OCR básico.
4. Traducción: Traducción de datasets en inglés (como PlotQA y TAT-QA) al japonés. Un paso clave fue traducir los scripts de Python que generan las imágenes, asegurando que el texto dentro de la imagen y el par QA estén consistentemente en japonés.

3. Contribuciones Clave

• Jagle Dataset: El conjunto de datos multimodal de post-entrenamiento en japonés más grande hasta la fecha, con aproximadamente 9.2 millones de instancias distribuidas en 17 subconjuntos.
• Pipeline Escalable: Una metodología que no depende de la disponibilidad previa de datasets VQA, sino que construye el corpus desde fuentes primarias (imágenes, PDFs) mediante generación sintética y traducción. Esto hace el enfoque transferible a otros idiomas de bajos recursos.
• Diversidad de Dominios: Cubre explícitamente dominios complejos a menudo ignorados en datasets japoneses anteriores, como la comprensión de documentos, gráficos, tablas y OCR.
• Recursos Abiertos: Liberación pública del dataset, los modelos entrenados y el código para fomentar la reproducibilidad.

4. Resultados

Los experimentos se realizaron entrenando un modelo VLM de 2.2B parámetros (basado en Qwen3-1.7B y SigLIP2) en tres configuraciones: solo Jagle, solo FineVision (inglés) y una mezcla de ambos.

• Rendimiento en Tareas Japonesas:

  • El modelo entrenado con Jagle superó significativamente al modelo entrenado solo con FineVision, logrando una mejora de más de 20 puntos en el promedio de 10 benchmarks japoneses.
  • Superó al modelo InternVL3.5-2B en el promedio de tareas japonesas.
  • Se situó a menos de 5 puntos de Qwen3-VL-2B-Instruct, a pesar de haber consumido menos de una décima parte de los tokens de entrenamiento multimodal utilizados por Qwen3-VL.
  • El rendimiento continuó mejorando hasta el final del entrenamiento sin signos de saturación.

• Impacto en Tareas en Inglés:

  • Contrario a la "maldición del multilingüismo" (donde añadir datos de un idioma degrada el rendimiento en otro), combinar Jagle con FineVision mejoró el rendimiento en inglés en comparación con entrenar solo con FineVision.
  • Esto sugiere que la diversidad de datos introducida por Jagle beneficia la capacidad de generalización del modelo.

5. Significado e Impacto

• Avance para VLMs en Japonés: Jagle establece un nuevo estándar de escala y calidad para el entrenamiento de modelos de visión-lenguaje en japonés, cerrando la brecha con los recursos disponibles en inglés.
• Validación de Estrategias de Generación: Demuestra que es viable construir datasets masivos y diversos para idiomas de bajos recursos mediante la combinación de fuentes heterogéneas y generación asistida por IA, sin depender exclusivamente de anotación humana masiva.
• Beneficio Multilingüe: Los resultados desafían la noción de que el entrenamiento en idiomas específicos degrada el rendimiento en inglés, sugiriendo que la diversidad de datos (incluso en otro idioma) puede actuar como un regularizador positivo para la capacidad de razonamiento multimodal general.
• Futuro de la Investigación: Proporciona una base sólida para desarrollar VLMs generalistas en Asia y otros mercados donde los datos multimodales son escasos, y abre la puerta a la inclusión de categorías adicionales (matemáticas, ciencias) en futuras iteraciones.