WAON: Large-Scale Japanese Image-Text Pair Dataset for Improving Model Performance on Japanese Cultural Tasks

1. Problema Identificado

El entrenamiento contrastivo a gran escala en pares imagen-texto ha impulsado avances significativos en el aprendizaje de representaciones visión-idioma. La estrategia actual más efectiva implica un preentrenamiento global seguido de un ajuste fino (fine-tuning) específico para el idioma o la cultura objetivo. Sin embargo, para el japonés, existe una limitación crítica: la escasez de conjuntos de datos a gran escala, de alta calidad y nativos que capturen específicamente el contenido cultural japonés.

Los conjuntos de datos existentes presentan varias deficiencias:

• Subconjuntos de ReLAION: Aunque grandes (~120M), dependen de filtros de calidad basados en modelos CLIP multilingües más antiguos y débiles (mCLIP) y sufren de deduplicación insuficiente.
• Traducciones: Los conjuntos creados traduciendo descripciones del inglés al japonés introducen "ruido" de traducción y heredan sesgos culturales del idioma fuente, lo que limita su utilidad para tareas culturales japonesas.
• Evaluación deficiente: Los benchmarks existentes (como el conjunto de datos Recruit) sufren de desequilibrio de clases (exceso de comida), coincidencias incorrectas entre etiquetas e imágenes y duplicados cercanos.

2. Metodología

A. Construcción del Dataset WAON

Los autores presentan WAON (Web-scale image text Aligned Open Nihongo), un conjunto de datos de 155 millones de pares imagen-texto extraídos directamente de contenido web japonés en Common Crawl. El pipeline de construcción incluye:

1. Extracción y Filtrado Inicial: Descarga de archivos WARC, extracción de HTML y filtrado estricto de documentos en japonés (usando atributos lang y detección de idioma con Lingua). Se descartan páginas sin títulos.
2. Extracción de Pares: Se obtienen pares (URL de imagen, descripción) de los atributos alt y etiquetas <figcaption>. Se eliminan URLs inválidas y textos sin caracteres japoneses.
3. Deduplicación (URL y Texto): Se utiliza un filtro de Bloom para eliminar duplicados exactos de URL y texto antes de descargar imágenes, optimizando el uso de memoria.
4. Descarga y Filtrado de Imágenes:
   • Calidad: Se descartan imágenes con relaciones de aspecto anormales (banners), dimensiones menores a 150px o baja diversidad de colores (<32 colores únicos).
   • Seguridad (NSFW): Se utiliza un modelo basado en OpenCLIP para eliminar contenido para adultos o inseguro (umbral de puntuación > 0.1).
   • Deduplicación Visual: Se calculan hashes perceptuales (pHash) para eliminar imágenes visualmente similares (duplicados cercanos) que tienen diferentes URLs.
5. Filtrado de Alineación Semántica: Se utiliza el modelo SigLIP2 para calcular la similitud coseno entre las incrustaciones de imagen y texto. Se eliminan los pares con una puntuación inferior a 0.1, asegurando una alineación semántica robusta.

B. Construcción del Benchmark WAON-Bench

Para evaluar de manera fiable las capacidades culturales, se creó WAON-Bench, un benchmark de clasificación de imágenes curado manualmente:

• Escala: 374 clases (más del doble que el benchmark anterior Recruit) divididas en 8 categorías (animales, edificios, eventos, vida cotidiana, comida, naturaleza, paisajes y tradiciones).
• Datos: 1,870 imágenes en total (5 imágenes por clase).
• Proceso: Definición de clases basada en fuentes diversas (Wikipedia, búsquedas, observación directa), selección manual de imágenes diversas en Google Imágenes y verificación por dos anotadores nativos para corregir errores de etiquetado.

3. Contribuciones Clave

1. WAON (155M pares): El conjunto de datos de pares imagen-texto japonés más grande construido directamente desde contenido web nativo, superando a las opciones actuales en escala y calidad de origen.
2. Pipeline de Curación Riguroso: Una metodología que combina filtrado basado en reglas, deduplicación eficiente (Bloom filter, pHash) y filtrado semántico con modelos de última generación (SigLIP2).
3. WAON-Bench: Un nuevo estándar de evaluación para tareas culturales japonesas que resuelve problemas de desequilibrio de clases y ruido en las etiquetas de los benchmarks previos.
4. Recursos Abiertos: Liberación pública del dataset, los modelos ajustados y el código para fomentar la investigación en adaptación cultural.

4. Resultados Experimentales

Los autores realizaron un estudio de ablación comparando modelos ajustados finamente sobre WAON frente a modelos ajustados sobre subconjuntos de ReLAION (versión japonesa nativa y versión traducida del inglés), partiendo de una base SigLIP2-base-patch16-256.

• Rendimiento en Tareas Culturales:
  • El modelo ajustado con WAON alcanzó una precisión Top-1 del 95.1% en WAON-Bench, superando al modelo ajustado con ReLAION japonés (93.0%) y mostrando una degradación severa en el modelo traducido (76.8%).
  • En el benchmark Recruit, WAON también obtuvo el mejor rendimiento, superando a todos los modelos base y ajustados.
• Eficiencia: WAON demostró una convergencia más rápida y eficiente en tareas culturales en comparación con los conjuntos de datos existentes.
• Rendimiento Global/Occidental:
  • En ImageNet (traducción japonesa), WAON mejoró el rendimiento en 1.5 puntos (menor que la traducción de ReLAION, que mejoró 3.6 puntos), lo que sugiere que WAON es más específico para contenido cultural japonés, mientras que las traducciones capturan más imágenes occidentales.
  • En XM3600 (recuperación multilingüe), WAON mostró una mejora masiva (de 38.3 a 73.5), acercándose al rendimiento de la versión traducida, lo que indica su eficacia en recuperación cruzada de idiomas.

5. Significado e Impacto

Este trabajo demuestra que la estrategia de preentrenamiento global seguido de ajuste fino específico para la cultura es altamente efectiva cuando se dispone de datos de alta calidad nativos. WAON cierra la brecha de datos para el japonés, permitiendo que los modelos de visión-idioma comprendan matices culturales que los modelos entrenados con datos traducidos o filtrados con modelos débiles no pueden capturar.

La investigación subraya la importancia de la curación de datos nativos sobre la simple traducción para tareas culturales específicas. Además, al liberar WAON y WAON-Bench, los autores establecen un nuevo estándar para el desarrollo y evaluación de modelos de IA centrados en la cultura japonesa, promoviendo la reproducibilidad y el avance en la adaptación lingüística y cultural de los modelos multimodales.

Limitaciones: Aunque WAON-Bench es más grande que sus predecesores, la cobertura de la diversidad de conceptos culturales japoneses sigue siendo limitada y requiere expansión futura. Además, al ser datos web, el dataset puede contener sesgos o contenido problemático a pesar de los filtros aplicados.