WAON: Large-Scale Japanese Image-Text Pair Dataset for Improving Model Performance on Japanese Cultural Tasks

1. O Problema

O pré-treinamento contrastivo em grandes conjuntos de dados de pares imagem-texto tem impulsionado avanços significativos na aprendizagem de representações visão-linguagem. A estratégia atual mais eficaz envolve o pré-treinamento em dados globais, seguido de fine-tuning (ajuste fino) específico para a língua ou cultura-alvo.

No entanto, para o japonês, existe uma lacuna crítica: a escassez de conjuntos de dados de imagem-texto em grande escala, de alta qualidade e nativos (não traduzidos), que sejam adequados para o conteúdo cultural japonês.

• Limitações dos dados existentes:
  • Conjuntos como o subset japonês do ReLAION dependem de modelos de filtragem mais fracos (mCLIP) e têm problemas de deduplicação.
  • Conjuntos baseados em tradução (ex: ReLAION en→ja) introduzem ruído de tradução e herdam vieses culturais dos dados originais em inglês, limitando sua utilidade para tarefas culturais específicas do Japão.
  • Conjuntos baseados em Wikipedia (WIT) são insuficientes em escala para treinar modelos de alta capacidade.

2. Metodologia

Os autores propõem duas contribuições principais: o conjunto de dados WAON e o benchmark WAON-Bench.

A. Construção do Dataset WAON

O WAON (Web-scale image text Aligned Open Nihongo) é um conjunto de dados com aproximadamente 155 milhões de pares imagem-texto, extraído diretamente do conteúdo da web japonesa no Common Crawl. O pipeline de construção envolveu as seguintes etapas rigorosas:

1. Extração e Identificação de Idioma: Extração de documentos HTML de arquivos WARC, filtrando apenas conteúdo japonês (usando atributos lang e identificação de modelo).
2. Extração de Pares: Coleta de pares (URL da imagem, legenda) a partir de atributos alt ou elementos <figcaption>.
3. Deduplicação (URL e Legenda): Remoção de duplicatas exatas usando filtros de Bloom para eficiência de memória.
4. Download e Filtragem de Qualidade: Download das imagens e aplicação de heurísticas para remover anúncios (proporção de aspecto anormal, baixa resolução, baixa diversidade de cores).
5. Filtragem NSFW: Uso de um modelo de classificação (baseado em OpenCLIP) para remover conteúdo adulto ou inseguro.
6. Deduplicação Visual (pHash): Cálculo de hashes perceptuais para remover imagens visualmente similares (near-duplicates) que possuem URLs diferentes.
7. Filtragem por Pontuação SigLIP: Uso do modelo SigLIP2 para calcular a similaridade semântica entre imagem e texto. Pares com pontuação abaixo de 0,1 foram descartados para garantir alinhamento semântico.

B. Construção do Benchmark WAON-Bench

Para avaliar a qualidade dos modelos em tarefas culturais, os autores criaram o WAON-Bench, um benchmark de classificação de imagens culturalmente japonês:

• Escala: 374 classes (mais do que o dobro do benchmark anterior "Recruit") e 1.870 imagens no total.
• Categorias: 8 categorias (animal, edifício, evento, cotidiano, comida, natureza, paisagem, tradição).
• Curadoria Manual: As classes foram definidas a partir de fontes diversas (Wikipedia, observação direta em cidades japonesas). As imagens foram selecionadas manualmente no Google Imagens para garantir diversidade visual e evitar sobreposição de classes.
• Verificação: Dois anotadores verificaram a correspondência entre imagem e rótulo, corrigindo erros de anotação.

3. Contribuições Chave

1. WAON Dataset: O maior conjunto de dados de pares imagem-texto japonês construído nativamente a partir da web japonesa (155M pares), superando em escala e qualidade os conjuntos existentes (traduzidos ou filtrados com modelos inferiores).
2. WAON-Bench: Um novo benchmark rigoroso e manualmente curado para avaliação de tarefas culturais japonesas, resolvendo problemas de desequilíbrio de classes e incompatibilidade rótulo-imagem presentes em benchmarks anteriores.
3. Pipeline de Curadoria: Uma metodologia robusta de filtragem e deduplicação que combina heurísticas simples com modelos de estado da arte (SigLIP2) para garantir alta qualidade dos dados.
4. Recursos Abertos: Liberação pública do dataset, dos modelos ajustados e do código.

4. Resultados

Os experimentos compararam modelos ajustados no WAON contra modelos ajustados no ReLAION (subset japonês e versão traduzida) e modelos base (SigLIP2, CLIP japonês).

• Desempenho em Tarefas Culturais (WAON-Bench e Recruit):
  • O modelo ajustado no WAON alcançou 95,1% de precisão (Top-1) no WAON-Bench, superando o ReLAION (subset japonês) que atingiu 93,0% e a versão traduzida que caiu para 76,8%.
  • Também obteve o melhor desempenho no dataset Recruit (83,3%), superando todos os baselines.
  • O modelo convergiu de forma mais eficiente, atingindo o pico de desempenho com menos exemplos vistos em comparação aos baselines.
• Desempenho em Benchmarks Globais/Ocidentais:
  • No ImageNet (versão traduzida), o WAON melhorou a performance em 1,5 pontos, embora o ReLAION (traduzido) tenha tido um ganho ligeiramente maior (3,6 pontos), sugerindo que o WAON é mais focado em cultura japonesa, enquanto dados traduzidos mantêm mais viés ocidental.
  • Na recuperação de texto-imagem (XM3600), o WAON mostrou ganhos substanciais (de 38,3% para 73,5%), demonstrando eficácia na recuperação multilíngue.

5. Significado e Conclusão

O artigo demonstra que a estratégia de pré-treinamento global seguido de ajuste fino específico para cultura/idioma é altamente eficaz quando se dispõe de dados de alta qualidade nativos.

• Impacto: O WAON preenche uma lacuna crítica no ecossistema de IA para o japonês, permitindo o desenvolvimento de modelos de visão-linguagem que entendem verdadeiramente o contexto cultural japonês, algo que modelos treinados apenas com dados traduzidos não conseguem fazer com a mesma eficiência.
• Reprodutibilidade: Ao liberar o dataset, o benchmark e os modelos, os autores facilitam a pesquisa futura em adaptação cultural e linguística para modelos de visão-linguagem.
• Limitações: Embora o WAON-Bench seja uma melhoria significativa, a cobertura da diversidade cultural japonesa ainda pode ser expandida em trabalhos futuros.

Em resumo, o WAON estabelece um novo padrão para a criação de dados de treinamento para IA culturalmente específica, provando que a qualidade e a origem nativa dos dados são tão importantes quanto a escala.