WAON: Large-Scale Japanese Image-Text Pair Dataset for Improving Model Performance on Japanese Cultural Tasks

Probleemstelling

Hoewel contrastieve pre-training op grote schaal van beeld-tekstparen (zoals bij CLIP en SigLIP) aanzienlijke vooruitgang heeft geboekt in visueel-taalrepresentatie, blijft er een kritieke knelpunt bestaan voor de Japanse taal en cultuur.

• Schaarste aan data: Er is een gebrek aan grote, hoogwaardige datasets met beeld-tekstparen die specifiek zijn opgesteld voor Japanse webcontent.
• Beperkingen van bestaande datasets: Bestaande Japanse subsets (zoals die van ReLAION) zijn vaak onvoldoende gedupliceerd of vertrouwen op zwakkere meertalige CLIP-modellen voor filtering.
• Vertaalproblemen: Datasets die zijn gegenereerd door Engelse captions te vertalen naar het Japans, introduceren vertaalfouten en erven culturele bias over van de brondata, wat de prestaties op Japanse culturele taken beperkt.
• Evaluatieproblemen: Bestaande benchmarks (zoals de Recruit-dataset) vertonen onevenwichtige categorieën (te veel voedsel), mismatch tussen labels en afbeeldingen, en gebrek aan diversiteit.

Methodologie

De auteurs introduceren WAON (Web-scale image text Aligned Open Nihongo), een dataset van ongeveer 155 miljoen Japanse beeld-tekstparen, en WAON-Bench, een nieuw evaluatiebenchmark.

1. Constructie van WAON (Dataset)

De dataset is afgeleid van Common Crawl (web-snapshots van 2024-2025) via een strikt filtratie- en deduplicatieproces:

• Extraction & Identificatie: HTML-documenten worden geëxtraheerd en gefilterd op Japans (gebruikmakend van lang-attributen en model-based taalherkenning).
• Paar Extractie: (Afbeeldings-URL, Caption)-paren worden gehaald uit alt-attributen of <figcaption>-elementen.
• Filtratie:
  • Kwaliteit: Verwijdering van afbeeldingen met extreme aspectverhoudingen (reclames) en lage kleurdiversiteit.
  • NSFW: Filtering met een op OpenCLIP gebaseerd model om onveilige inhoud te verwijderen.
  • Semantische Alignering: Gebruik van SigLIP2 om de cosine-相似iteit tussen afbeelding en tekst te berekenen. Paren met een score onder 0,1 worden verwijderd om slecht gekoppelde content te elimineren.
• Deduplicatie:
  • URL/Text: Gebruik van Bloom-filters om exacte duplicaten te verwijderen.
  • Visueel: Berekening van perceptuele hashes (pHash) om visueel vergelijkbare (near-duplicate) afbeeldingen te verwijderen, zelfs als de URL of tekst verschilt.

2. Constructie van WAON-Bench (Benchmark)

Om de evaluatie te verbeteren, hebben de auteurs een handmatig samengesteld benchmark gemaakt:

• Omvang: 374 klassen verdeeld over 8 categorieën (dieren, gebouwen, evenementen, dagelijks leven, voedsel, natuur, landschap, traditie).
• Data: Totaal 1.870 afbeeldingen (5 per klasse).
• Validatie: Handmatige selectie via Google Image Search met focus op diversiteit in compositie en perspectief, gevolgd door verificatie door twee annotators om label-afbeelding mismatches te corrigeren. Dit lost problemen op van eerdere benchmarks zoals de Recruit-dataset.

3. Training en Evaluatie

• Basismodel: Startpunt is siglip2-base-patch16-256, een sterk meertalig model getraind op globale data.
• Fine-tuning: Het model wordt gefine-tuned op WAON en vergeleken met modellen die zijn getraind op de Japanse subset van ReLAION en een vertaalde versie van ReLAION.
• Taken: Zero-shot classificatie en beeld-tekst retrieval.

Belangrijkste Bijdragen

1. WAON Dataset: De grootste Japanse beeld-tekstdataset tot nu toe (155M paren), puur gebaseerd op native Japanse webcontent zonder vertalingen.
2. WAON-Bench: Een robuust, handmatig curerend benchmark voor Japanse culturele classificatie met een veel bredere dekking (374 klassen) en hogere kwaliteit dan bestaande benchmarks.
3. Pipeline Validatie: Een gedetailleerd proces voor filtratie en deduplicatie dat bewijst dat kwaliteit (via SigLIP-filtering) cruciaal is voor culturele taken.
4. Open Source: De dataset, het gefine-tuned model en de code zijn openbaar gemaakt om reproduceerbaarheid te waarborgen.

Resultaten

De experimenten tonen aan dat fine-tuning op WAON superieure resultaten oplevert voor Japanse culturele taken:

• Culturale Prestaties: Het op WAON getrainde model bereikt 95,1% nauwkeurigheid op WAON-Bench, wat hoger is dan het ReLAION Japanse subset-model (93,0%) en aanzienlijk beter dan het vertaalde ReLAION-model (76,8%, dat zelfs degradeerde tijdens training).
• Vergelijking met Baselines: Het presteert beter dan bestaande Japanse CLIP-modellen (zoals clip-japanese-base), ondanks dat het basismodel op globale data is getraind.
• Retrieval: Op de XM3600 retrieval-taak (Japans) toont WAON een enorme verbetering (van 38,3% naar 73,5%), wat aantoont dat de dataset ook effectief is voor cross-linguale retrieval.
• Efficiëntie: Het model convergeert sneller en bereikt een hogere piekprestatie dan modellen getraind op bestaande datasets.

Betekenis en Impact

Dit paper demonstreert dat de strategie van "globale pre-training gevolgd door taal- en cultuurspecifieke fine-tuning" zeer effectief is voor het verbeteren van visueel-taalmodellen in specifieke culturen.

• Kwaliteit boven Kwantiteit: Het benadrukt dat native content van hoge kwaliteit (via strikte filtering) superieur is aan vertaalde datasets of ruwe web-scrapes voor culturele taken.
• Toekomstgericht: Het biedt de gemeenschap een essentiële resource om de kloof in Japanse visuele AI te dichten en stelt een nieuwe standaard voor evaluatie (WAON-Bench) die betrouwbaarder is dan eerdere benchmarks.
• Ethiek: De auteurs benadrukken verantwoord gebruik, met filtering voor NSFW-inhoud en transparantie over copyright en privacy, hoewel web-scraped data inherent risico's met zich meebrengt.

Kortom, WAON is een mijlpaal voor de ontwikkeling van Japanse multimodale AI, die bewijst dat specifieke, hoogwaardige datasets nodig zijn om de nuance en diversiteit van een cultuur in modellen te verankeren.