Chitrakshara: A Large Multilingual Multimodal Dataset for Indian languages

Titel: Chitrakshara: Een Groot Meertalig Multimodaal Dataset voor Indiase Talen

1. Het Probleem

Huidig onderzoek op het gebied van Vision-Language Models (VLMs) en multimodale AI is overwegend gefocust op:

• Enkele afbeeldingen: De meeste modellen zijn getraind op single-image reasoning, terwijl real-world scenario's vaak meerdere afbeeldingen en tekst bevatten (interleaved data).
• Engelse dominantie: Bestaande grote datasets (zoals OBELICS, LAION) zijn grotendeels Engels-taalgericht.
• Onderschatting van Indiase talen: Hoewel er recent inspanningen zijn geweest voor meertalige modellen, zijn deze vaak gebaseerd op vertalingen van Engelse datasets. Dit resulteert in een gebrek aan culturele nuances en linguïstische diversiteit voor de 1,4 miljard mensen die Indiase talen spreken. Er ontbreekt een grote, hoogwaardige dataset met interleaved (door elkaar lopende) tekst- en afbeeldingsdata specifiek voor Indiase talen.

2. Methodologie: De Chitrakshara Data-pijplijn

De auteurs introduceren een robuuste pijplijn voor het verzamelen, filteren en verwerken van webdata, gebaseerd op maar aangepast voor Indiase contexten. De pijplijn bestaat uit de volgende stappen:

• Data Verzameling (Common Crawl):

  • Er zijn 95 Common Crawl dumps gebruikt (van 2013 tot 2023) om de dekking te maximaliseren.
  • In tegenstelling tot andere projecten die slechts een paar dumps gebruiken, zorgt deze brede tijdsperiode voor meer diversiteit.
  • Er zijn 230 miljoen URL's geselecteerd die Indiase talen bevatten, geïdentificeerd met FastText LID (Language ID).

• HTML Verwerking (DOM Pruning):

  • Een regelgebaseerd framework verwijdert irrelevante elementen (advertenties, navigatiebalken, footers) uit HTML-documenten.
  • Alleen semantisch waardevolle DOM-nodes (zoals <p>, <h*>, <title>, <img>) worden behouden.
  • Dit resulteert in een verkleining van de HTML-grootte met een factor 10, terwijl 98% van de essentiële tekst en afbeeldingen behouden blijft.

• Multimodale Document Samenstelling:

  • De opgeschoonde HTML wordt omgezet in gestructureerde, interleaved tekst-afbeelding sequenties.
  • De oorspronkelijke lay-out (regels, alinea's) wordt behouden om de context te bewaren.
  • Er wordt onderscheid gemaakt tussen twee datasets:
    1. Chitrakshara-IL: Interleaved documenten (tekst en afbeeldingen door elkaar).
    2. Chitrakshara-Cap: Afbeelding-tekstparen (gebaseerd op alt-tekst).

• Hiërarchisch Filteren:

  • Afbeeldingen: Verwijdering van afbeeldingen met ongeschikte formaten, afmetingen (<150px), aspectratio's, of bestandsnamen die op placeholders wijzen ("default", "placeholder"). NSFW-inhoud wordt gefilterd op basis van bestandsnamen en alt-tekst.
  • Tekst: Verwijdering van alinea's met minder dan 8 woorden en machine-genereren lijsten.
  • Documentniveau: Documenten zonder afbeeldingen of met meer dan 30 afbeeldingen worden verworpen om een balans te garanderen.

• Infrastructuur:

  • Verwerking vond plaats op een cluster van 25 machines (5.120 CPU-kernen).
  • Een S3-naar-S3 pipeline werd gebruikt om HTTP-rate limits te omzeilen en data-overdracht te optimaliseren (10 Gbps).

3. Belangrijkste Bijdragen

1. Chitrakshara-IL: Een grote-scale, interleaved pre-training dataset met:
   • 193 miljoen afbeeldingen.
   • 30 miljard tekst-tokens.
   • 50 miljoen meertalige documenten.
   • Dekking van 11 Indiase talen: Hindi, Bengaals, Tamil, Malayalam, Telugu, Marathi, Kannada, Gujarati, Punjabi, Oriya en Assamees.
2. Chitrakshara-Cap: Een dataset van 44 miljoen afbeelding-tekstparen (733 miljoen tokens) voor het trainen van meertalige Vision Encoders (ViT).
3. Methodologische Innovatie: Een gedetailleerde, open-source pijplijn die specifiek is aangepast voor Indiase talen, inclusief heuristieken voor het filteren van "Continue Reading"-links, publicatiedata en sociale media-prompten.
4. Kwaliteitsanalyse: Een uitgebreide analyse van de dataset, waaronder taaldistributie, domeinverdeling en onderwerpmodelling.

4. Resultaten en Analyse

• Vergelijking met mOSCAR: Chitrakshara bevat aanzienlijk meer documenten, tokens en afbeeldingen dan mOSCAR (de enige andere grote meertalige interleaved dataset die Indiase talen dekt).
  • Voorbeeld: Voor Hindi heeft Chitrakshara 25 miljoen documenten, terwijl mOSCAR er slechts 579.000 heeft.
  • De auteurs schrijven dit toe aan het gebruik van 95 Common Crawl dumps over een decennium, in tegenstelling tot de beperkte dumps van mOSCAR.
• Domeinverdeling: De dataset is sterk vertegenwoordigd in nieuws (76%), gevolgd door entertainment (9%), gezondheid (3%) en onderwijs (3%).
• Onderwerpmodelling (LDA): Analyse toont een rijke diversiteit aan thema's per taal, waaronder politiek, entertainment, religie, technologie en gezondheidszorg. Bijvoorbeeld, in Hindi-domeinen domineren onderwerpen zoals examens, Bollywood en politiek.
• Kwaliteit: De dataset bevat een hoge dichtheid aan tokens per document en een goede balans tussen tekst en afbeeldingen (80% van de documenten heeft minder dan 5 afbeeldingen).

5. Betekenis en Toekomstperspectief

• Culturele Inclusiviteit: Chitrakshara vult een kritieke lacune in de AI-wereld door VLMs te faciliteren die niet alleen Engels, maar ook Indiase culturen en talen begrijpen. Dit is essentieel voor het bouwen van modellen voor de Indiase bevolking.
• Multimodale Redenering: Door te focussen op interleaved data (in plaats van alleen captioning), stelt deze dataset modellen in staat om complexe taken uit te voeren zoals het begrijpen van documenten met meerdere afbeeldingen, video-analyse en few-shot learning in een meertalige context.
• Toekomstig Werk: De auteurs plannen het trainen van een meertalige Vision Transformer (ViT) en een interleaved VLM om de effectiviteit van de dataset te evalueren.

Conclusie:
Chitrakshara is een mijlpaal in de ontwikkeling van inclusieve AI voor het Zuid-Aziatische subcontinent. Het biedt niet alleen de schaal en kwaliteit die nodig zijn voor state-of-the-art modellen, maar doet dit ook met een diep begrip van de linguïstische en culturele complexiteit van Indiase talen.