Chitrakshara: A Large Multilingual Multimodal Dataset for Indian languages
Das Paper stellt die Chitrakshara-Datensatzserie vor, eine umfassende Ressource für 11 indische Sprachen, die aus Common Crawl stammt und aus einem groß angelegten interleaved Pretraining-Datensatz sowie einem Bild-Text-Paar-Datensatz besteht, um die Lücke in der multilingualen multimodalen Forschung für indische Sprachen zu schließen und kulturell inklusivere Vision-Language-Modelle zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Chitrakshara: Ein riesiges digitales Bibliotheks-Universum für indische Sprachen
Stellen Sie sich vor, Sie wollen einen sehr klugen Roboter (eine Künstliche Intelligenz) bauen, der nicht nur Texte versteht, sondern auch Bilder sehen und beides zusammenhören kann. Bisher waren diese Roboter wie Schüler, die nur in englischen Schulbüchern gelernt haben. Wenn sie dann versuchen, indische Zeitungen zu lesen oder indische Bilder zu beschreiben, stolpern sie oft über die Wörter und verstehen die kulturellen Nuancen nicht.
Die Forscher von Krutrim AI haben sich gedacht: „Das muss sich ändern!" Und so haben sie Chitrakshara geschaffen. Der Name kommt aus dem Sanskrit: Chitra bedeutet „Bild" und Akshara bedeutet „Buchstabe" oder „Text".
Hier ist die Geschichte von Chitrakshara, einfach erklärt:
1. Das Problem: Einseitige Ernährung
Stellen Sie sich die aktuelle KI vor wie ein Kind, das nur Pizza isst. Es kennt Pizza (englische Daten) sehr gut, aber es hat noch nie Curry, Dosa oder Samosa (indische Daten) probiert. Wenn man ihm ein Bild von einem indischen Fest zeigt und fragt: „Was ist das?", antwortet es vielleicht: „Ich weiß es nicht" oder beschreibt es falsch, weil es die kulturelle Bedeutung nicht kennt.
Die meisten großen Datensätze im Internet sind wie eine riesige Bibliothek, die zu 99 % aus englischen Büchern besteht. Indische Sprachen sind darin nur winzige, vergessene Ecken.
2. Die Lösung: Chitrakshara – Ein riesiges Festmahl
Chitrakshara ist wie ein gigantisches, neu eröffnetes Restaurant, das speziell für 11 verschiedene indische Sprachen (wie Hindi, Tamil, Bengali, Telugu und mehr) kocht.
Das Team hat zwei Hauptgerichte serviert:
Das Hauptgericht (Chitrakshara-IL):
Stellen Sie sich ein riesiges Buch vor, in dem Text und Bilder wild durcheinander gemischt sind, genau wie in einer echten Zeitung oder einem Blog. Ein Absatz Text, dann ein Bild, dann wieder Text, dann ein Diagramm. Das ist genau so, wie Menschen Informationen im echten Leben verarbeiten.- Die Menge: Sie haben 193 Millionen Bilder und 30 Milliarden Wörter gesammelt. Das ist so viel Text, dass man ihn in 100 Jahren nicht durchlesen könnte.
- Die Quelle: Sie haben das „Internet-Abwasser" (Common Crawl) durchsucht – also Milliarden von Webseiten – und gezielt nach indischen Inhalten gefischt.
Das Dessert (Chitrakshara-Cap):
Das sind 44 Millionen Bild-Paare, bei denen jedes Bild eine genaue Beschreibung hat (wie ein Bild im Wörterbuch mit einer Erklärung darunter). Das hilft dem Roboter, zu lernen, wie man Bilder präzise beschreibt.
3. Wie haben sie das gemacht? (Die Küche)
Man kann nicht einfach alles aus dem Internet nehmen und dem Roboter geben. Das wäre wie wenn man einem Kind einen ganzen Müllcontainer voller Essen vorsetzt – da wäre viel Gift und Unrat dabei.
Die Forscher haben eine sehr strenge „Küchen-Kette" entwickelt:
- Sammeln: Sie haben 95 Jahre an Web-Daten (von 2013 bis 2023) gesammelt.
- Säubern (Der Sieb): Sie haben einen riesigen digitalen Sieb verwendet.
- Weg damit: Werbung, Pop-ups, „Klicken Sie hier"-Buttons und kaputte Bilder.
- Heraussortieren: Bilder, die nur Platzhalter sind (wie ein graues Kästchen mit „Bild fehlt").
- Schutz: Bilder mit unangemessenem Inhalt wurden sofort entfernt.
- Zuschneiden: Sie haben sichergestellt, dass die Texte nicht zu kurz sind (weniger als 8 Wörter wurden weggeschmissen) und dass die Bilder eine vernünftige Größe haben.
- Mischen: Am Ende haben sie Text und Bilder wieder in der richtigen Reihenfolge zusammengefügt, damit der Roboter lernt: „Ah, dieses Bild gehört zu diesem Satz."
4. Warum ist das so wichtig?
Bisher mussten indische KI-Modelle oft „Englisch lernen", um Bilder zu verstehen, und dann versuchen, das auf ihre eigene Sprache zu übertragen. Das funktioniert nicht gut, weil Kultur und Sprache eng verbunden sind.
Mit Chitrakshara lernen die Roboter nun direkt auf indisch.
- Sie lernen, dass ein Bild von einem bestimmten indischen Festival nicht nur „Menschen in bunten Kleidern" bedeutet, sondern eine spezifische kulturelle Bedeutung hat.
- Sie verstehen die Unterschiede zwischen den Sprachen (z. B. dass Hindi und Urdu ähnlich aussehen, aber unterschiedlich geschrieben werden).
Zusammenfassung
Chitrakshara ist wie der Bau einer riesigen, modernen Bibliothek, die speziell für die kulturelle Vielfalt Indiens gebaut wurde. Statt dass die KI nur Englisch spricht, bekommt sie jetzt Zugang zu einer Welt voller indischer Geschichten, Bilder und Wissen. Das Ziel ist, dass die KI in Zukunft nicht nur für englischsprachige Nutzer, sondern für alle Menschen in Indien (und darüber hinaus) hilfreich, verständlich und kulturell sensibel ist.
Es ist ein großer Schritt weg von einer „One-Size-Fits-All"-KI hin zu einer KI, die die Welt so sieht, wie sie wirklich ist: bunt, vielfältig und in vielen verschiedenen Sprachen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.