Chitrakshara: A Large Multilingual Multimodal Dataset for Indian languages
Ce papier présente Chitrakshara, une série de jeux de données multimodaux multilingues à grande échelle couvrant 11 langues indiennes, conçus pour combler le manque de ressources linguistiques et culturelles dans l'entraînement des modèles vision-langage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🇮🇳 Chitrakshara : Le Grand Livre d'Images et d'Histoires de l'Inde
Imaginez que vous voulez enseigner à un enfant (ou à un robot très intelligent) à comprendre le monde. Pour cela, vous ne lui donnez pas seulement des livres de texte, ni seulement des albums photos. Vous lui donnez un journal illustré où les images et les mots sont mélangés page après page, exactement comme dans la vraie vie.
C'est exactement ce que l'équipe de Krutrim AI a créé avec Chitrakshara.
1. Le Problème : Un Monde qui parle trop anglais
Jusqu'à présent, la plupart des "cerveaux" numériques (les modèles d'IA) ont été nourris principalement avec des données en anglais. C'est comme si on apprenait à un enfant à lire uniquement avec des livres en anglais, alors qu'il vit dans un village où l'on parle 11 langues différentes (comme l'hindi, le tamoul, le bengali, etc.).
Résultat ? L'IA comprend très bien les films hollywoodiens, mais elle est perdue face à une recette de curry en tamoul ou à une nouvelle locale en bengali. Elle manque de "culture indienne".
2. La Solution : Chitrakshara (Le Trésor)
Les chercheurs ont créé une immense bibliothèque numérique appelée Chitrakshara. Le nom vient de deux mots sanskrits : Chitra (Image) et Akshara (Lettre/Texte).
C'est un trésor composé de deux parties :
- La Partie 1 (Chitrakshara-IL) : C'est le gros morceau. Imaginez 50 millions de pages de journaux et de sites web indiens. Sur ces pages, les images et les textes sont entrelacés (mélangeés) comme dans un vrai magazine. Il y a 193 millions d'images et des milliards de mots. C'est énorme !
- La Partie 2 (Chitrakshara-Cap) : C'est une boîte à outils avec 44 millions de paires "Image + Description". C'est comme un jeu de cartes où l'on a une photo et, juste en dessous, une petite phrase qui explique ce qu'on voit, dans la bonne langue.
3. Comment ont-ils fait ? (Le Processus de Cuisine)
Récupérer ces données sur internet, c'est comme essayer de trier des millions de grains de sable pour trouver les plus beaux cailloux. Voici comment ils ont procédé, étape par étape :
- La Pêche (Collecte) : Ils ont pêché dans l'océan du web (Common Crawl) pendant 10 ans (de 2013 à 2023). Au lieu de prendre juste quelques filets, ils ont utilisé 95 filets géants pour attraper un maximum de contenus indiens.
- Le Tri (Nettoyage) : Internet est rempli de "bruit" : publicités, boutons "s'abonner", menus de navigation, etc. Les chercheurs ont créé un tamis très fin pour ne garder que l'essentiel : le texte important et les belles images. Ils ont jeté les images floues, les publicités et les textes trop courts.
- La Cuisine (Assemblage) : Une fois le contenu propre, ils l'ont réorganisé. Ils ont pris les images et les textes et les ont remis dans l'ordre exact où ils apparaissaient sur le site web original. C'est crucial pour que l'IA comprenne le contexte (par exemple, que l'image est une illustration d'un paragraphe spécifique).
- La Sécurité (Filtrage) : Ils ont vérifié qu'il n'y avait pas de contenu dangereux ou inapproprié (NSFW), un peu comme un parent qui vérifie ce que son enfant regarde à la télé.
4. Pourquoi est-ce si important ?
Avant ce projet, si vous demandiez à une IA de décrire une photo d'un festival indien en langue locale, elle aurait probablement halluciné ou répondu en anglais.
Avec Chitrakshara, on peut maintenant entraîner des IA qui :
- Comprennent les nuances culturelles (les fêtes, les vêtements, les paysages).
- Parlent couramment 11 langues indiennes majeures.
- Sont capables de raisonner sur plusieurs images à la fois (comme regarder une série de photos pour raconter une histoire).
En résumé
Chitrakshara, c'est comme offrir à l'intelligence artificielle un voyage à travers l'Inde. Au lieu de lui montrer des cartes postales en anglais, on lui donne des milliers de journaux locaux, de blogs et de magazines, remplis de photos et d'histoires dans les langues des gens qui vivent là-bas.
C'est une étape géante pour rendre la technologie plus inclusive, plus juste, et capable de parler à des milliards de personnes qui, jusqu'ici, étaient un peu "silencieuses" aux yeux des machines.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.