Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

Cet article présente le développement d'un modèle de langage multimodal performant pour le basque en démontrant qu'un faible pourcentage de données multimodales suffit pour obtenir de bons résultats et qu'un modèle de langage de base déjà adapté au basque n'est pas nécessaire.

L'essentiel

🌍 Le Défi : Apprendre à un robot à voir et parler une langue rare

Imaginez que vous avez un super-robot très intelligent (un "Grand Modèle de Langage Multimodal" ou MLLM). Ce robot est comme un chef d'orchestre qui peut non seulement lire des partitions (texte), mais aussi voir les instruments (images) et comprendre comment ils jouent ensemble.

Le problème ? La plupart de ces robots ont été entraînés uniquement avec des partitions en anglais. Si vous lui montrez une image et lui demandez une explication en basque (une langue parlée par environ 750 000 personnes, très peu de données disponibles sur internet), il est souvent perdu, comme un chef d'orchestre qui ne connaît que les notes anglaises.

Les chercheurs de l'Université du Pays Basque se sont dit : "Comment on peut apprendre à ce robot à comprendre le basque sans avoir des millions de livres et de photos en basque ?"

🛠️ L'Expérience : La Cuisine du Robot

Pour répondre à cette question, l'équipe a construit sa propre cuisine (leurs propres données) et a testé deux recettes différentes.

1. La Cuisine (Les Données)

Comme il n'y avait pas assez d'ingrédients en basque, ils ont dû en fabriquer.

• L'ingrédient de base : Ils ont pris des millions de paires "Image + Texte" en anglais (comme des recettes de cuisine universelles).
• La traduction : Ils ont utilisé des outils intelligents pour traduire ces recettes en basque. C'est comme si vous preniez un livre de cuisine anglais et que vous le traduisiez mot à mot pour un cuisinier basque.
• Le résultat : Ils ont créé la première grande bibliothèque de "recettes visuelles" en basque, avec des millions d'exemples pour l'entraînement et des tests pour vérifier si le robot a bien appris.

2. Les Deux Cuisiniers (Les Modèles de Base)

Ils ont testé deux types de robots "cuisiniers" pour voir lequel fonctionnait le mieux :

• Le Cuisinier Anglais (Llama) : Un robot très doué, mais qui ne parle naturellement que l'anglais.
• Le Cuisinier Basque (Latxa) : Un robot qui a déjà appris à parler et à cuisiner spécifiquement en basque avant de commencer l'expérience.

🔍 Les Découvertes Surprenantes (Les "Aha!" moments)

Voici ce qu'ils ont découvert, et c'est là que ça devient intéressant :

1. On n'a pas besoin de tout traduire (La règle des 20%)
On pensait qu'il fallait que le robot voie tout en basque pour bien comprendre le basque.

• La réalité : Non ! Ils ont découvert que si le robot voit 80% d'images en anglais et seulement 20% d'images en basque, il devient excellent pour répondre en basque.
• L'analogie : C'est comme apprendre à jouer du piano. Vous n'avez pas besoin de lire 100% de partitions en français pour jouer un concerto. Si vous écoutez 20% de musique en français et que vous avez déjà une bonne oreille musicale (la base du modèle), vous pouvez jouer la pièce entière en français. Le cerveau du robot fait le reste du travail par lui-même.

2. Le Cuisinier Basque n'est pas obligatoire
On s'attendait à ce que le robot qui parlait déjà basque (Latxa) soit bien meilleur que le robot anglais (Llama).

• La réalité : Ils ont donné la même performance ! Le robot anglais, une fois entraîné avec un peu de données basques, a réussi à parler et à comprendre le basque aussi bien que le robot natif.
• L'analogie : Imaginez un chef étoilé français (Llama) qui apprend à cuisiner un plat basque. Même s'il n'est pas né au Pays Basque, avec un peu de pratique et les bons ingrédients, il prépare le plat aussi bien qu'un chef local (Latxa).

3. Le Texte seul aide à voir
Ils ont aussi vu que si le robot n'a pas assez d'images en basque, lui donner des textes en basque (sans images) l'aide quand même à mieux comprendre les images.

• L'analogie : C'est comme si le chef lisait des livres de cuisine en basque. Même sans voir les photos des plats, il comprend mieux les mots et les concepts, ce qui l'aide à deviner à quoi ressemble le plat quand on lui montre une photo plus tard.

🏆 La Conclusion : Un Avenir Plus Clair

Cette étude est une excellente nouvelle pour toutes les langues "peu dotées" (comme le basque, le breton, le quechua, etc.).

Elle nous dit : Pas besoin de créer des millions de données coûteuses dans chaque langue.
Si vous avez un modèle puissant en anglais, vous pouvez le transformer en expert d'une langue locale en lui donnant juste un peu de données visuelles (20%) et beaucoup de textes. C'est une méthode beaucoup moins chère et plus rapide pour donner une voix (et des yeux) à des langues qui risquaient d'être oubliées par l'intelligence artificielle.

En résumé : Un peu de mélange suffit pour faire une grande cuisine. 🥘🇪🇸🇫🇷

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, bien que performants pour des tâches complexes, souffrent d'une dégradation significative de leurs performances dans les langues à faibles ressources. La majorité des modèles avancés sont entraînés principalement sur des données anglaises, créant un fossé important entre les solutions propriétaires (souvent fermées) et les modèles open-weight, particulièrement pour des langues comme le basque. Le basque est une langue à très faibles ressources (environ 1 000 fois moins de données textuelles que l'anglais sur Common Crawl) et, jusqu'à présent, il ne disposait d'aucun jeu de données multimodal (image-texte) ni de benchmarks d'évaluation adaptés pour le développement de MLLM.

2. Méthodologie

Création de Ressources (Datasets)
Les auteurs ont créé les premiers ensembles de données multimodaux pour le basque en utilisant exclusivement des ressources open-source et des procédures de traduction adaptées :

• Données d'entraînement :
  • Étape 1 (Alignement) : Traduction du jeu de données CC3M (Conceptual Captions) en basque pour créer CC3MEus (2,8 millions d'images avec légendes).
  • Étape 2 (Instruction) : Traduction du jeu de données Pixmo-AMA (146k instructions multimodales) en basque pour créer Pixmo-AMAEus. La traduction a été effectuée par un LLM puissant (Latxa-Llama-3.1-70B) pour préserver la cohérence des réponses longues, contrairement aux traducteurs neuronaux par phrase.
• Benchmarks d'évaluation :
  • Création de versions basques de benchmarks fermés : VQAv2Eus, A-OKVQAEus, et Pixmo-CapQAEus.
  • Création d'un benchmark ouvert : WildVisionEus (199 échantillons) pour évaluer la génération de texte libre.
  • Validation humaine rigoureuse par 4 locuteurs natifs du basque pour garantir la qualité des traductions.

Architecture et Entraînement
L'étude adopte une architecture late-fusion (fusion tardive) :

• Encodeur Visuel : CLIP (ViT-Large-Patch14-336).
• Connecteur : Une couche linéaire fully-connected simple.
• LLM de Base (Backbone) : Deux modèles ont été comparés pour évaluer l'impact de l'adaptation linguistique :
  1. Llama-3.1-8B-Instruct (centré sur l'anglais).
  2. Latxa-Llama-3.1-8B-Instruct (une variante adaptée au basque).
• Procédure d'entraînement en deux étapes :
  1. Alignement Vision-Langage : Entraînement uniquement du connecteur pour aligner les espaces d'embedding.
  2. Instruction Tuning Multimodal : Affinement du connecteur et du LLM sur des instructions multimodales.

Stratégies de Mélange de Données
Les auteurs ont exploré divers ratios de mélange de données (Basque/Anglais) pour l'étape d'instruction : 0/100, 20/80, 80/20 et 100/0. Ils ont également testé l'ajout de données textuelles (sans images) pour contrer l'oubli catastrophique des capacités textuelles.

3. Résultats Clés et Découvertes

L'étude aboutit à six découvertes majeures :

1. Faible ratio de données suffisant : Un faible pourcentage de données multimodales en basque (environ 20 %) combiné à des données anglaises suffit à obtenir des résultats solides sur les benchmarks basques. L'ajout de plus de données basques n'apporte qu'une amélioration marginale.
2. Préservation des capacités anglaises : L'utilisation exclusive de données basques entraîne un oubli catastrophique des capacités anglaises. Un mélange incluant des données anglaises est nécessaire pour maintenir la performance multilingue.
3. Impact des données textuelles : L'intégration de données textuelles (instructions uniquement) en basque permet de réduire la baisse de performance sur les tâches textuelles purement linguistiques. De plus, ces données textuelles agissent comme un pont pour transférer les capacités multimodales acquises en anglais vers le basque, même en l'absence de données multimodales basques pures.
4. Inutilité d'un backbone adapté au basque : Contrairement aux attentes, l'utilisation d'un LLM de base déjà instruit en basque (Latxa) n'offre pas d'avantage significatif par rapport à un modèle centré sur l'anglais (Llama) pour construire un MLLM performant en basque. Les deux architectures obtiennent des performances quasi identiques (environ 0,62 de précision moyenne).
5. Évaluation Open-Ended : Sur le benchmark ouvert (WildVision), les modèles basés sur Latxa et Llama montrent des performances comparables (54 % d'égalité dans les comparaisons humaines), confirmant que l'adaptation préalable du backbone n'est pas critique.
6. Limites des juges automatiques : Bien que les modèles LLM (comme GPT-5) puissent servir de juges pour évaluer les générations ouvertes, ils tendent à sous-estimer les égalités (ties) par rapport aux humains. Une évaluation humaine reste indispensable pour les langues à faibles ressources.

4. Contributions Principales

• Ressources Open-Source : Publication de la première suite de données multimodales pour le basque (3 millions d'instances d'entraînement, 8 000 instances d'évaluation) et des benchmarks correspondants.
• Preuve de concept pour les langues à faibles ressources : Démonstration qu'il est possible de développer un MLLM performant pour une langue à faibles ressources sans nécessiter de données multimodales massives dans cette langue, ni un backbone LLM préalablement adapté à cette langue.
• Analyse des stratégies d'entraînement : Mise en évidence de l'efficacité des mélanges de données et du transfert de modalités via des données textuelles.

5. Signification et Impact

Ce travail ouvre la voie au développement de MLLM pour de nombreuses autres langues à faibles ressources. Il suggère une stratégie de développement plus accessible et moins coûteuse :

1. Utiliser un LLM open-weight performant (souvent anglophone) comme backbone.
2. Entraîner le modèle avec un mélange majoritaire de données multimodales anglaises et une petite fraction (20 %) de données multimodales traduites dans la langue cible.
3. Compléter l'entraînement avec des données textuelles de haute qualité dans la langue cible pour préserver les compétences linguistiques.

Cette approche réduit considérablement la barrière à l'entrée pour l'IA multimodale dans les langues minoritaires, permettant de combler le fossé entre les solutions propriétaires et l'open science, tout en évitant le besoin de collecter des milliards de paires image-texte spécifiques à chaque langue.