🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

L'article présente LLiMba, un modèle de langue sarde de 3 milliards de paramètres adapté sur un seul GPU grand public par préentraînement continu et affinage, démontrant qu'une configuration rsLoRA de rang élevé surpasse les autres méthodes d'adaptation en matière de qualité de traduction tout en mettant en lumière les limites critiques des métriques standards pour capturer les échecs qualitatifs tels que les fuites de script et les hallucinations factuelles.

Auteurs originaux : Luca Ballore

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luca Ballore

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant et multilingue (le modèle d'IA) qui a lu presque tous les livres de la bibliothèque des langues majeures comme l'anglais, l'espagnol et l'italien. Cependant, cet étudiant n'a jamais entendu parler du sarde, une belle mais menacée langue parlée par environ un million de personnes sur une île en Italie. Lorsque vous demandez à cet étudiant de parler sarde, il devine simplement et parle par erreur italien ou espagnol à la place.

Le papier « LLiMba » raconte comment l'auteur a enseigné à cet étudiant à parler sarde couramment en utilisant uniquement une seule carte graphique de bureau standard (une GPU de 24 Go), plutôt qu'un supercalculateur massif.

Voici comment ils ont procédé, décomposé en étapes simples :

1. Le Camp d'Entraînement en Deux Étapes

Pour enseigner le sarde à l'étudiant, l'auteur a utilisé un processus d'entraînement en deux étapes :

Étape 1 : La « Lecture Immersive » (Pré-entraînement Continu)
D'abord, on a donné à l'étudiant une immense bibliothèque de textes en sarde (environ 11,5 millions de mots) à lire. Cela comprenait des actualités, des articles Wikipédia, des livres et de la poésie. Pour éviter que l'étudiant n'oublie comment parler italien ou espagnol, on a également mélangé des textes de langues romanes apparentées (comme l'italien et l'espagnol) en tant que matériel de « rappel ».
- Le Résultat : Après cette phase de lecture, l'étudiant comprenait beaucoup mieux le sarde. Si vous lui demandiez de traduire de l'anglais vers le sarde, il est passé d'une utilité quasi nulle à une compétence décente.
Étape 2 : La « Pratique de Conversation » (Affinement Supervisé)
Lire est bien, mais parler est mieux. L'étudiant a ensuite pratiqué la réponse à des questions spécifiques et le suivi d'instructions en sarde. L'auteur a testé cinq méthodes différentes pour enseigner cette compétence conversationnelle afin de voir quelle méthode fonctionnait le mieux sans nécessiter trop de mémoire informatique.

2. Les Cinq Méthodes d'Enseignement (L'Expérience des « Adaptateurs »)

L'auteur n'a pas réentraîné l'étudiant entier depuis zéro (ce qui serait trop lourd pour l'ordinateur). Au lieu de cela, il a essayé cinq « chapeaux d'entraînement » différents (des techniques appelées adaptateurs) pour ajuster le cerveau de l'étudiant :

Affinement Complet (Full Fine-Tuning) : Réécrire tout le cerveau de l'étudiant. (Lourd, mais une bonne base de référence).
LoRA (Rang 64) : Un petit chapeau léger.
rsLoRA (Rang 128) : Un chapeau légèrement plus grand et « stabilisé ».
rsLoRA (Rang 256) : Le plus grand et le plus puissant des chapeaux légers.
DoRA (Rang 256) : Un chapeau sophistiqué qui tente de préserver la personnalité originale de l'étudiant tout en ajoutant de nouvelles compétences.

3. Les Résultats Surprenants

L'auteur a découvert des faits contre-intuitifs :

Le plus grand n'est pas toujours meilleur (pour le chapeau « DoRA ») : Le chapeau « DoRA » était conçu pour être très prudent et préserver les connaissances originales de l'étudiant. Cependant, il s'est en réalité révélé être le pire pour dire la vérité. Il parlait couramment mais inventait des mensonges sauvages et confiants sur l'histoire et la culture.
Le Chapeau « rsLoRA » a Gagné : Le plus grand chapeau léger (rsLoRA avec un rang de 256) était le champion. Il a produit les meilleures traductions et, surtout, a raconté les faits les plus précis.
Le « Rang » Compte Plus que le « Type » : L'étude a constaté que simplement rendre l'adaptateur « plus grand » (augmenter le rang) importait plus que de choisir entre les différents types de chapeaux. Le plus grand chapeau (rsLoRA 256) a battu les plus petits et même la méthode de réentraînement complet pour les tâches de traduction.

4. Le Piège des « Hallucinations »

Le papier met en lumière un problème délicat que les tests standards (qui comptent simplement le nombre de mots correspondants) manquent : Les Mensonges Confiants.

Le Test de Vérification des Faits : L'auteur a posé des questions spécifiques aux modèles, comme « Qui était Gigi Riva ? » (un célèbre footballeur sarde).
- Le modèle rsLoRA a obtenu les faits corrects.
- Le modèle LoRA a inventé une fausse biographie (affirmant qu'il avait gagné la Coupe du Monde en Écosse, ce qui est impossible).
- Le modèle DoRA a inventé des mensonges encore plus sauvages (affirmant qu'il avait joué pour des équipes où il n'avait jamais joué et qu'un stade avait été rebaptisé en son honneur alors que ce n'était pas le cas).
Le Test des « Mots Faux » : Lorsqu'on lui demandait d'écrire un long essai ouvert sur la culture sarde, le meilleur modèle (rsLoRA) inventait parfois des mots qui sonnaient comme du sarde mais qui n'existaient pas réellement. C'est comme un étudiant qui connaît si bien les règles de grammaire qu'il peut inventer un nouveau mot qui sonne parfait mais ne signifie rien.

5. La Leçon sur les « Scores »

Le papier nous avertit de ne pas faire trop confiance aux scores de « perplexité » (une métrique mathématique courante utilisée pour évaluer l'IA), en particulier pour les langues utilisant des scripts différents.

L'Analogie : Imaginez noter un étudiant lors d'un examen où les réponses sont écrites dans un code. Si le code est très prévisible, l'étudiant pourrait obtenir un score parfait simplement en devinant le motif, même s'il ne comprend pas le sens. Le papier montre que pour certaines langues, le score mathématique semble excellent, mais la qualité réelle de la traduction est terrible. Vous avez besoin de vrais humains pour vérifier si l'IA dit réellement la vérité.

Résumé

Le papier prouve que vous pouvez enseigner à un petit modèle d'IA à parler une langue rare comme le sarde sur un seul ordinateur domestique. Le secret était d'utiliser un « adaptateur » spécifique et plus grand (rsLoRA) qui équilibrait bien la mémoire et la créativité. Cependant, même le meilleur modèle a toujours tendance à inventer des choses avec confiance, prouvant que nous avons besoin de vérificateurs de faits humains, et non pas seulement de scores mathématiques, pour juger si une IA est vraiment utile.

Résumé Technique : LLiMba — Adaptation d'un Modèle de Langage 3B au Sard

Énoncé du Problème
Le sarde (sardu), une langue romane parlée par environ un million de personnes, souffre d'une absence quasi totale dans le traitement automatique du langage naturel (TALN) moderne. Les services commerciaux ne le prennent pas en charge, et les grands modèles de langage (LLM) existants échouent à le générer de manière fiable, basculant souvent vers l'italien, l'espagnol ou d'autres langues romanes majeures. La rareté des données sardes dans les corpus à l'échelle du web empêche les modèles ouverts standards d'apprendre la langue, tandis que les modèles propriétaires jugent la base d'utilisateurs trop petite pour l'acquisition de données. De plus, les ensembles de données standard à faible ressources (par exemple, OSCAR, Leipzig Corpora) contiennent une quantité négligeable de texte sarde utilisable. Le défi consiste à adapter un modèle multilingue préentraîné à une langue romane proche mais à faible ressources, en utilisant un minimum de données et du matériel grand public, tout en évitant l'oubli catastrophique et en garantissant une ancrage factuel.

Méthodologie
Les auteurs présentent LLiMba, un modèle prêt pour le sarde de 3 milliards de paramètres, adapté à partir de Qwen2.5-3B-Instruct. Le pipeline d'adaptation est exécuté sur une seule NVIDIA RTX 4090 (24 Go de VRAM) en utilisant un processus en deux étapes :

Préentraînement Continu (CPT) :
- Données : Un corpus d'environ 11,5 millions de tokens sardes (couvrant les variantes LSC, logudorais et campidanais) augmenté d'environ 2,4 millions de tokens de textes romans apparentés (italien, espagnol, portugais, catalan) pour prévenir l'oubli catastrophique et le flou de registre.
- Technique : Affinage complet (tous les paramètres mis à jour) en bfloat16. Les auteurs ont choisi l'affinage complet plutôt que des adaptateurs économes en paramètres pour cette étape car le décalage de domaine (apprentissage d'une nouvelle langue) est important, et des travaux antérieurs suggèrent que LoRA sous-performe l'affinage complet lorsque la distribution cible est éloignée du préentraînement.
- Contraintes Matérielles : Pour faire tenir le modèle 3B sur 24 Go de VRAM, les auteurs ont utilisé des optimiseurs AdamW 8 bits paginés, la vérification des gradients (gradient checkpointing) et une taille de lot effective de 16 via l'accumulation de gradients. L'emballage des séquences (sequence packing) a été désactivé pour empêcher la fuite d'attention entre des types de documents hétérogènes.
Affinage Supervisé (SFT) :
- Données : Environ 14 404 paires d'instructions dérivées de données Capybara traduites par machine, de paires de traduction parallèles, d'instructions synthétiques curatées par des natifs et de requêtes liées aux chansons.
- Comparaison des Configurations : Cinq configurations SFT ont été comparées dans des conditions appariées (mêmes données, matériel, hyperparamètres) :
  - Affinage complet.
  - LoRA (Rang 64, $\alpha=128$ ).
  - rsLoRA (Rang 128, $\alpha=128$ , utilisant l'échelle $\alpha/\sqrt{r}$ ).
  - rsLoRA (Rang 256, $\alpha=256$ , utilisant l'échelle $\alpha/\sqrt{r}$ ).
  - DoRA (Rang 256, $\alpha=256$ , décomposant les poids en magnitude et direction).

Résultats Clés

Performance de Traduction : Le préentraînement continu a fourni la majeure partie du gain de performance, améliorant les scores BLEU de 4 à 7 fois par rapport au modèle de base. Le SFT a apporté des améliorations incrémentielles.
- Meilleur Performeur : rsLoRA au Rang 256 a obtenu les scores les plus élevés pour la traduction vers le sarde (par exemple, 28,47 BLEU pour l'anglais vers le sarde, contre 17,26 après CPT seul et 21,04 pour l'affinage complet).
- Ablation du Rang : La performance sur les métriques de traduction a évolué de manière fluide avec le rang : rsLoRA r256 > rsLoRA r128 > LoRA r64.
- Sous-performance de DoRA : Malgré un rang identique (256) à la meilleure configuration rsLoRA, DoRA a sous-performé LoRA r64 sur quatre des six directions de traduction et n'a pas réussi à égaler les gains de l'affinage complet.
Constats Qualitatifs et Modes de Défaillance :
- Ancrage Factuel : Les métriques de traduction (BLEU/chrF) ne corrélaient pas avec l'exactitude factuelle. rsLoRA r256 a produit des faits biographiques et culturels vérifiables et précis. En revanche, LoRA r64 a produit des détails inventés mais présentés avec assurance, et DoRA r256 a produit les falsifications les plus agressives, contredisant sa prémisse de conception de préserver la structure du modèle de base.
- Fidélité Lexicale : Bien que rsLoRA r256 ait été factuellement supérieur, il a présenté une « hallucination morphologique » sur des invites longues et ouvertes, générant des mots sardes phonotactiquement plausibles mais non attestés. L'affinage complet est resté le plus proche du vocabulaire attesté.
- Fuite de Script : La configuration rsLoRA r128 a introduit un mode de défaillance unique : la fuite de tokens de script non latins (chinois/anglais) dans des phrases sardes, un phénomène non observé dans les autres variantes.
Métriques de Perte vs Réalité : Les pertes d'entraînement et d'évaluation étaient similaires entre les méthodes et ne prédisaient pas les différences qualitatives en matière de factualité ou d'intégrité du script. L'article note que les métriques de perplexité peuvent être artificiellement réduites par la tokenisation de repli sur les octets dans les scripts non latins (un problème connu dans l'adaptation du tibétain), bien que l'écriture latine du sarde évite cet artefact spécifique.

Signification et Contributions
L'article établit qu'adapter un modèle de 3 milliards de paramètres à une langue romane à faible ressources est réalisable sur un seul GPU grand public en utilisant un pipeline en deux étapes de CPT complet suivi d'un SFT économe en paramètres.

Les contributions clés incluent :

Preuve Empirique sur la Capacité des Adaptateurs : L'étude démontre que pour adapter une base préentraînée en roman à une cible romane à faible ressources, le rang de l'adaptateur compte plus que la variante spécifique de l'adaptateur. Le passage de rsLoRA au Rang 256 a produit des gains significatifs, tandis que DoRA au même rang n'a pas fourni de résultats comparables, suggérant que la paramétrisation spécifique (mises à jour de faible rang non contraintes vs décomposition magnitude-direction) interagit de manière critique avec la tâche.
Limites des Métriques Standard : Le travail met en évidence que les métriques de traduction (BLEU/chrF) et les courbes de perte peuvent ordonner les configurations de manière fluide tout en masquant des différences catégorielles dans le comportement qualitatif, telles que l'hallucination factuelle et la fuite de script.
Efficacité des Ressources : Il fournit un pipeline reproductible pour l'adaptation de langues à faible ressources qui ne nécessite pas de clusters de calcul massifs, s'appuyant plutôt sur une curation minutieuse des données et une optimisation adaptée au matériel (optimiseurs 8 bits, vérification des gradients).

Les auteurs concluent que si rsLoRA r256 est la configuration optimale pour la traduction et l'ancrage factuel dans ce contexte spécifique, la divergence entre les métriques quantitatives et la réalité qualitative nécessite des stratégies d'évaluation incluant des sondes auprès de locuteurs natifs et des vérifications de factualité, en particulier lorsque les métriques basées sur la perte peuvent être trompeuses ou insuffisantes.