💬 NLP

KazByte: Adapting Qwen models to Kazakh via Byte-level Adapter

Ce rapport présente KazByte, une architecture qui adapte les modèles Qwen2.5-7B à la langue kazakhe en contournant le tokeniseur via un adaptateur de niveau byte suivi d'un fine-tuning des couches d'attention, afin de surmonter les limitations de tokenisation et d'améliorer la performance morphologique.

Auteurs originaux : Rauan Akylzhanov

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rauan Akylzhanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : La "Taxe" des Mots Éclatés

Imaginez que vous avez un grand chef cuisinier (le modèle Qwen2.5) qui est un génie pour cuisiner des plats anglais. Il connaît très bien les ingrédients standards.

Mais, si vous lui donnez un plat traditionnel kazakh, il a un gros problème : son couteau est réglé pour couper les mots anglais en gros morceaux. Or, la langue kazakhe est comme un lego géant : on peut coller plein de petites pièces (suffixes) à la fin d'un mot pour changer son sens.

En anglais : Le mot "running" (courir) est un seul bloc. Le chef le coupe en 1 morceau.
En kazakh : Le mot "de ton acte de course" (une seule idée) est vu par le chef comme 10 à 12 petits morceaux séparés.

La conséquence ?

Gaspillage : Le chef doit lire 10 fois plus de morceaux pour dire la même chose. C'est lent et ça coûte cher en énergie (comme essayer de lire un livre où chaque lettre est un chapitre séparé).
Confusion : Le chef perd le sens global du mot parce qu'il est trop fragmenté.

La Solution Habituelle (et pourquoi elle échoue)

D'habitude, les chercheurs disent : "Changeons le couteau du chef pour qu'il coupe mieux le kazakh."
C'est comme si on essayait de changer les mains du chef pour qu'il tienne un nouveau couteau. Le problème ? Le chef a appris toute sa vie avec l'ancien couteau. Si on lui en donne un nouveau sans le réentraîner pendant des années, il ne sait plus cuisiner du tout. Il perd ses connaissances.

La Solution KazByte : Le "Traducteur de Poche"

Au lieu de changer le chef ou de lui apprendre à nouveau tout le monde, les auteurs proposent une astuce brillante : le KazByte.

Imaginez que vous mettez un traducteur automatique (un petit adaptateur) entre le client et le chef.

Le Client envoie des "Bruts" : Au lieu d'envoyer des mots coupés, le client envoie le texte brut, lettre par lettre (ou byte par byte), comme une longue chaîne de perles.
Le Traducteur (L'Adaptateur) : Ce petit traducteur est très intelligent. Il regarde la chaîne de perles, regroupe les perles qui vont ensemble (comme des mots ou des idées) et les présente au chef sous une forme que le chef comprend parfaitement, sans avoir besoin de changer son couteau.
Le Chef (Qwen) : Le chef reçoit ces groupes "pré-digérés". Il fait son travail de cuisine (comprendre et répondre) comme d'habitude, car il ne voit pas la différence.
La Réponse : Quand le chef a fini, le traducteur reconvertit sa réponse en perles brutes pour le client.

La Méthode en Deux Étapes (Le Secret de la Recette)

Pour que ce système fonctionne, ils ne font pas tout d'un coup. Ils procèdent en deux temps, comme on apprendrait à un nouvel élève :

Étape 1 : Apprendre à parler (L'Adaptateur seul)
On garde le chef figé (il ne bouge pas, il ne change pas). On entraîne uniquement le petit traducteur pour qu'il apprenne à présenter les perles brutes au chef de manière qu'il les comprenne. C'est comme entraîner un interprète à parler le "langage interne" du chef.
Étape 2 : Apprendre la culture (Le Chef s'adapte)
Une fois que l'interprète parle bien, on le fige. Maintenant, on laisse le chef travailler uniquement sur ses connexions d'attention (sa façon de relier les idées entre elles) pour apprendre la culture kazakhe. On ne touche pas à sa mémoire de base (ses connaissances générales), on lui apprend juste à mieux se concentrer sur les nouveaux groupes de perles.

Pourquoi c'est génial ?

Efficacité : Au lieu de 10 morceaux pour un mot, le système envoie peut-être 2 ou 3 groupes. C'est beaucoup plus rapide et moins cher.
Précision : Le chef garde toute sa sagesse originale (il n'a pas besoin d'être rééduqué de zéro), mais il devient soudainement excellent en kazakh.
Flexibilité : C'est comme si on avait ajouté une nouvelle prise électrique à une vieille maison sans casser les murs.

En résumé

Les chercheurs disent : "Ne cassons pas le chef pour changer le couteau. Mettons-lui simplement un casque de traduction intelligent qui lui explique le kazakh en langage qu'il comprend, puis on lui apprend juste à mieux écouter."

Le but final est que ce système, une fois entraîné, soit aussi bon (voire meilleur) que le chef original pour comprendre et parler kazakh, mais sans le gaspillage d'énergie actuel. C'est une promesse de recherche très excitante pour les langues complexes comme le kazakh !

Titre : KazByte : Adaptation des modèles Qwen au kazakh via un adaptateur au niveau des octets

1. Le Problème : La "Taxe" du Tokeniseur sur les Langues Agglutinantes

Le papier identifie un goulot d'étranglement majeur dans l'utilisation des grands modèles de langage (LLM) pré-entraînés (comme Qwen2.5-7B) pour des langues à morphologie riche et agglutinante comme le kazakh.

Inefficacité de la tokenisation BPE : Les tokeniseurs standards (Basé sur la fréquence des sous-mots, BPE) sont optimisés pour des langues à haute ressource comme l'anglais. Pour le kazakh, un seul mot sémantique (ex: un verbe conjugué avec plusieurs suffixes) est souvent fragmenté en 10 à 12 tokens, contre environ 1,3 pour l'anglais.
Conséquences :
- Coût computationnel accru : Séquences plus longues pour le même contenu textuel.
- Fenêtre de contexte réduite : Capacité effective de traitement diminuée.
- Faiblesse morphologique : Le modèle perd la cohérence sémantique des unités morphologiques complexes.
Échec des approches actuelles : Le simple remappage des poids ou l'extension du vocabulaire du tokeniseur est impossible sans réentraînement massif, car cela déstabilise les distributions d'embedding, les statistiques de position et les motifs de co-occurrence appris par le modèle.

2. Méthodologie : L'Architecture ByteKaz

Les auteurs proposent ByteKaz, une architecture qui contourne totalement le tokeniseur en traitant le texte brut (octets) via un adaptateur bidirectionnel. L'approche s'inspire du Byte Latent Transformer (BLT) et de LLaVA.

Architecture Principale :
Le système remplace la table d'embedding et la tête de langage (LM Head) de Qwen2.5-7B par une interface en octets composée de :

Encodeur Local (BLT) : Un petit transformateur causal qui ingère les octets bruts. Il regroupe les octets en "patches" dynamiques basés sur l'entropie (les zones prévisibles sont fusionnées, les zones complexes sont séparées).
Couches de Projection : Des transformations linéaires ( $W_{enc}$ et $W_{dec}$ ) qui projettent les représentations des patches dans l'espace latent du modèle Qwen (4096 dimensions) et vice-versa.
Corps du Modèle (Qwen2.5-7B) : Le modèle principal reste intact, mais ses entrées et sorties sont désormais des patches d'octets plutôt que des tokens BPE.
Décodeur Local : Un transformateur symétrique à l'encodeur qui prédit les octets suivants de manière auto-régressive à partir du contexte du modèle.

Protocole d'Entraînement en Deux Étapes (Hypothèse Centrale) :
L'innovation réside dans une stratégie d'entraînement progressive pour éviter le "catastrophic forgetting" et stabiliser l'adaptation :

Étape A (Alignement de Représentation) : Le corps de Qwen est gelé. Seuls l'encodeur, le décodeur et les projections sont entraînés sur des données en anglais et chinois (pour rester dans la distribution d'origine de Qwen). L'objectif est d'apprendre à l'adaptateur à "parler" le langage interne de Qwen. Une perte d'alignement d'états cachés (MSE) peut être ajoutée pour guider l'adaptateur.
Étape B (Adaptation au Kazakh) : L'adaptateur est gelé. Seules les couches d'attention de Qwen (matrices $W_Q, W_K, W_V, W_O$ ) sont mises à jour sur un corpus massif de texte kazakh. Les blocs Feed-Forward (FFN), qui contiennent la majeure partie des connaissances factuelles, restent gelés.
Étape C (Optionnelle) : Affinage sur des tâches spécifiques (SFT) pour le suivi d'instructions.

3. Contributions Clés

Architecture : Une interface bidirectionnelle au niveau des octets (encodeur/décodeur + projections) permettant d'utiliser un LLM pré-entraîné sans tokeniseur BPE.
Hypothèse d'Entraînement : La démonstration qu'un ajustement ciblé des mécanismes d'attention (Étape B) suffit à adapter la géométrie de séquence d'un modèle gelé à une nouvelle modalité (octets) sans réapprendre les capacités factuelles.
Analyse des Échecs Potentiels : Identification des risques (démarrage à froid, problèmes de RoPE, masquage) et des stratégies d'atténuation.
Ressources de Données : Une liste vérifiée de corpus kazakhs ouverts disponibles sur Hugging Face (ex: SozKZ, Wikipedia, CulturaX).
Plan d'Évaluation : Une suite de benchmarks standardisés (SozKZ) incluant des QCM culturels, de la compréhension de lecture (Belebele) et de la classification de sujets (SIB-200).

4. Résultats Attendus et Validation

Note importante : Le document est une proposition de recherche (version préliminaire) et ne présente pas encore de résultats empiriques finaux.

Hypothèse de Performance : Les auteurs postulent que ByteKaz devrait égaler ou dépasser les performances de Qwen2.5-7B standard (avec tokeniseur BPE) sur les tâches kazakhes après l'Étape B.
Efficacité Séquentielle : On s'attend à une réduction significative du nombre de séquences (patches vs tokens) pour un même contenu, améliorant ainsi le débit et la fenêtre de contexte effective.
Comparaison avec les Bases : Le modèle sera comparé à :
- Qwen2.5-7B + BPE (référence standard).
- SozKZ-600M (modèle kazakh entraîné de zéro).
- BLT-7B (modèle byte pur sans corps Qwen gelé).

5. Signification et Impact

Ce travail propose une solution élégante au problème de la "fertilisation des tokens" (token fertility) dans les langues agglutinantes.

Éviter le réentraînement complet : En gelant le corps du modèle et en n'adaptant que l'interface et l'attention, la méthode réduit considérablement le coût computationnel et les besoins en données par rapport à un réentraînement complet.
Préservation des connaissances : En gelant les couches FFN, le modèle conserve ses connaissances générales acquises lors de l'entraînement initial, évitant ainsi l'oubli catastrophique souvent observé lors de l'adaptation de langues à faible ressource.
Généralisation : Bien que ciblé sur le kazakh, ce cadre pourrait être appliqué à d'autres langues turciques, finno-ougriennes ou sémitiques souffrant de la même inefficacité de tokenisation.

En résumé, KazByte vise à prouver que l'on peut transformer un modèle multilingue occidental en un expert de langue agglutinante en remplaçant simplement la "porte d'entrée" (tokeniseur) par une interface d'octets intelligente, sans toucher au "cerveau" du modèle.