Résumé Technique : AdaptBPE : D'un tokenizer polyvalent à des tokenizers spécialisés

Problématique

Les méthodes de segmentation de sous-mots (subword tokenization), en particulier le Byte-Pair Encoding (BPE), sont fondamentales pour les modèles de langage de grande taille (LLM) modernes. Cependant, les tokenizers standards sont entraînés comme des outils polyvalents sur des corpus massifs et diversifiés, et restent statiques tout au long du cycle de vie du modèle. Cette nature statique crée des inefficacités lorsque les modèles sont appliqués à des domaines spécifiques ou à des ensembles de langues restreints. Un vocabulaire générique inclut souvent de nombreux tokens qui sont rares ou inutiles pour un corpus cible spécifique, ce qui entraîne des longueurs de tokenisation sous-optimales, un chargement de paramètres inutile et une augmentation des coûts d'inférence. Bien que des tokenizers spécifiques à un domaine existent, ils nécessitent généralement un réentraînement complet ou des mécanismes dynamiques complexes. Il existe un besoin pour une stratégie d'adaptation post-entraînement légère qui optimise la tokenisation pour des contextes spécifiques sans modifier les poids sous-jacents du modèle.

Méthodologie : AdaptBPE

Les auteurs proposent AdaptBPE, un algorithme post-hoc qui affine un tokenizer BPE pré-entraîné en remplaçant sélectivement les fusions (merges) de faible utilité par des fusions plus pertinentes basées sur les statistiques de fréquence d'un corpus d'adaptation. La méthode opère sous un « budget de fusion » ($N$) fixe, garantissant que la taille finale du vocabulaire reste constante.

Algorithme Central

1. Initialisation : L'algorithme commence avec un tokenizer BPE pré-entraîné contenant une liste de $M$ fusions. Il sélectionne initialement les $N$ premières fusions (le préfixe standard) pour former un ensemble de fusions candidates réelles ($\mu_A$) et traite les fusions restantes comme un ensemble de réserve ($\mu_R$).
2. Affinement Itératif : L'algorithme améliore de manière itérative la tokenisation du corpus d'adaptation en :
   • Identifiant le token le moins fréquent (plus faible utilité) dans l'ensemble actuel $\mu_A$.
   • Identifiant le bigramme le plus fréquent dans l'ensemble de réserve $\mu_R$ qui peut être formé par les parents d'une nouvelle fusion potentielle.
   • Échange : Si la fréquence du bigramme candidat dans $\mu_R$ dépasse celle du token le moins fréquent dans $\mu_A$, l'algorithme effectue un échange. La fusion de faible utilité est convertie en une fusion « virtuelle » (effectivement retirée de l'ensemble de tokens actifs), et la fusion de haute fréquence du réservoir est promue au rang de fusion « réelle ».
3. Contraintes : Le processus maintient la propriété (properness) de la séquence de fusion, garantissant que les tokens composés ne sont créés qu'après l'existence de leurs tokens parents. Il repose uniquement sur les statistiques du corpus d'adaptation et ne nécessite pas l'accès aux données de pré-entraînement originales ou aux poids du modèle.
4. Sortie : Le résultat est une nouvelle liste de fusions optimisée et compatible avec le LLM d'origine, permettant un déploiement immédiat sans réentraînement du modèle.

Contributions Clés

1. Algorithme d'Affinement : L'introduction d'un algorithme glouton (greedy) qui opère directement sur les listes de fusion BPE pour optimiser l'utilité de compression pour des domaines de test spécifiques sous une contrainte de taille de vocabulaire fixe.
2. Adaptation Post-Entraînement : Un mécanisme léger, semblable à l'ajustement fin (fine-tuning) du vocabulaire, qui ne nécessite aucun changement des paramètres du modèle, offrant une solution « plug-and-play » pour le déploiement en aval.
3. Validation Empirique : Des expériences approfondies à travers plusieurs langues (incluant des langues à faibles ressources comme le manipuri et l'occitan), des domaines (Wikipedia généraliste vs spécialisé PubMed/EMEA) et des tâches (génération, classification et traduction automatique) démontrant une supériorité sur les bases de référence.

Résultats Expérimentaux

Les auteurs ont évalué AdaptBPE en utilisant les modèles BLOOM, Llama-3 et GPT-2 contre trois bases de référence :

• Firstk : Utilisation uniquement des $N$ premières fusions du tokenizer original.
• Firstk>0 : Utilisation des $N$ premières fusions apparaissant dans le jeu de données.
• Topk : Application de toutes les fusions et dé-fusion (unmerging) récursive jusqu'à ce que les $N$ tokens les plus fréquents subsistent.

Principaux Résultats :

• Utilité de Compression : AdaptBPE a systématiquement obtenu une utilité de compression plus élevée (séquences de tokens plus courtes) que toutes les bases de référence sur tous les langages et modèles, comblant souvent presque l'écart avec le tokenizer au vocabulaire complet.
• Perplexité : Dans les tâches spécifiques au domaine (ex: PubMed, EMEA), AdaptBPE a souvent égalé ou dépassé les scores de perplexité du vocabulaire complet, là où les bases de référence ont peiné.
• Traduction Automatique : Dans des contextes bilingues (Anglais-Français, Anglais-Occitan), AdaptBме a amélioré les scores BLEU par rapport aux bases de référence, égalant les performances du tokenizer complet avec un vocabulaire considérablement réduit (15k–30k fusions).
• Classification Zero-Shot : Bien que les performances aient chuté pour l'anglais lors de l'utilisation d'un vocabulaire réduit (en raison du décalage entre les tokenizers d'entraînement et d'inférence), la méthode a montré une robustesse dans le transfert translingue pour d'autres langues, avec une performance récupérable via le fine-tuning.
• Langues à Faibles Ressources : La méthode a été particulièrement efficace pour les langues morphologiquement complexes ou à faibles ressources (ex: Occitan, Manipuri), où les techniques de réduction standard échouaient à capturer les structures de sous-mots nécessaires.

Signification et Revendications

L'article affirme qu'AdaptBPE offre une solution pratique et rentable pour adapter les LLM à des domaines ou des langues spécifiques sans la charge computationnelle d'un réentraînement. En réduisant le nombre de tokens actifs et les paramètres d'embedding associés, la méthode diminue l'utilisation de la mémoire et la latence d'inférence.

Les auteurs positionnent leur travail comme une forme de régularisation qui biaise le modèle vers des représentations de sous-mots plus généralisables pour le domaine cible. Ils soulignent que leur approche est distincte des travaux antérieurs qui entraînent de nouveaux tokenizers à partir de zéro ou utilisent une tokenisation dynamique au moment de l'exécution ; au contraire, AdaptBPE fournit un vocabulaire statique et optimisé qui est pleinement compatible avec les modèles pré-entraînés existants. L'article conclut que bien que la méthode soit efficace, les travaux futurs devraient se concentrer sur l'optimisation dynamique du budget de fusion $N$ et sur une meilleure prise en compte de l'incertitude des estimations de fréquence pour éviter le surapprentissage (overfitting) sur le corpus d'adaptation.