Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

1. Problématique et Contexte

L'article aborde trois défis majeurs intersectés dans le domaine de l'inférence des grands modèles de langage (LLM) :

• Déclenchement de la spéculation (Speculative Decoding) : Cette technique accélère l'inférence en utilisant un petit modèle "brouillon" (draft) pour proposer plusieurs jetons candidats, qu'un grand modèle "cible" vérifie en une seule passe. Cependant, la plupart des implémentations actuelles supposent que les deux modèles partagent le même tokeniseur, limitant le choix des modèles brouillons à la même famille.
• Langues à morphologie riche (Polonais) : Les modèles polonais, comme la famille Bielik, sont souvent basés sur des architectures différentes (Mistral pour Bielik 11B, Qwen2.5 pour Bielik 1.5B) avec des tokeniseurs incompatibles (Mistral vs APT4). Cela rend impossible l'utilisation de la spéculation standard entre les modèles de la même famille polonaise.
• Architecture Unified Memory (Apple Silicon) : L'inférence sur les puces Apple (M2 Pro, etc.) repose sur une mémoire unifiée partagée entre le CPU et le GPU. Contrairement aux GPU discrets (NVIDIA) où la bande passante VRAM est élevée, la bande passante unifiée est limitée (~200 Go/s). L'hypothèse théorique selon laquelle la vérification de $k$ jetons coûte autant que la génération d'un seul jeton (car le chargement des poids ne se fait qu'une fois) est remise en question sur cette architecture, car le goulot d'étranglement est le transfert de mémoire pour chaque passe avant (brouillon et cible).

L'objectif de l'étude est d'évaluer empiriquement si la Génération Assistée Universelle (UAG) peut permettre la spéculation croisée (cross-family) sur Apple Silicon pour le polonais, et de déterminer les conditions de rentabilité.

2. Méthodologie

Les auteurs ont étendu le framework MLX-LM (spécifique à Apple) pour intégrer l'UAG et ont mené une évaluation systématique.

• Modèles :
  • Cible : Bielik 11B-Instruct (Architecture Mistral, tokeniseur ~32K).
  • Modèles Brouillons (Draft) : Trois modèles de familles différentes :
    1. Bielik 1.5B (Qwen2.5, tokeniseur polonais APT4).
    2. Qwen2.5-1.5B (Qwen, tokeniseur ~152K).
    3. Llama 3.2-1B (Llama, tokeniseur ~128K).
• Stratégies de Traduction de Token :
  • Sans traduction : Passage direct des IDs (incompatible).
  • Traduction naïve (SLEM) : Décodage en texte puis re-tokenisation sans contexte.
  • Traduction contextuelle (Context-Aware) : Ajout d'un préfixe de $p$ jetons acceptés précédents avant la re-tokenisation pour résoudre les ambiguïtés de frontière (boundary alignment). C'est la stratégie clé implémentée.
• Environnement Matériel : Apple M2 Pro (32 Go de mémoire unifiée, 200 Go/s de bande passante).
• Données : Trois jeux de données polonais (Wikipédia polonaise, pl_alpaca, questions synthétiques courtes).
• Paramètres : Longueurs de brouillon $k \in \{2, 4, 6\}$.

3. Contributions Clés

1. Implémentation UAG dans MLX-LM : Première intégration de la traduction de jetons croisée (SLEM avec fenêtre contextuelle) dans l'écosystème MLX, permettant la spéculation entre modèles aux tokeniseurs incompatibles.
2. Évaluation Empirique pour le Polonais : Première étude systématique de la spéculation croisée pour les modèles polonais, révélant que les modèles brouillons généralistes (Qwen, Llama) surpassent le modèle brouillon spécialisé (Bielik 1.5B) en raison de l'incompatibilité des tokeniseurs morphologiques.
3. Modèle de Coût Matériel-Aware : Démonstration que sur la mémoire unifiée, le coût de vérification ne s'amortit pas linéairement comme prévu par la théorie. Les auteurs dérivent une formule de speedup paramétrique qui intègre la surcharge quadratique liée à la longueur du brouillon ($k$) sur cette architecture spécifique.
4. Directives de Déploiement : Identification des conditions (type de contenu, longueur $k$) sous lesquelles la spéculation est bénéfique sur Apple Silicon.

4. Résultats Principaux

• Efficacité de la Traduction Contextuelle : La stratégie "Context-Aware" améliore systématiquement les taux d'acceptation par rapport à la traduction naïve ou à l'absence de traduction. Elle est indispensable pour les paires de tokeniseurs très différents.
• Surprise des Modèles Brouillons : Le modèle Bielik 1.5B (spécialisé en polonais) obtient des taux d'acceptation plus faibles que les modèles généralistes Qwen2.5-1.5B et Llama 3.2-1B. Cela est dû au décalage de segmentation du tokeniseur APT4 (spécifique au polonais) par rapport au tokeniseur Mistral de la cible, créant des erreurs d'alignement que les modèles généralistes, avec des tokeniseurs plus larges, gèrent mieux via la traduction contextuelle.
• Impact de la Longueur de Brouillon ($k$) :
  • À $k=2$, un speedup est possible (jusqu'à 1.7x sur du texte structuré/répétitif comme Wikipédia) si le taux d'acceptation dépasse un seuil de 38-53%.
  • À $k=4$, le coût de la génération séquentielle du brouillon (qui doit charger ses propres poids via la bande passante unifiée) devient prohibitif. Le seuil de rentabilité grimpe à 77-92%, un taux inatteignable en pratique.
  • À $k=6$, la méthode est nettement plus lente que l'inférence auto-régressive, quelle que soit la qualité du modèle brouillon.
• Analyse du Contenu : La spéculation fonctionne bien sur du texte structuré (Wikipédia, listes) où les jetons sont prévisibles, mais échoue souvent sur des instructions ouvertes (pl_alpaca) où la distribution de jetons est plus variable.
• Efficacité Énergétique : Malgré des vitesses de génération brutes inférieures à celles des GPU NVIDIA haut de gamme, l'Apple M2 Pro offre une efficacité énergétique exceptionnelle (~2.0 J/jeton au niveau puce), comparable à l'A100 et bien supérieure aux cartes grand public comme la RTX 4090, ce qui en fait une plateforme idéale pour l'inférence locale privée.

5. Signification et Conclusion

Cette étude démontre que la spéculation croisée (cross-family) est viable pour les langues à morphologie riche comme le polonais sur du matériel grand public, à condition d'utiliser une traduction de jetons contextuelle.

Cependant, elle met en garde contre l'application aveugle des théories de spéculation développées pour les GPU discrets. Sur l'architecture Unified Memory d'Apple, la bande passante limitée rend le coût de la génération du brouillon dominant. Par conséquent :

• Il faut privilégier des longueurs de brouillon courtes ($k=2$).
• Les gains de performance sont fortement dépendants du type de contenu (structuré > créatif).
• L'approche permet de déployer des modèles polonais performants localement avec une confidentialité totale et une faible consommation énergétique, ouvrant la voie à des agents IA personnels privés.

Les auteurs concluent que l'investissement dans l'amélioration des mécanismes de détection de frontières (pour éviter les pertes de jetons lors de la fusion de contexte) et l'exploration de l'intersection de vocabulaire (TLI) sont des pistes prometteuses pour optimiser davantage cette technique sur les futures puces Apple.