💬 NLP

X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding

Cet article propose X-CoSD, un cadre de décodage spéculatif collaboratif sans perte et efficace en termes de communication qui permet l'inférence de LLM distribuée entre des appareils et des serveurs avec des vocabulaires hétérogènes en introduisant un rééchantillonnage hybride et une variante de rééchantillonnage par le serveur avec vérification par l'appareil afin d'accélérer considérablement la génération de jetons sans compromettre la qualité de la sortie.

Auteurs originaux : Jaeduk Lee, Wan Choi

Publié 2026-09-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaeduk Lee, Wan Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle moderne, les outils les plus puissants sont les grands modèles de langage, de vastes cerveaux numériques capables d'écrire du code, de composer des histoires et de résoudre des problèmes complexes. Cependant, ces modèles sont lourds et lents à exécuter, nécessitant souvent des serveurs massifs situés loin de l'utilisateur. Pour les rendre plus rapides, les chercheurs ont développé une technique appelée décodage spéculatif. Imaginez une équipe où un assistant rapide et léger rédige quelques phrases, et un expert chevronné les vérifie instantanément. Si l'assistant a raison, l'équipe avance rapidement ; s'il se trompe, l'expert corrige l'erreur. Cette collaboration permet au système de générer du texte beaucoup plus vite que l'expert ne pourrait le faire seul. Pourtant, pour que ce travail d'équipe puisse avoir lieu entre un téléphone et un serveur distant, ils doivent parler exactement la même langue, jusqu'à la liste spécifique de mots et de symboles qu'ils reconnaissent. Dans le monde réel, différents appareils utilisent souvent des dictionnaires différents, créant une barrière qui a empêché cette collaboration rapide de fonctionner de manière fluide jusqu'à présent.

Une équipe de chercheurs de l'Université Nationale de Séoul a résolu cette barrière avec un nouveau cadre qu'ils appellent X-CoSD. Leur travail s'attaque à un goulot d'étranglement spécifique : lorsque le téléphone et le serveur n'ont pas le même vocabulaire, le serveur doit renvoyer une quantité massive de données vers le téléphone chaque fois qu'une erreur est commise, ralentissant tout le processus jusqu'à l'immobilisme. Les chercheurs ont conçu un système qui permet au téléphone et au serveur de collaborer même lorsque leurs dictionnaires ne correspondent pas, sans sacrifier la qualité de l'écriture ou la vitesse de la réponse. Ils ont prouvé que leur méthode préserve l'intelligence exacte du modèle de serveur puissant tout en réduisant considérablement les données qui doivent voyager sur Internet.

Le cœur du problème réside dans la manière dont ces modèles gèrent les erreurs. Lorsque le serveur vérifie le brouillon du téléphone et rejette un jeton (token), il doit fournir une nouvelle option correcte. Dans les tentatives précédentes pour corriger le décalage de vocabulaire, le serveur envoyait sa carte de probabilité complète — une liste de tous les mots possibles qu'il pourrait choisir ensuite — en retour au téléphone. C'est comme si un enseignant envoyait l'intégralité du manuel à l'élève chaque fois que celui-ci fait une seule faute d'orthographe. C'est incroyablement inefficace, surtout sur les réseaux sans fil où l'envoi de grandes quantités de données prend du temps et de l'énergie. Les chercheurs ont réalisé que le téléphone a seulement besoin de voir les mots sur lesquels le téléphone et le serveur sont d'accord, plus un petit peu d'informations supplémentaires pour gérer les mots que seul le serveur connaît.

Pour résoudre cela, l'équipe a introduit une méthode appelée rééchantillonnage hybride. Au lieu d'envoyer le dictionnaire complet des possibilités, le serveur envoie uniquement les probabilités pour les mots qui apparaissent à la fois dans le vocabulaire du téléphone et celui du serveur. Il envoie également un nombre unique représentant le poids que portent les mots uniques du serveur. Avec cette information limitée, le téléphone peut décider mathématiquement s'il choisit un mot de la liste partagée ou s'il demande au serveur de choisir un mot de sa propre liste unique. Si le téléphone choisit un mot de la liste partagée, cela se produit instantanément. Si le serveur doit choisir un mot unique, il n'envoie que ce mot précis, plutôt que la liste entière des options. Cette approche garantit que le résultat final reste parfaitement précis, correspondant à ce que le serveur puissant aurait produit de lui-même, mais elle évite le transfert de données massif qui ralentissait auparavant le système.

Les chercheurs sont allés plus loin avec une version améliorée appelée X-CoSD-E, qui ajoute une autre couche d'efficacité. Dans cette configuration, lorsqu'une erreur se produit, le serveur envoie d'abord un petit groupe de candidats de remplacement au téléphone. Le téléphone vérifie immédiatement ces quelques options. Si l'une d'elles est suffisante, le processus s'arrête là, et aucune donnée supplémentaire n'est envoyée. Le serveur n'envoie la liste plus large de probabilités que si le téléphone rejette tous les candidats initiaux. Cette stratégie de « tester quelques options d'abord » signifie que, dans la plupart des cas, le système évite totalement le transfert de données lourd. L'équipe a testé cela sur diverses tâches, notamment la traduction automatique, le résumé d'articles de presse et la résolution de problèmes mathématiques, en utilisant différents modèles pour le téléphone et le serveur.

Les résultats ont montré que cette nouvelle méthode fonctionne aussi bien que le modèle de serveur puissant travaillant seul, maintenant la même haute qualité de génération de texte. Parallèlement, elle a considérablement réduit la quantité de données envoyées et reçues. Dans leurs expériences, le nouveau système a généré des jetons beaucoup plus rapidement que les méthodes précédentes qui tentaient de gérer différents vocabulaires, particulièrement lorsque la connexion Internet était lente ou que le transfert de données était limité. Les chercheurs ont constaté qu'en gérant soigneusement les informations envoyées et le moment de l'envoi, ils pouvaient maintenir une collaboration fluide. Ce travail démontre qu'une intelligence artificielle collaborative à haute vitesse est possible même lorsque les appareils impliqués ne parlent pas exactement la même langue, ouvrant la voie à des outils d'IA plus efficaces et accessibles sur les appareils du quotidien.

Énoncé du problème

Le Décodage Spéculatif Collaboratif (CoSD) est un cadre d'inférence distribuée où un petit modèle de langage (SLM) sur l'appareil propose des jetons (tokens) candidats, et un grand modèle de langage (LLM) côté serveur les vérifie. Bien que le CoSD accélère la génération et décharge le calcul, les méthodes existantes reposent sur une hypothèse critique : le SLM et le LLM doivent partager le même vocabulaire.

Dans les configurations hétérogènes réelles (par exemple, différentes familles de modèles ou fournisseurs), les vocabulaires diffèrent souvent. Une extension directe du CoSD à ces configurations nécessite de transmettre la distribution de probabilité complète du LLM du serveur sur l'ensemble du vocabulaire chaque fois qu'un jeton est rejeté, afin que l'appareil puisse effectuer un rééchantillonnage exact. Cela crée un goulot d'étranglement de communication prohibitif, particulièrement sur la liaison descendante (downlink), qui domine la latence de bout en bout dans les réseaux sans fil. De plus, les méthodes de CoSD économes en communication existantes (comme U-HLM) sacrifient souvent la qualité du décodage (perte de données) ou nécessitent toujours une transmission lourde des distributions en liaison montante (uplink).

Méthodologie

Les auteurs proposent X-CoSD, un cadre conçu pour les vocabulaires hétérogènes SLM–LLM qui garantit un décodage sans perte (préservant la distribution du LLM du serveur) tout en minimisant la surcharge de communication. Le cadre repose sur deux mécanismes de base :

1. Rééchantillonnage Hybride (HR)

X-CoSD s'appuie sur l'approche de l'Intersection au Niveau du Jeton (TLI), où le SLM sur l'appareil ne propose des jetons qu'à partir du vocabulaire commun ( $V_C$ ) partagé par les deux modèles. Lorsqu'un jeton est rejeté, la distribution résiduelle (la masse de probabilité nécessaire pour le rééchantillonnage) est décomposée en deux régions :

Région du Vocabulaire Commun ( $V_C$ ) : Jetons présents dans les deux modèles.
Région Propre au LLM ( $V_O$ ) : Jetons présents uniquement dans le LLM du serveur.

Au lieu d'envoyer la distribution complète, HR exploite la structure de la distribution résiduelle pour effectuer un rééchantillonnage distribué :

Le serveur calcule la masse de probabilité résiduelle totale pour $V_C$ ( $\theta_c$ ) et $V_O$ ( $\theta_o$ ).
Le serveur transmet uniquement les probabilités du LLM pour la région commune ( $V_C$ ) et le scalaire $\theta_o$ à l'appareil.
L'appareil sélectionne de manière probabiliste une région de rééchantillonnage :
- Si $V_C$ est sélectionnée, l'appareil effectue localement un rééchantillonnage à partir de la région commune.
- Si $V_O$ est sélectionnée, l'appareil demande au serveur d'échantillonner à partir de la région propre au LLM. Le serveur envoie alors uniquement la chaîne détokenisée (et non la distribution complète) correspondant au jeton échantillonné.

Cette approche garantit que la distribution complète du LLM n'est jamais transmise, réduisant considérablement la charge de la liaison descendante.

2. Rééchantillonnage par le Serveur avec Vérification par l'Appareil (SR-DV)

Pour réduire davantage la surcharge, les auteurs proposent X-CoSD-E, une variante améliorée utilisant SR-DV.

Lors d'un rejet, le serveur échantillonne un petit nombre de candidats de remplacement ( $K$ ) à partir de la distribution complète du LLM et envoie uniquement ces jetons et leurs probabilités à l'appareil.
L'appareil vérifie ces candidats à l'aide d'une fonction de probabilité d'acceptation spécifique ( $\alpha(x)$ ) dérivée dans l'article.
Si un candidat est accepté, le processus se termine. Si tous les $K$ candidats sont rejetés (ou après $M$ itérations), le système revient à HR pour assurer un rééchantillonnage résiduel exact.
Cette approche probabiliste évite la transmission de la distribution de la région commune dans la plupart des cas, abaissant ainsi davantage la latence.

Principales Contributions

Support de Vocabulaire Croisé : X-CoSD est le premier cadre de CoSD explicitement conçu pour des vocabulaires hétérogènes sans nécessiter de réentraînement de modèle ou de distillation de connaissances en ligne.
Garantie Sans Perte : L'article fournit des preuves théoriques (Théorèmes 1 et 2) démontrant que X-CoSD et X-CeSD-E préservent la distribution exacte du LLM du serveur, garantissant une qualité de génération identique à celle du LLM du serveur.
Efficacité de Communication : En limitant la transmission de la distribution à la région du vocabulaire commun (HR) ou en la remplaçant par des jetons candidats (SR-DV), le cadre réduit considérablement la charge de communication descendante par rapport aux extensions directes.
Mécanisme SR-DV : L'introduction d'un mécanisme de repli qui donne la priorité à l'échange de candidats à faible latence plutôt qu'à la transmission de la distribution complète.

Résultats Expérimentaux

Les auteurs ont évalué X-CoSD et X-CoSD-E en utilisant Vicuna-68M (SLM) avec Llama-3.1-8B et Qwen2-7B (LLMs) à travers des tâches incluant la traduction automatique (WMT-DeEn), la résumé (XSum, CNN/DailyMail), le raisonnement mathématique (GSM8K) et les questions-réponses (MMLU).

Qualité de Génération : X-CoSD et X-CoSD-E ont tous deux atteint des scores de qualité de génération comparables au LLM du serveur (scores relatifs $\approx$ 1,0), confirmant la propriété sans perte. En revanche, les bases de référence avec perte (Greedy/Target Resampling) et U-HLM ont montré une dégradation significative de la qualité.
Charge de Communication :
- Liaison Descendante (Downlink) : X-CoSD a réduit la charge descendante de plusieurs ordres de grandeur par rapport à l'extension "Directe" (qui envoie la distribution complète). X-CoSD-E a encore réduit cette charge en évitant la transmission de la distribution dans de nombreux cas de rejet.
- Liaison Montante (Uplink) : Contrairement à certaines bases de référence qui nécessitent le téléchargement des distributions du SLM, X-CoSD maintient une faible charge de liaison montante, ne transmettant que les identifiants de jetons et les probabilités.
Débit et Latence :
- X-CoSD et X-CoSD-E ont atteint un débit de jetons plus élevé que le LLM du serveur seul et ont surpassé la base de référence "Directe", particulièrement lorsque la bande passante descendante augmentait.
- X-CoSD-E a démontré la latence par jeton la plus faible parmi les méthodes sans perte, maintenant un débit élevé même sous des taux de transmission de liaison descendante variables (100–300 Mbps).

Signification

L'article affirme que X-CoSD et X-CoSD-E représentent une étape concrète vers le déploiement réel de l'inférence de LLM collaborative. En abordant le problème de l'incompatibilité de vocabulaire sans sacrifier la précision du décodage, ces cadres permettent une collaboration efficace et sans perte entre des modèles variés sur l'appareil et des LLM puissants sur le serveur. Cela est particulièrement significatif dans les environnements sans fil où la bande passante de communication est un goulot d'étranglement primaire, permettant une inférence plus rapide sans compromettre la qualité du texte généré.