💬 NLP

Beyond the Target: From Imitation to Collaboration in Speculative Decoding

Ce papier présente le Décodage Spéculatif Collaboratif (CoSpec), un cadre novateur qui remplace l'approche traditionnelle basée sur l'imitation par une politique d'arbitrage pilotée par l'apprentissage par renforcement, permettant à un modèle de brouillon plus petit de contribuer sélectivement des tokens même lorsqu'ils ne correspondent pas au modèle cible plus grand, réalisant ainsi à la fois des accélérations significatives de l'inférence et une précision finale supérieure.

Auteurs originaux : Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

Publié 2026-05-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jinze Li, Yixing Xu, Guanchen Li, Jinfeng Xu, Shuo Yang, Yang Zhang, Xuanwu Yin, Dong Li, Edith C. H. Ngai, Emad Barsoum

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme très difficile, comme un problème mathématique complexe ou un défi de programmation astucieux. Vous avez deux personnes pour vous aider :

L'Expert (Modèle Cible) : Un professeur brillant et hautement formé qui sait presque tout, mais qui est très lent. Il prend son temps pour réfléchir à chaque étape avant de l'écrire.
Le Stagiaire (Modèle Brouillon) : Un assistant rapide, énergique, mais moins expérimenté. Il peut penser et écrire très vite, mais il fait plus souvent des erreurs.

L'Ancienne Méthode : « Le Superviseur Strict »

Dans la méthode traditionnelle (appelée Décodage Spéculatif), le Stagiaire essaie de deviner les prochaines étapes de la solution et les écrit rapidement. Ensuite, l'Expert les vérifie.

La Règle : Si la supposition du Stagiaire correspond exactement à la pensée de l'Expert, l'Expert dit : « Super, continuez ! » et ils avancent ensemble.
Le Problème : Si le Stagiaire devine même un seul mot différemment, l'Expert dit immédiatement : « Non, c'est faux », le barre et écrit sa propre version. Le travail du Stagiaire est jeté, même si le Stagiaire avait en fait raison sur cette partie spécifique !

L'article soutient que cela est gaspilleur. Parfois, le Stagiaire peut avoir une idée brillante que l'Expert a manquée parce que l'Expert est bloqué dans une certaine façon de penser. En rejetant aveuglément les idées différentes du Stagiaire, le système passe à côté de bonnes solutions.

La Nouvelle Méthode : « L'Équipe Collaborative » (CoSpec)

Les auteurs introduisent un nouveau système appelé Décodage Spéculatif Collaboratif (CoSpec). Au lieu que l'Expert soit le seul chef, ils ajoutent un Médiateur Intelligent (une politique d'arbitrage).

Voici comment cela fonctionne :

La Configuration : Le Stagiaire écrit toujours rapidement un bloc d'idées. L'Expert les vérifie toujours en parallèle (en même temps).
L'Accord : S'ils sont d'accord, tant mieux ! Ils avancent vite.
Le Désaccord : Si le Stagiaire et l'Expert ne sont pas d'accord sur une étape, le Médiateur intervient.
- Le Médiateur examine le contexte, l'idée du Stagiaire et l'idée de l'Expert.
- Il se demande : « Laquelle de ces deux voies a le plus de chances de mener à la réponse finale correcte ? »
- Si le Médiateur pense que l'idée différente du Stagiaire est en fait le meilleur choix, il dit : « Gardez l'idée du Stagiaire ! »
- Si le Stagiaire est clairement dans l'erreur, il dit : « Suivez l'Expert. »

Pourquoi Cela Compte

Pensez-y comme à une équipe sportive. Dans l'ancien système, l'entraîneur (Expert) ferait asseoir le joueur vedette (Stagiaire) dès qu'il essaierait un jeu différent du livre de jeux de l'entraîneur, même si ce jeu différent était le coup gagnant.

Dans le nouveau système, l'entraîneur écoute l'entraîneur adjoint. Si l'adjoint suggère un jeu différent qui pourrait gagner le match, l'équipe l'essaie.

Les Résultats :

Plus Rapide : Parce que l'équipe accepte plus de bonnes suppositions du Stagiaire, elle n'a pas besoin de s'arrêter et de réécrire aussi souvent. Ils terminent l'énigme beaucoup plus vite.
Plus Intelligent : Parce qu'ils gardent parfois les idées « différentes » du Stagiaire, ils résolvent en fait plus d'énigmes correctement que l'Expert n'aurait pu le faire seul.

La Conclusion

Cet article montre qu'en traitant le modèle plus petit et rapide comme un partenaire plutôt que comme un simple copieur, nous pouvons rendre l'IA à la fois plus rapide et plus précise. Les « erreurs » ou les différences entre les deux modèles ne sont pas toujours des erreurs ; parfois, ce sont des opportunités de trouver une meilleure solution que le grand modèle aurait manquée seul.

Résumé technique : Au-delà de la cible : De l'imitation à la collaboration dans le décodage spéculatif

1. Énoncé du problème

Le décodage spéculatif (SPD) est une technique standard pour accélérer l'inférence des grands modèles de langage (LLM). Il utilise un modèle « brouillon » plus petit pour proposer une séquence de futurs jetons, qui sont ensuite vérifiés en parallèle par un modèle « cible » plus grand. Le paradigme dominant en SPD repose sur l'imitation : le modèle brouillon est entraîné à approximer la distribution du modèle cible, et un jeton brouillon n'est accepté que s'il correspond exactement à la prédiction de la cible.

Les auteurs soutiennent que ce paradigme est sous-optimal car il suppose implicitement que le modèle cible est la seule autorité à chaque position de jeton. En réalité, bien que le modèle cible soit globalement supérieur, il n'est pas uniformément meilleur à chaque décision locale. Dans des tâches telles que le raisonnement et la génération de code, un écart entre le brouillon et la cible n'indique pas nécessairement une erreur du brouillon ; il peut représenter une voie alternative utile évitant une erreur du modèle cible. Les méthodes SPD actuelles rejettent ces forces « non imbriquées » du modèle brouillon, limitant ainsi le système au plafond de performance du modèle cible seul.

2. Méthodologie : Décodage spéculatif collaboratif (CoSpec)

L'article présente le Décodage spéculatif collaboratif (CoSpec), un cadre qui fait évoluer la relation entre les modèles brouillon et cible de l'imitation pure vers une collaboration active. Au lieu de traiter les écarts comme des échecs de vérification, CoSpec les considère comme des opportunités de sélectionner la branche (brouillon ou cible) qui maximise l'utilité finale de la tâche.

Architecture de base

CoSpec conserve la structure computationnelle standard du SPD :

Élaboration : Le modèle brouillon propose un bloc de $K$ jetons.
Vérification : Le modèle cible vérifie le bloc en un seul passage parallèle.
Arbitrage : Aux positions où le brouillon et la cible divergent (écarts), une politique d'arbitrage apprise décide d'accepter le jeton brouillon ou de revenir au jeton cible.

La politique d'arbitrage

La politique d'arbitrage ( $\pi_\theta$ ) est un modèle léger (utilisant des adaptateurs LoRA sur l'épine dorsale du brouillon) qui observe :

L'invite de commande et le préfixe vérifié.
Le bloc brouillon.
Les jetons de vérification de la cible.

Elle utilise un masque d'attention hybride : le contexte s'attire de manière causale, tandis que la région brouillon-cible utilise une attention bidirectionnelle pour comparer les candidats. La politique émet une probabilité d'acceptation du jeton brouillon à chaque écart.

Entraînement par apprentissage par renforcement

La politique est entraînée selon un pipeline en deux étapes :

Échauffement supervisé : Initialisé à l'aide de préférences étiquetées par un juge sur des déployements SPD classiques.
Apprentissage par renforcement (RL) : Optimisé par l'optimisation de politique relative par groupe (GRPO) sur des déployements complets CoSpec.

Façonnage de la récompense :
La fonction de récompense est conçue pour maximiser l'utilité finale de la tâche (par exemple, la justesse de la réponse) plutôt que la préservation de la distribution.

Déployements corrects : Les récompenses sont proportionnelles à la longueur de la séquence acceptée au-delà du premier écart ( $\rho_r$ ), encourageant la politique à accepter des continuations brouillon utiles.
Déployements incorrects : Des pénalités sont appliquées pour :
- Accepter des jetons brouillon hautement improbables sous la distribution cible (régularisation du risque).
- Rejeter un écart et revenir à une branche cible qui conduit finalement à une erreur (empêchant la politique de considérer le retour comme une valeur par défaut « sûre »).
Normalisation : Les avantages sont normalisés au sein de groupes d'invites, avec une mise à l'échelle spécifique pour les groupes mixtes de déployements corrects et incorrects afin d'équilibrer l'ampleur des signaux positifs et négatifs.

3. Contributions clés

Changement de paradigme : L'article formule un paradigme SPD généralisé qui passe de l'« imitation bornée par la cible » au « décodage collaboratif », permettant au modèle brouillon de contribuer lorsque sa continuation est plus utile pour le résultat final de la tâche.
Cadre CoSpec : L'introduction d'une politique d'arbitrage apprise qui accepte sélectivement les jetons brouillon lors des écarts, exploitant les forces complémentaires des deux modèles.
Fondement théorique : La proposition 3.1 établit un « écart de complémentarité locale », prouvant qu'un arbitre oracle peut surpasser strictement un vérificateur fidèle à la cible chaque fois que la branche brouillon a une utilité attendue plus élevée sur un sous-ensemble non nul d'états d'écart.
Validation empirique : Des expériences extensives démontrant que CoSpec atteint des performances de pointe en vitesse et en précision de tâche sur plusieurs benchmarks.

4. Résultats expérimentaux

Les auteurs ont évalué CoSpec en utilisant des paires LLaMA-3.3-70B/8B et Qwen3-32B/4B sur des tâches de raisonnement mathématique (GSM8K, MATH-500), de génération de code (HumanEval, MBPP) et de connaissances générales.

Performance par rapport à la cible seule : CoSpec dépasse systématiquement les performances autonomes du modèle cible.
- LLaMA-70B (Gourou) : Le score moyen passe de 90,05 (Cible seule) à 91,73 avec une accélération de 3,96×.
- Qwen3-32B (Gourou) : Le score moyen passe de 83,84 à 86,46 avec une accélération de 2,05×.
Comparaison avec les références : CoSpec surpasse les méthodes préservant la cible (SpS, REST, EAGLE-3) en précision et les méthodes de vérification lâche (FLy) en vitesse et en précision. Il surpasse également les références améliorant l'utilité comme AASD.
Analyse de complémentarité : Les expériences montrent que, bien que le modèle cible résolve plus d'exemples au total, l'« union oracle » (exemples résolus par l'un ou l'autre modèle) est constamment supérieure à celle de la cible seule. CoSpec récupère environ 50–65 % de ces succès non imbriqués.
Généralisation : L'arbitre entraîné se généralise à des domaines invisibles (dialogue, questions-réponses factuelles, raisonnement multilingue) sans réentraînement spécifique à la tâche, suggérant que la politique d'arbitrage apprend des schémas d'interaction plutôt que du contenu spécifique à la tâche.

5. Importance et revendications

L'article affirme que CoSpec offre une nouvelle perspective sur le décodage spéculatif en redéfinissant le rôle du modèle brouillon. Au lieu de servir uniquement d'accélérateur approximatant la cible, le modèle brouillon agit comme un proposant complémentaire.

Les auteurs soulignent que cette approche est particulièrement pertinente pour les tâches où les sorties sont jugées par la justesse de la réponse (par exemple, mathématiques, code, questions-réponses factuelles) plutôt que par une adhésion stricte à la distribution cible. En déplaçant l'objectif de la « préservation de la distribution » vers l'« utilité finale de la tâche », CoSpec démontre qu'il est possible de briser le plafond de performance du modèle cible tout en maintenant des accélérations d'inférence substantielles. Ce travail suggère que les futurs systèmes de décodage spéculatif devraient se concentrer sur l'exploitation des forces non imbriquées des modèles par le biais d'un arbitrage appris plutôt que d'une imitation stricte.