PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length

Résumé Technique : PACER : Pré-vérification par blocs pour le décodage spéculatif avec longueur adaptative

Énoncé du Problème
Les grands modèles de langage (LLM) souffrent d'une latence d'inférence significative en raison de leur nature autorégressive, qui est principalement contrainte par la bande passante mémoire plutôt que par les limites de calcul. Le décodage spéculatif (SD) remédie à cela en utilisant un modèle « draft » (brouillon) plus petit pour prédire plusieurs jetons à l'avance, qui sont ensuite vérifiés en parallèle par le modèle « cible » plus important. Cependant, les approches de SD existantes emploient généralement une taille de fenêtre de draft fixe ($\gamma$) tout au long du processus de décodage.

Les auteurs identifient une inefficacité critique dans cette approche à fenêtre fixe : le nombre optimal de jetons de draft varie considérablement selon les étapes de décodage.

• Fenêtres conservatrices : Une fenêtre fixe trop petite provoque l'arrêt prématuré du modèle de draft, manquant des opportunités de générer des jetons acceptés et imposant des passages avant inutiles et coûteux par le modèle cible.
• Fenêtres agressives : Une fenêtre fixe trop grande entraîne un gaspillage de calcul sur des jetons de draft qui seront finalement rejetés par le modèle cible.
  Les méthodes actuelles tentant d'adapter les tailles de fenêtre reposent souvent sur les sorties intrinsèques du modèle de draft (par exemple, les probabilités de jetons ou l'entropie), qui peuvent être peu fiables en raison d'un mauvais étalonnage et d'un excès de confiance des modèles. D'autres approches parallèles (par exemple, PEARL) luttent avec l'ordonnancement des ressources lorsque les modèles partagent le même appareil.

Méthodologie : PACER
Le papier propose PACER (Pre-verification for Adaptive Length), un cadre qui contrôle dynamiquement la taille de la fenêtre de draft à l'aide d'une couche de pré-vérification par blocs légère et entraînable.

1. Génération par blocs et pré-vérification : Au lieu de générer un nombre fixe de jetons, le modèle de draft génère des jetons par blocs de taille $b$. Après chaque génération de bloc, une couche de pré-vérification ($M_B$) analyse les états cachés du bloc ainsi que les plongements positionnels pour estimer la probabilité d'acceptation des jetons.
2. Critère d'arrêt adaptatif : Le système calcule le taux d'acceptation moyen estimé pour le bloc. Si ce taux tombe en dessous d'un seuil dynamique $t$, la génération du draft s'arrête, et les jetons accumulés sont envoyés au modèle cible pour une vérification formelle. Si le taux est élevé, le modèle de draft continue de générer le bloc suivant.
3. Seuil dynamique : Pour empêcher le modèle de draft de générer des séquences excessivement longues où la probabilité d'acceptation décroît naturellement, le seuil $t$ est augmenté par un facteur de croissance $\rho$ après chaque bloc réussi. Cela rend le critère d'arrêt progressivement plus strict à mesure que la longueur du draft augmente.
4. Entraînement : La couche de pré-vérification est entraînée à l'aide d'une perte d'entropie croisée standard. Les données d'entraînement sont construites en simulant le processus de décodage spéculatif sur le modèle cible pour étiqueter les jetons de draft comme « acceptés » ou « rejetés », assurant ainsi l'alignement entre l'entraînement et l'inférence. Pour améliorer l'efficacité, les données d'entraînement provenant de multiples étapes de décodage sont regroupées dans des séquences uniques avec des masques d'attention personnalisés.

Contributions Clés

• Analyse Systématique : Les auteurs fournissent des preuves empiriques montrant que les longueurs d'acceptation varient considérablement selon les étapes de décodage, démontrant qu'une taille de fenêtre fixe est sous-optimale et qu'un ajustement dynamique peut théoriquement offrir jusqu'à $1,4\times$ d'accélération.
• Cadre Novateur : PACER introduit un mécanisme de pré-vérification par blocs entraînable qui exploite le contexte informationnel et l'encodage positionnel pour déterminer dynamiquement la longueur de draft optimale, évitant ainsi de dépendre de mesures heuristiques peu fiables comme l'entropie.
• Compatibilité : Le cadre est conçu pour être orthogonal aux autres améliorations du décodage spéculatif, telles qu'Ouroboros (qui améliore la qualité du draft via la génération au niveau de la locution).
• Évaluation Complète : Des expériences approfondies sont menées sur plusieurs familles de modèles (DeepSeek-Coder, Llama-2, Qwen-2.5) et divers benchmarks (génération de code, raisonnement mathématique, résumé).

Résultats

• Accélération : PACER atteint jusqu'à $2,66\times$ d'accélération par rapport au décodage autorégressif classique et surpasse systématiquement le décodage spéculatif standard avec des tailles de fenêtre fixes sur tous les benchmarks testés.
• Intégration : Lorsqu'il est intégré à Ouroboros, PACER atteint une accélération de pointe de $3,09\times$ par rapport au décodage autorégressif sur le jeu de données GSM8K.
• Efficacité : La couche de pré-vérification ajoute un overhead minimal (environ $2,1\%$ du temps d'inférence total dans les expériences DeepSeek-Coder 1.3B/33B) tout en réduisant considérablement le nombre de passages avant du modèle cible.
• Études d'Ablation : L'étude confirme que les plongements positionnels et le facteur de croissance du seuil sont des composants critiques ; leur suppression entraîne une réduction des vitesses de décodage ou des longueurs de draft inefficaces.

Signification
Le papier affirme que PACER répond efficacement aux limites du décodage spéculatif à fenêtre fixe en introduisant un mécanisme piloté par les données et adaptatif. En régulant dynamiquement la longueur du draft grâce à la pré-vérification contextuelle, PACER minimise le gaspillage de calcul dû aux drafts rejetés et réduit l'overhead des passages fréquents de vérification par le modèle cible. Les auteurs positionnent PACER non pas comme un remplacement des techniques de génération de draft de haute qualité, mais comme une couche complémentaire qui optimise la longueur de la spéculation, débloquant ainsi de nouveaux gains de performance pour l'accélération de l'inférence des LLM.