Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match

1. Énoncé du problème

Les modèles de langage de grande taille (LLM) souffrent d'une forte latence d'inférence due à leur processus de génération autoregressive. La décodage spéculatif (SPD) est une technique d'accélération standard où un petit modèle « brouillon » propose des jetons qu'un modèle « cible » plus grand vérifie en parallèle. Cependant, le SPD standard repose sur une règle stricte de correspondance exacte : si le jeton brouillon ne correspond pas parfaitement à la prédiction du modèle cible, le brouillon est rejeté et le processus revient au modèle cible.

Cette rigidité cause deux problèmes principaux :

1. Jetons sémantiquement valides gaspillés : De nombreux jetons brouillons sont sémantiquement corrects mais formulés différemment (par exemple, synonymes, structures grammaticales différentes) de la prédiction principale de la cible. Le rejet strict élimine ces jetons, limitant l'accélération.
2. Mauvaise généralisation des méthodes basées sur l'entraînement : Les méthodes SPD « lâches » existantes (par exemple, EAGLE-3, JudgeDecoding) utilisent souvent des classificateurs auxiliaires entraînés sur des données spécifiques pour juger de la validité sémantique. Ces méthodes subissent une dégradation significative des performances sur les tâches hors distribution (OOD) car les classificateurs entraînés échouent à généraliser à des domaines non vus.

2. Méthodologie : FLy (Décodage Spéculatif Lâche Sans Entraînement)

FLy propose une approche sans entraînement qui assouplit le critère de vérification en exploitant le comportement propre du modèle cible pour distinguer les « erreurs inoffensives » (sémantiquement valides) des « erreurs réelles ». Elle introduit un mécanisme à deux niveaux et une stratégie d'accélération multi-niveaux.

A. Mécanisme de vérification à deux niveaux

Au lieu d'un rejet immédiat en cas de non-correspondance, FLy emploie une stratégie de report conditionnel :

1. Porte au niveau de l'entropie (Détection d'ambiguïté) :

   • Lorsqu'une non-correspondance se produit à la position du jeton $j$, FLy calcule l'entropie normalisée ($h_j$) de la distribution de prédiction du modèle cible à cette position.
   • Entropie faible ($h_j < \theta$) : Le modèle cible est confiant (par exemple, dans le calcul arithmétique ou le rappel factuel). La non-correspondance est traitée comme une erreur probable et rejetée immédiatement (comportement SPD standard).
   • Entropie élevée ($h_j \ge \theta$) : Le modèle cible est incertain, impliquant l'existence de plusieurs alternatives plausibles (par exemple, pronoms, synonymes). Le système active une fenêtre de report au niveau du jeton.

2. Fenêtre de report au niveau du jeton (Surveillance comportementale) :

   • Si la porte autorise le report, FLy surveille les $W$ jetons suivants (fenêtre de regard en avant).
   • Logique : Les LLM ont tendance à manifester un comportement d'auto-correction lorsqu'ils sont conditionnés par un jeton véritablement erroné (ils divergeront à nouveau pour corriger l'erreur). À l'inverse, si le jeton brouillon est sémantiquement valide mais simplement formulé différemment, le modèle cible continuera probablement à générer sans divergence supplémentaire.
   • Décision :
     • Si aucune autre non-correspondance ne se produit dans la fenêtre $W$, la non-correspondance initiale est jugée sémantiquement valide et acceptée.
     • Si une autre non-correspondance se produit, cela signale que la cible tente de corriger une erreur ; le jeton initial est rejeté rétroactivement.
   • Gestion des limites : Si la non-correspondance se produit près de la fin de la séquence brouillon (où la fenêtre ne peut pas être entièrement remplie), le jeton est rejeté de manière conservatrice pour préserver la précision.

B. Accélération multi-niveaux (MLA)

En acceptant plus de jetons, le nombre moyen de jetons acceptés ($\tau$) augmente considérablement. Cela déplace le goulot d'étranglement computationnel de la phase de vérification du modèle cible vers la phase de génération du modèle brouillon.

• Pour y remédier, FLy intègre le Décodage par Recherche d'Invite (PLD) pour accélérer le modèle brouillon lui-même.
• Cela crée un schéma d'Accélération Multi-Niveaux : les jetons brouillons sont générés plus rapidement (via PLD) et le modèle cible les vérifie plus efficacement (via l'acceptation lâche de FLy), empêchant l'étape de rédaction de devenir le nouveau goulot d'étranglement.

3. Contributions clés

• Conception sans entraînement : Contrairement à EAGLE ou JudgeDecoding, FLy ne nécessite aucun entraînement supplémentaire, aucun fine-tuning ni aucune donnée annotée. Elle est prête à l'emploi et indépendante du modèle.
• Vérification sémantique : Elle va au-delà de la correspondance exacte de jetons pour accepter des continuations sémantiquement correctes en analysant l'entropie du modèle cible et son comportement de génération subséquent.
• Robustesse face aux OOD : Parce qu'elle ne repose pas sur des classificateurs supervisés entraînés sur des distributions spécifiques, FLy maintient des performances élevées sur des domaines et des tâches diversifiés là où les méthodes basées sur l'entraînement échouent.
• Accélération duale : Elle accélère de manière unique à la fois le modèle cible (via une vérification lâche) et le modèle brouillon (via PLD), optimisant l'ensemble du pipeline.

4. Résultats expérimentaux

Les expériences ont été menées sur les modèles Llama-3.1-70B et Llama-3.1-405B sur des ensembles de données en distribution (ID) et hors distribution (OOD) (par exemple, MGSM, NIAH, HumanEval).

• Performance d'accélération :
  • Llama-3.1-70B : A atteint une accélération moyenne de 2,81× (jusqu'à 5,07× sur des tâches spécifiques) sur les ensembles de données OOD, surpassant l'état de l'art basé sur l'entraînement EAGLE-3 de 1,62×.
  • Llama-3.1-405B : A atteint une accélération massive de 5,07×.
  • En distribution : A atteint une accélération de 2,69×, surpassant EAGLE-2 de 1,05×.
• Préservation de la précision : FLy préserve ≥99 % de la précision du modèle cible sur tous les ensembles de données et toutes les échelles, égalant les performances des méthodes lâches basées sur l'entraînement comme JudgeDecoding.
• Généralisation : La méthode fonctionne de manière transparente avec des paires brouillon-cible arbitraires (par exemple, rédacteur Qwen + cible Mistral) sans réentraînement.
• Efficacité : La surcharge computationnelle de la porte d'entropie et de la logique de fenêtre est négligeable par rapport aux coûts d'inférence.

5. Importance

FLy représente un changement de paradigme dans le décodage spéculatif en prouvant que les méthodes sans entraînement peuvent surpasser les méthodes basées sur l'entraînement, en particulier dans des scénarios réels impliquant des décalages de distribution.

• Praticité : Elle élimine le coût prohibitif de l'entraînement de modèles brouillons spécialisés pour chaque nouvelle cible ou domaine.
• Évolutivité : Elle est particulièrement efficace pour les modèles massifs (par exemple, 405 milliards de paramètres) où l'entraînement d'un rédacteur dédié est souvent irréalisable.
• Compréhension sémantique : En exploitant la nature d'auto-correction du modèle cible, FLy « comprend » efficacement que des mots différents peuvent signifier la même chose, débloquant des accélérations que les algorithmes de correspondance stricte ne peuvent pas atteindre.

En résumé, FLy offre une solution robuste, haute performance et universellement applicable à la latence d'inférence des LLM, atteignant des accélérations à l'état de l'art tout en maintenant des garanties de précision strictes sans besoin de données d'entraînement supplémentaires.