FlashSpec: Adaptive Speculative Decoding with Online Bandit Draft Selection and Triton-Optimised Verification
FlashSpec est un moteur de décodage spéculatif adaptatif et open-source qui parvient à préserver la distribution exacte du modèle cible grâce à un nouveau noyau GPU Triton en O(1) lié à la taille du vocabulaire pour la vérification sur l'appareil et à un mécanisme en ligne basé sur les bandits pour la sélection dynamique du modèle de brouillon, accélérant considérablement l'inférence des LLM tout en éliminant les goulots d'étranglement du CPU et le réglage manuel.