FlashSpec: Adaptive Speculative Decoding with Online Bandit Draft Selection and Triton-Optimised Verification
FlashSpec es un motor de decodificación especulativa adaptativo y de código abierto que logra la preservación exacta de la distribución del modelo objetivo mediante un novedoso kernel de GPU Triton de tamaño de vocabulario O(1) para la verificación en el dispositivo y un mecanismo basado en bandits en línea para la selección dinámica del modelo de borrador, acelerando significativamente la inferencia de LLM al eliminar los cuellos de botella de la CPU y el ajuste manual.