FlashSpec: Adaptive Speculative Decoding with Online Bandit Draft Selection and Triton-Optimised Verification
FlashSpec 是一个开源的自适应投机解码引擎,它通过一种用于设备端验证的新型 词表大小 Triton GPU 核函数,以及一种用于动态草稿模型选择的在线多臂老虎机机制,实现了对目标模型分布的精确保持,在显著加速大语言模型(LLM)推理的同时,消除了 CPU 瓶颈和人工调优的需求。