FlashSpec: Adaptive Speculative Decoding with Online Bandit Draft Selection and Triton-Optimised Verification
FlashSpec은 온디바이스 검증을 위한 혁신적인 O(1) 어휘 크기 Triton GPU 커널과 동적 초안 모델 선택을 위한 온라인 밴딧 기반 메커니즘을 통해 타겟 모델의 분포를 정확하게 보존하면서, CPU 병목 현상과 수동 튜닝을 제거하고 LLM 추론을 크게 가속화하는 오픈 소스 적응형 투기적 디코딩 엔진입니다.