Joint Optimization of Retrieval-Augmented KV Caching and Adaptive Speculative Decoding for Autoregressive Generation
Questo articolo presenta RAKV-ASD, un sistema che ottimizza congiuntamente il caching KV con recupero aumentato e la decodifica speculativa adattiva tramite un controller appreso per selezionare dinamicamente le lunghezze dei draft, ottenendo miglioramenti significativi in termini di latenza e throughput rispetto alle strategie fisse, mantenendo al contempo l'equivalenza esatta dell'output rispetto alla decodifica standard.