Beyond Scattered Acceptance: Fast and Coherent Inference for DLMs via Longest Stable Prefixes

Il paper presenta LSP, un nuovo scheduler di inferenza per i Modelli Linguistici Diffusivi che accelera la generazione del testo fino a 3,4 volte garantendo coerenza e stabilità attraverso l'assorbimento monolitico di prefissi contigui, risolvendo così i problemi di frammentazione della cache KV e di velocità tipici degli approcci esistenti.

Pengxiang Li, Joey Tsai, Hongwei Xue + 2 more2026-03-06💻 cs