ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding
Il paper presenta ReFusion, un modello di linguaggio basato sulla diffusione che supera i limiti computazionali e di coerenza dei modelli precedenti integrando la riorganizzazione della sequenza nel framework dell'attenzione causale, ottenendo così un decodifica parallelo con caching KV completo che garantisce sia un significativo aumento delle prestazioni rispetto ai modelli diffusion esistenti, sia un vantaggio di velocità rispetto ai modelli autoregressivi tradizionali.