SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models
यह शोध पत्र SPA-Cache को प्रस्तुत करता है, जो डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक नवीन कैशिंग फ्रेमवर्क है, जो कुशल अपडेट पहचान के लिए एक लो-डायमेंशनल सिंगुलर प्रॉक्सी और नॉन-कॉज़ल सीमाओं को दूर करने के लिए एक एडेप्टिव बजट एलोकेशन स्ट्रैटेजी का उपयोग करता है, जिससे वैनिला डिकोडिंग की तुलना में 8x तक थ्रूपुट सुधार और मौजूदा बेसलाइन्स की तुलना में 2-4x की गति वृद्धि प्राप्त होती है।