An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
फ्लक्सियन (Fluxion) एक हाइब्रिड स्पार्स अटेंशन फ्रेमवर्क है जो आउटपुट-अवेयर KV बजटिंग, हेड-विशिष्ट स्पार्स कॉन्फ़िगरेशन और क्रॉस-डिवाइस समन्वित निष्पादन को सह-डिज़ाइन करके लंबी-संदर्भ (long-context) इन्फरेंस में उच्च सटीकता और महत्वपूर्ण गति प्राप्त करता है ताकि CPU-रेसिडेंट KV कैश की सीमाओं को दूर किया जा सके।