Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
यह शोध पत्र कर्नेलाइज़्ड लीनियर अटेंशन (KATA) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो लीनियर अटेंशन में क्षमता-हस्तक्षेप ट्रेडऑफ (capacity-interference tradeoff) को हल करने के लिए सिमेट्रिक कोन्स और रैंक-वन PSD फीचर्स का लाभ उठाता है, जिससे कम KV-कैश ओवरहेड के साथ निकट-पूर्ण दीर्घ-रेंज प्रदर्शन बनाए रखते हुए बेहतर एसोसिएटिव रिकॉल और FlashAttention-2 की तुलना में काफी अधिक थ्रूपुट प्राप्त होता है।