Kaczmarz Linear Attention
यह शोध पत्र काज़ार्क (Kaczmarz) लीनियर अटेंशन (KLA) को प्रस्तुत करता है, जो एक संशोधित गेटेड डेल्टानेट (Gated DeltaNet) है जो अपने अनुभवजन्य रूप से सीखे गए अपडेट गुणांक को सैद्धांतिक रूप से व्युत्पन्न, की-नॉर्म-नॉर्मलाइज्ड (key-norm-normalized) काज़ार्क स्टेप साइज से बदल देता है, जिसके परिणामस्वरूप मॉडल की संरचना या स्टेट शेप (state shape) को बदले बिना बेहतर परप्लेक्सिटी (perplexity), दीर्घ-संदर्भ स्थिरता (long-context stability) और डिकोडिंग दक्षता प्राप्त होती है।