🤖 machine learning

Do Transformers Need Three Projections? Systematic Study of QKV Variants

यह शोध पत्र व्यवस्थित रूप से यह प्रदर्शित करता है कि ट्रांसफॉर्मर्स में—विशेष रूप से Q-K=V वेरिएंट में—क्वेरी (query), की (key) और वैल्यू (value) प्रोजेक्शन को साझा करना, विजन और लैंग्वेज कार्यों में प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए इन्फरेंस मेमोरी और KV कैश आवश्यकताओं को महत्वपूर्ण रूप से कम करता है, जिससे कुशल ऑन-डिवाइस परिनियोजन सक्षम होता है।

मूल लेखक: Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ट्रांसफॉर्मर मॉडल (जो आधुनिक AI के पीछे का मस्तिष्क है) की कल्पना एक अत्यधिक कुशल लाइब्रेरियन के रूप में करें जो एक विशाल पुस्तक के आधार पर एक प्रश्न का उत्तर देने की कोशिश कर रहा है। ऐसा करने के लिए, लाइब्रेरियन किताब के हर शब्द के लिए तीन विशिष्ट उपकरणों का उपयोग करता है:

क्वेरी (Query - Q): एक प्रश्न कार्ड जो पूछता है, "मैं क्या खोज रहा हूँ?"
की (Key - K): पुस्तक की रीढ़ (spine) पर लगा एक लेबल यह देखने के लिए कि क्या वह प्रश्न से मेल खाता है।
वैल्यू (Value - V): यदि मिलान अच्छा है, तो पढ़ने के लिए वास्तविक पृष्ठ की सामग्री।

पारंपरिक रूप से, लाइब्रेरियन इन तीनों चरणों के लिए हर एक शब्द के लिए एक बिल्कुल नया, अद्वितीय उपकरण बनाता है। यह मानक "QKV" सेटअप है। यह बहुत अच्छा काम करता है, लेकिन यह भारी है। लाइब्रेरियन को हर शब्द के लिए तीन भारी टूलकिट ले जानी पड़ती है, जिससे उनके बैकपैक (मेमोरी) में बहुत जगह घेर ली जाती है और उनकी गति धीमी हो जाती है।

यह पेपर एक सरल, साहसी प्रश्न पूछता है: "क्या हमें वास्तव में तीन अलग-अलग उपकरणों की आवश्यकता है, या क्या हम उन्हें मिला सकते हैं?"

शोधकर्ताओं ने लाइब्रेरियन के टूलकिट को सरल बनाने के तीन तरीकों का परीक्षण किया:

तीन प्रयोग

1. "एक ही प्रश्न, एक ही लेबल" दृष्टिकोण (Q = K - V)

विचार: लाइब्रेरियन प्रश्न पूछने और लेबल चेक करने के लिए एक ही उपकरण का उपयोग करता है। वे अभी भी पेज पढ़ने के लिए एक अलग उपकरण का उपयोग करते हैं।
परिणाम: यह सबसे बड़ा विजेता है। यह पता चला कि "प्रश्न" और "लेबल" उपकरण इतने समान हैं कि वे बिना प्रदर्शन को नुकसान पहुँचाए एक ही वस्तु हो सकते हैं।
लाभ: अब लाइब्रेरियन को तीन के बजाय केवल दो उपकरण ले जाने की आवश्यकता है। यह "लेबल" और "पेज" को स्टोर करने के लिए आवश्यक मेमोरी को आधा कर देता है। यह ऐसा है जैसे यह महसूस करना कि आप अपने बाएं हाथ का उपयोग नक्शा पकड़ने और मंजिल की ओर इशारा करने, दोनों के लिए कर सकते हैं, जिससे आपको दूसरा नक्शा ले जाने की ज़रूरत नहीं पड़ती।

2. "एक ही प्रश्न, एक ही पेज" दृष्टिकोण (Q - K = V)

विचार: लाइब्रेरियन लेबल और पेज की सामग्री के लिए एक ही उपकरण का उपयोग करता है, लेकिन एक अलग प्रश्न उपकरण रखता है।
परिणाम: यह भी अच्छा काम करता है, लेकिन भाषा संबंधी कार्यों के लिए यह पहले विकल्प की तुलना में थोड़ा कम कुशल है। यह ऐसा है जैसे एक ही चाबी का उपयोग दरवाजा खोलने और तिजोरी खोलने के लिए करना, जो चतुर है, लेकिन खोज की दिशा को सही रखने के लिए "प्रश्न" उपकरण को अद्वितीय होना चाहिए।

3. "सब कुछ के लिए एक ही उपकरण" दृष्टिकोण (Q = K = V)

विचार: लाइब्रेरियन एक प्रश्न पूछने, एक लेबल चेक करने और एक पेज पढ़ने के लिए केवल एक एकल उपकरण का उपयोग करने की कोशिश करता है।
परिणाम: यह भाषा कार्यों के लिए एक तबाही है। यह एक हथौड़े का उपयोग एक साथ प्रश्न पूछने, लेबल चेक करने और किताब पढ़ने के लिए करने जैसा है। AI भ्रमित हो जाता है क्योंकि वह "मैं क्या खोज रहा हूँ" को "मुझे क्या मिला" से अलग करने की क्षमता खो देता है। प्रदर्शन में काफी गिरावट आती है।

यह क्यों मायने रखता है: "बैकपैक" की समस्या

इस पेपर का सबसे रोमांचक हिस्सा यह नहीं है कि यह AI को स्मार्ट कैसे बनाता है; बल्कि यह है कि यह इसे हल्का कैसे बनाता है।

जब एक AI टेक्स्ट जेनरेट करता है (जैसे कहानी लिखना या चैट का उत्तर देना), तो उसे अब तक लिखे गए हर शब्द को याद रखना होता है। इस मेमोरी को KV कैश (KV Cache) कहा जाता है।

मानक AI: "लेबल" और "पेज" के लिए अलग-अलग कंपार्टमेंट के साथ एक भारी बैकपैक ले जाता है।
नया AI (Q-K=V): एक ऐसा बैकपैक ले जाता है जहाँ "लेबल" और "पेज" एक ही कंपार्टमेंट में मर्ज कर दिए गए हैं।

वास्तविक दुनिया का प्रभाव:

दोगुनी मेमोरी: क्योंकि बैकपैक हल्का है, आप मेमोरी खत्म हुए बिना AI की मेमोरी में दोगुने शब्द समा सकते हैं।
सस्ते सर्वर: यदि आप एक कंपनी चला रहे हैं जो AI का उपयोग करती है, तो आप कंप्यूटरों की समान संख्या पर दोगुने ग्राहकों को सेवा दे सकते हैं। पेपर गणना करता है कि इससे कंपनियों को हर महीने हजारों डॉलर की बचत हो सकती है।
फोन पर चलना: यह दक्षता शक्तिशाली AI मॉडल को डेटा सेंटर में विशाल सुपरकंप्यूटर के बजाय सीधे आपके फोन या एक छोटे एज डिवाइस पर चलाना बहुत अधिक वास्तविक बनाती है।

"डबल डिप" बोनस

पेपर ने यह भी खोजा कि यह नया "हल्का बैकपैक" वाला ट्रिक हेड शेयरिंग (Head Sharing) नामक एक अन्य मौजूदा ट्रिक (जो Llama 2 और Mistral जैसे मॉडल में उपयोग किया जाता है) के साथ पूरी तरह से काम करता है।

हेड शेयरिंग कम लाइब्रेरियन रखने और उन्हें अधिक मेहनत कराने जैसा है।
प्रोजेक्शन शेयरिंग (इस पेपर का विचार) प्रत्येक लाइब्रेरियन के टूलकिट को छोटा बनाने जैसा है।

जब आप इन दोनों को मिलाते हैं, तो आपको एक बड़ी जीत मिलती। शोधकर्ताओं ने दिखाया कि इन दोनों तरीकों को मिलाकर, आप मेमोरी की आवश्यकता को 97% तक कम कर सकते हैं। यह छोटे उपकरणों पर AI चलाने के लिए "होली ग्रेल" (परम लक्ष्य) है।

सारांश

पेपर साबित करता है कि मानक AI डिज़ाइन थोड़ा ओवर-इंजीनियर्ड है। "प्रश्न" और "लेबल" उपकरणों को एक में मर्ज करके, हम बिना बुद्धिमत्ता खोए मेमोरी लागत को आधा कर सकते हैं। यह एक सरल बदलाव है जो AI को तेज़, सस्ता और आपके जेब वाले डिवाइस पर चलने के लिए तैयार बनाता है।

तकनीकी सारांश: क्या ट्रांसफॉर्मर्स को तीन प्रोजेक्शन की आवश्यकता है?

समस्या विवरण

ट्रांसफॉर्मर आर्किटेक्चर की शुरुआत के बाद से, क्वेरी (Query), की (Key), और वैल्यू (Value) (QKV) अटेंशन मैकेनिज्म अनुक्रमों (sequences) में सूचना को एकत्रित करने के लिए एक मानक बन गया है। हालांकि, इन घटकों के लिए तीन अलग-अलग, स्वतंत्र लीनियर प्रोजेक्शन बनाए रखने की आवश्यकता अभी भी एक खुला प्रश्न है। जबकि CNN और स्टेट स्पेस मॉडल्स (SSMs) जैसे अन्य आर्किटेक्चर अक्सर अधिक एकीकृत आंतरिक प्रतिनिधित्व (unified internal representations) का उपयोग करते हैं, ट्रांसफॉर्मर इस त्रिपक्षीय संरचना पर बने रहते हैं। जैसे-जैसे कॉन्टेक्स्ट विंडो का विस्तार हो रहा है और रियल-टाइम इन्फरेंस (inference) की मांग बढ़ रही है, अनुसंधान समुदाय सेल्फ-अटेंशन की क्वाड्रेटिक बाधा (quadratic bottleneck) को कम करने के लिए आर्किटेक्चरल दक्षता पर ध्यान केंद्रित कर रहा है। यह शोध जांच करता है कि क्या तीन प्रोजेक्शन वास्तव में आवश्यक हैं या क्या वे एक ऐसी रेडंडेंसी (redundancy) का प्रतिनिधित्व करते हैं जिसे प्रदर्शन में महत्वपूर्ण गिरावट के बिना पैरामीटर काउंट और अधिक महत्वपूर्ण रूप से, इन्फरेंस मेमोरी ओवरहेड को कम करने के लिए कम किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक तीन "प्रोजेक्शन-शेयरिंग" (Projection-Sharing) बाधाओं का प्रस्ताव करते हैं और व्यवस्थित रूप से मूल्यांकन करते हैं जो अटेंशन मैकेनिज्म में सीखे गए रूपांतरणों की संख्या को क्रमिक रूप से कम करती हैं:

Q=K-V (एकीकृत क्वेरी-की): क्वेरी और की प्रोजेक्शन को एकीकृत ( $Q=K$ ) किया जाता है, जबकि वैल्यू प्रोजेक्शन अलग रहता है। इसके परिणामस्वरूप एक सिमेट्रिक (symmetric) अटेंशन मैट्रिक्स ( $KK^T$ ) प्राप्त होता है। अनुक्रमिक कार्यों (sequential tasks) में सिमेट्री की सीमाओं को दूर करने के लिए, लेखक एक वेरिएंट $(Q=K-V)^+$ पेश करते हैं जो 2D पोजीशनल एनकोडिंग के माध्यम से एसिमेट्री (asymmetry) को इंजेक्ट करता है।
Q-K=V (एकीकृत की-वैल्यू): की और वैल्यू प्रोजेक्शन को एकीकृत ( $K=V$ ) किया जाता है, जबकि क्वेरी अलग रहती है। यह एसिमेट्रिक अटेंशन मैप्स ( $QK^T$ ) को बनाए रखता है और कीज़ और वैल्यूज़ के बीच वेट-टाईंग (weight tying) का एक रूप लागू करता है।
Q=K=V (सिंगल प्रोजेक्शन): तीनों भूमिकाएं एक ही प्रोजेक्शन मैट्रिक्स साझा करती हैं। यह पहले वेरिएंट की सिमेट्री को दूसरे वेरिएंट के रिप्रेजेंटेशनल बॉटलनेक (representational bottleneck) के साथ जोड़ता है।

अध्ययन मौजूदा "हेड-शेयरिंग" (Head-Sharing) तकनीकों जैसे ग्रुपड क्वेरी अटेंशन (GQA) और मल्टी-क्वेरी अटेंशन (MQA) के साथ इन प्रोजेक्शन-शेयरिंग रणनीतियों की ऑर्थोगोनैलिटी (orthogonality) की भी जांच करता है। लेखक यह परिकल्पना करते हैं कि प्रोजेक्शन शेयरिंग (K=V को बाधित करना) को हेड शेयरिंग (KV हेड्स की संख्या कम करना) के साथ जोड़ने से मेमोरी दक्षता में संयुक्त लाभ मिल सकता है।

प्रयोग 12 विविध कार्यों पर किए गए:

सिंथेटिक रीजनिंग: लिस्ट मैनिपुलेशन (Reverse, Sort, Sub, Swap, Copy) से जुड़े पांच कार्य।
कंप्यूटर विजन: MNIST, FashionMNIST, CIFAR-10, CIFAR-100, और TinyImageNet पर इमेज क्लासिफिकेशन, साथ ही सेट एनोमली डिटेक्शन और सिमेंटिक सेगमेंटेशन।
लैंग्वेज मॉडलिंग: SlimPajama डेटासेट से 10 बिलियन टोकन पर 300M और 1.2B पैरामीटर वाले GPT-स्टाइल मॉडल्स का प्री-ट्रेनिंग।

मुख्य परिणाम

1. प्रदर्शन बनाम दक्षता ट्रेड-ऑफ (Performance vs. Efficiency Trade-offs)

Q-K=V (इष्टतम संतुलन): यह वेरिएंट स्पष्ट विजेता के रूप में उभरा। लैंग्वेज मॉडलिंग में, इसने KV कैश के आकार में 50% की कमी हासिल की, जबकि केवल 3.1% की परप्लेक्सिटी गिरावट (300M मॉडल्स के लिए) और 2.48% (1.2B मॉडल्स के लिए) हुई। इसने विजन और सिंथेटिक कार्यों पर प्रतिस्पर्धी प्रदर्शन बनाए रखा।
Q=K-V (सिमेट्री सीमा): हालांकि इस वेरिएंट ने बेसलाइन के समान ट्रेनिंग क्वालिटी हासिल की, लेकिन इसने इन्फरेंस मेमोरी में शून्य लाभ दिया क्योंकि इसमें अभी भी अलग K और V टेंसर को कैश करने की आवश्यकता होती है। इसके अलावा, सिमेट्रिक अटेंशन मैप्स ने कॉज़ल लैंग्वेज मॉडलिंग में इसकी प्रभावशीलता को सीमित कर दिया, जिसके परिणामस्वरूप 4.9% परप्लेक्सिटी गिरावट आई।
Q=K=V (ओवर-कंस्ट्रेंड): इस आक्रामक सरलीकरण के कारण प्रदर्शन में भारी गिरावट (लैंग्वेज मॉडलिंग में 25.4% परप्लेक्सिटी गिरावट) आई, जो यह दर्शाता है कि तीनों भूमिकाओं के लिए एक ही प्रोजेक्शन को मजबूर करना जटिल कार्यों के लिए बहुत अधिक प्रतिबंधात्मक है।

2. हेड शेयरिंग के साथ सिनर्जी (Synergy with Head Sharing)

अध्ययन प्रदर्शित करता है कि प्रोजेक्शन शेयरिंग और हेड शेयरिंग पूरी तरह से पूरक (complementary) हैं।

Q-K=V को GQA-4 (4 ग्रुप्स) के साथ मिलाने से 3.9% परप्लेक्सिटी गिरावट के साथ 87.5% कैश रिडक्शन हुआ।
Q-K=V को MQA (1 ग्रुप) के साथ मिलाने से 4.8% परप्लेक्सिटी गिरावट के साथ 96.9% कैश रिडक्शन प्राप्त हुआ।
1.2B स्केल पर, Q-MQA कॉन्फ़िगरेशन ने (32k कॉन्टेक्स्ट के लिए 5.9 GB से 88 MB प्रति यूजर तक) KV कैश को 67 गुना कम कर दिया, जबकि डाउनस्ट्रीम टास्क एक्यूरेसी में बेसलाइन के लगभग बराबर बना रहा।

3. स्केलिंग व्यवहार (Scaling Behavior)

मॉडल का आकार 300M से बढ़कर 1.2B पैरामीटर होने पर भी वेरिएंट्स की सापेक्ष रैंकिंग स्थिर रही। विशेष रूप से, बड़े मॉडल प्रोजेक्शन बाधाओं के प्रति थोड़े अधिक मजबूत (robust) दिखाई दिए, जिसमें Q-K=V के लिए परप्लेक्सिटी गिरावट 300M पर 3.1% से घटकर 1.2B पर 2.48% हो गई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रोजेक्शन शेयरिंग वेट-टाईंग (weight tying) का एक अल्प-अन्वेषित उदाहरण है जो सीधा, मापने योग्य इन्फरेंस मेमोरी लाभ प्रदान करता है, जो विशेष रूप से एज डिप्लॉयमेंट और लॉन्ग-कॉन्टेक्स्ट अनुप्रयोगों के लिए मूल्यवान है।

Q-K=V क्यों काम करता है: लेखक तर्क देते हैं कि कीज़ और वैल्यूज़ समान रिप्रेजेंटेशनल स्पेस में रह सकते हैं, और अटेंशन प्रभावी ढंग से एक लो-रैंक रिजीम (low-rank regime) में काम करता है जहाँ K और V के बीच का अंतर Q और साझा K-V प्रतिनिधित्व के बीच की एसिमेट्री की तुलना में कम महत्वपूर्ण है। एम्पिरिकल विश्लेषण ने स्टैंडर्ड K और V प्रोजेक्शन मैट्रिसेस के बीच उच्च कोसाइन सिमिलैरिटी (0.73) दिखाई, जो अंतर्निहित रेडंडेंसी का सुझाव देती है।
Q=K-V क्यों विफल होता है: $Q=K$ को मजबूर करने से सिमेट्रिक अटेंशन मैप्स बनते हैं, जो कॉज़ल डिपेंडेंसी के लिए आवश्यक दिशात्मकता (directionality) को तोड़ देता है।
व्यावहारिक प्रभाव: मुख्य योगदान केवल पैरामीटर रिडक्शन (एक मामूली ~7-14% कुल मॉडल साइज रिडक्शन) नहीं है, बल्कि KV कैश मेमोरी में 50% की कमी है। यह सक्षम बनाता है:
- समान मेमोरी बजट के लिए 2× लंबे कॉन्टेक्स्ट विंडोज़।
- समान GPU पर 2× अधिक थ्रूपुट (कन्करेंट यूजर्स)।
- महत्वपूर्ण लागत में कमी (जैसे, एक कोड कंप्लीशन मॉडल के लिए अनुमानित 43% सर्विंग कॉस्ट में कमी)।

लेखक निष्कर्ष निकालते हैं कि हालांकि कोई भी एकल आर्किटेक्चर सभी डोमेन में नहीं जीतता है, Q-K=V कॉन्फ़िगरेशन अनुक्रमिक कार्यों के लिए सबसे अच्छा क्वालिटी-एफिशिएंसी ट्रेड-ऑफ प्रदान करता है, और हेड-शेयरिंग तकनीकों के साथ इसका संयोजन बिलियन-पैरामीटर मॉडल्स के लिए व्यावहारिक ऑन-डिवाइस इन्फरेंस को सक्षम करता है। आगे के शोध को सुगम बनाने के लिए कोड सार्वजनिक रूप से उपलब्ध है।