कल्पना कीजिए कि आप एक बहुत बड़ी कहानी को याद करने की कोशिश कर रहे हैं ताकि आप अपने दोस्त को सुना सकें। आपके पास एक नोटबुक है जिसमें आप अब तक सुनी गई हर महत्वपूर्ण जानकारी लिख रहे हैं। कहानी जितनी बड़ी होगी, आपको उतने ही अधिक पन्नों की आवश्यकता होगी। अब, कल्पना कीजिए कि आपकी नोटबुक में जगह खत्म हो रही है, और आप एक बड़ी नोटबुक खरीदने का खर्च नहीं उठा सकते। इस समस्या को हल करने के लिए, आप अपनी लिखावट को छोटा करने का निर्णय लेते हैं। पूर्ण, स्पष्ट अक्षरों के बजाय, आप उन्हें केवल चार छोटे प्रतीकों का उपयोग करके घसीटकर लिखते हैं: एक बिंदु, एक डैश, एक वृत्त और एक क्रॉस। यह एक विशाल मात्रा में जानकारी को बहुत कम स्थान में संकुचित (compress) करने जैसा है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) में, इन नोटबुक्स को "KV कैशे" (Key-Value caches) कहा जाता है। ये बातचीत के संदर्भ (context) को संग्रहीत करते हैं ताकि AI याद रख सके कि पहले क्या कहा गया था। जैसे-जैसे बातचीत लंबी होती जाती है, ये कैशे विशाल होते जाते हैं, जो मेमोरी खा जाते हैं और काम को धीमा कर देते हैं। इसे ठीक करने के लिए, वैज्ञानिक डेटा को केवल 2 बिट्स (केवल चार स्तरों का उपयोग करके) में सिकोड़ने की कोशिश करते हैं। लेकिन इसमें एक पेच है: जब आप डेटा को इतना कसकर दबाते हैं, तो "आउटलेयर्स" (outliers)—यानी वे बहुत महत्वपूर्ण, असामान्य विवरण—गलत आकार में दब जाते हैं, और AI गलतियाँ करने लगता है। यह एक विशाल, ऊबड़-खाबड़ आलू को एक छोटे से डिब्बे में फिट करने जैसा है; आलू दब जाता है, और जब आप उसे बाहर निकालते हैं, तो वह वैसा नहीं दिखता जैसा आपने उसे डिब्बे में रखा था।

कुछ समय के लिए, शोधकर्ताओं ने आलू को सिकोड़ने से पहले उसे घुमाने (rotate करने) की कोशिश की, इस उम्मीद में कि उसके उभारों को समान रूप से फैलाया जा सके, लेकिन वे इसकी सफलता को इस आधार पर माप रहे थे कि डिब्बे के अंदर आलू कैसा दिखता है, न कि इस आधार पर कि AI बाद में कहानी सुनाने के लिए उसका उपयोग कितनी अच्छी तरह कर सकता है। यह पेपर एक नई विधि पेश करता है जिसे OptR (Output-Aware Rotation) कहा जाता है, जो खेल बदल देती है। केवल डेटा को अच्छा दिखाने के बजाय, OptR यह जांचता है कि क्या AI अभी भी कहानी को समझ सकता है यदि डेटा को सिकोड़ने और फिर से अन-सिकोड़ने (un-squish) के बाद इस्तेमाल किया जाए। यह पता चला है कि अंतिम परिणाम पर ध्यान देकर, AI बहुत अधिक सटीकता के साथ याद रख सकता है, यहाँ तक कि उस छोटे, चार-प्रतीक वाले नोटबुक के साथ भी।

समस्या: "सिकुड़ा हुआ आलू" प्रभाव (The "Squished Potato" Effect)

जब एक AI लंबा टेक्स्ट पढ़ता है, तो वह देखे गए शब्दों का एक मानसिक मानचित्र (mental map) बनाता है। यह मानचित्र KV कैशे में संग्रहीत होता है। स्थान बचाने के लिए, शोधकर्ता इस मानचित्र को सिकोड़ने के लिए क्वांटाइजेशन (quantization) नामक तकनीक का उपयोग करते हैं। इसका सबसे चरम संस्करण INT2 क्वांटाइजेशन है, जो डेटा को केवल चार संभावित मानों में बदल देता है। यह अविश्वसनीय रूप से कुशल है—मानक प्रारूपों की तुलना में केवल 1/8वीं मेमोरी का उपयोग करता है—लेकिन यह जोखिम भरा है।

कैशे में डेटा को छात्रों के एक समूह के रूप में सोचें जो एक पंक्ति में खड़े हैं। अधिकांश छात्र औसत ऊंचाई के हैं, लेकिन कुछ दिग्गज (giants) भी हैं। यदि आप उन सभी को एक छोटे कमरे (INT2 रेंज) में फिट करने की कोशिश करते हैं, तो दिग्गजों को कुचल दिया जाता है, और औसत छात्र भी दब जाते हैं क्योंकि कमरे में उनके लिए बहुत कम जगह है। इससे "क्वांटाइजेशन एरर" होता है, जहाँ AI दिग्गजों और औसत छात्रों दोनों को गलत तरीके से याद रखता है।

इसे ठीक करने के लिए, पिछले तरीकों ने रोटेशन (घुमाव) का उपयोग किया। कल्पना करें कि आप छात्रों की पंक्ति को इस तरह घुमा रहे हैं कि दिग्गज अब सीधे खड़े होने के बजाय तिरछे झुके हुए हैं। इससे उनकी ऊंचाई पूरे कमरे में फैल जाती है, जिससे उन्हें बिना कुचले फिट करना आसान हो जाता है। हालाँकि, यह पेपर तर्क देता है कि मौजूदा तरीके एक गलती कर रहे थे। वे छात्रों को सिर्फ इसलिए घुमा रहे थे ताकि वे कमरे के अंदर अच्छे से फिट हो सकें (स्टोरेज के भीतर त्रुटि को कम करना), लेकिन वे यह जाँच नहीं रहे थे कि क्या छात्र कमरे से बाहर निकलने के बाद सही ढंग से दौड़ पाएंगे या नहीं।

लेखक बताते हैं कि यहाँ एक बेमेल स्थिति है: वह रोटेशन जो डेटा को बॉक्स के अंदर सबसे अच्छा दिखाता है, वह आवश्यक रूप से वह रोटेशन नहीं है जो AI को उस डेटा का उपयोग करने के बाद सर्वश्रेष्ठ प्रदर्शन करने में मदद करता है। AI को इस बात से फर्क नहीं पड़ता कि कैशे के अंदर डेटा कैसा दिखता है; उसे इस बात से फर्क पड़ता है कि अंतिम उत्तर सही है या नहीं।

समाधान: OptR (Output-Aware Rotation)

यह पेपर OptR प्रस्तावित करता है, एक ऐसी विधि जो रोटेशन को AI के अंतिम आउटपुट के आधार पर अनुकूलित (optimize) करती है, न कि केवल स्टोरेज के आधार पर।

यहाँ बताया गया है कि OptR कैसे काम करता है, चरण-दर-चरण:

1. डेटा को केंद्रित करना (The "Leveling" Trick): डेटा को सिकोड़ने से पहले, OptR 'कीज़' (keys) से औसत मान को घटा देता है (जिसे "Key Reparameterization" कहा जाता है)। कल्पना कीजिए कि हमारी पंक्ति के दिग्गज वास्तव में एक ऊंचे मंच पर खड़े थे। OptR उस मंच को नीचे कर देता है ताकि हर कोई एक ही जमीन के स्तर पर खड़ा हो सके। इससे यह नहीं बदलता कि कौन लंबा है या कौन छोटा, लेकिन यह दिग्गजों को छोटे कमरे की छत से टकराने से रोकता है। महत्वपूर्ण रूप से, यह चरण "अटेंशन-इक्विवेलेंट" (attention-equivalent) है, जिसका अर्थ है कि यह संख्याओं को बदलता है लेकिन AI के अटेंशन फोकस को बिल्कुल वैसा ही रखता है। यह संख्याओं की रेंज को कम करता है, जिससे INT2 का दबाव बहुत कम हो जाता है।

2. परफेक्ट स्पिन सीखना (The "Output-Aware" Step): एक निश्चित स्पिन (जैसे एक मानक गणितीय रोटेशन) का उपयोग करने के बजाय, OptR मॉडल के हर एक "हेड" (AI के मस्तिष्क का एक विशिष्ट हिस्सा) के लिए एक कस्टम स्पिन सीखता है। यह पूरी प्रक्रिया का अनुकरण (simulate) करके ऐसा करता है: डेटा को सिकोड़ना, उसे अन-सिकोड़ना, इसे AI के अटेंशन मैकेनिज्म के माध्यम से चलाना, और फिर इसे अंतिम उत्तर तक पहुँचाना।

   • यह अंतिम उत्तर में त्रुटि (error) को देखता है (जिसे "post-WO attention-output error" कहा जाता है)।
   • यह इस त्रुटि को दो भागों में तोड़ता है: कीज़ (जो यह निर्धारित करती हैं कि AI किस पर ध्यान देता है) के कारण होने वाली त्रुटियां और वैल्यूज़ (जो यह निर्धारित करती हैं कि वास्तव में क्या जानकारी प्राप्त की जाती है) के कारण होने वाली त्रुटियां।
   • इसके बाद, यह रोटेशन एंगल्स को थोड़ा बदलकर अंतिम उत्तर में त्रुटि को कम करता है, न कि केवल स्टोरेज में त्रुटि को।

इसे रेडियो ट्यून करने जैसा समझें। पुराने तरीके स्पीकर बॉक्स के अंदर शोर (static) को यथासंभव शांत करने की कोशिश करते थे। OptR स्पीकर से आने वाले संगीत को सुनता है और नॉब्स को तब तक एडजस्ट करता है जब तक कि गाना एकदम सही न सुनाई देने लगे, भले ही बॉक्स के अंदर का शोर पूरी तरह से शांत न हो।

उन्होंने क्या पाया

शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स (Qwen3-4B, Qwen3-8B, और Phi4-14B) और पांच चुनौतीपूर्ण बेंचमार्क पर OptR का परीक्षण किया, जिसमें गणित की समस्याएं (AIME25), कोडिंग कार्य (LiveCodeBench), और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (64,000 शब्दों के ढेर में सुई ढूँढना) शामिल हैं।

परिणाम चौंकाने वाले थे:

• भारी सटीकता लाभ: Qwen3-8B मॉडल पर, पिछले सबसे अच्छे तरीके (QuaRot) के साथ मानक INT2 क्वांटाइजेशन का उपयोग करने पर, एक कठिन गणित परीक्षण पर सटीकता केवल 17.33% थी। जब उन्होंने इसमें OptR जोड़ा, तो सटीकता बढ़कर 66.67% हो गई। यह लगभग चार गुना सुधार है।
• बेसलिन को पछाड़ना: यहाँ तक कि स्टेट-ऑफ-द-आर्ट विधि (OSCAR) की तुलना में भी, जो पहले से ही काफी अच्छी थी, OptR ने सटीकता को 54.67% से बढ़ाकर 66.00% कर दिया।
• लॉन्ग-कॉन्टेक्स्ट सुपरपावर: सबसे प्रभावशाली खोज लॉन्ग-कॉन्टेक्स्ट कार्यों में थी। जैसे-जैसे कहानी लंबी होती गई (64,000 टोकन तक), मानक INT2 विधियाँ बुरी तरह विफल रहीं, और उनकी सटीकता शून्य के करीब पहुँच गई। OptR ने रिट्रीवल सटीकता को उच्च बनाए रखा, जो 4k टोकन पर 99.83% से घटकर 64k टोकन पर केवल 70.02% हुई, जबकि मानक तरीका 0.04% पर गिर गया।
• कोई स्पीड पेनल्टी नहीं: लेखकों ने पुष्टि की कि इस जादू के साथ कोई भारी लागत नहीं आती है। उन्होंने OptR को सिस्टम में एकीकृत किया और पाया कि यह नगण्य ओवरहेड जोड़ता है। AI की गति (latency) और डेटा प्रोसेस करने की क्षमता (throughput) मानक तरीकों के लगभग समान रही। यह एक अतिरिक्त वजन जोड़े बिना कार में सुपरचार्ज्ड इंजन पाने जैसा है।

यह क्यों महत्वपूर्ण है

यह पेपर सुझाव देता है कि अल्ट्रा-लो-बिट क्वांटाइजेशन (जैसे INT2) के काम करने के लिए, हम केवल डेटा को अलग-थलग होकर नहीं देख सकते। हमें यह देखना होगा कि वह डेटा पूरे सिस्टम के माध्यम से अंतिम उत्तर तक कैसे प्रवाहित होता है। स्टोरेज के बजाय आउटपुट के लिए अनुकूलित करके, OptR अत्यधिक संपीड़न (compression) और उच्च प्रदर्शन के बीच के अंतर को पाटता है।

लेखक इस बात पर जोर देते हैं कि यह केवल एक सैद्धांतिक जीत नहीं है; यह एक व्यावहारिक जीत है। यह AI मॉडल्स को मेमोरी खत्म होने की चिंता किए बिना बहुत लंबी बातचीत और उपयोगकर्ताओं के बड़े बैचों को संभालने की अनुमति देता है, और साथ ही मॉडल को कठिन गणित समस्याओं को हल करने और कोड लिखने के लिए स्मार्ट बनाए रखता है। उन्होंने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने इसे विभिन्न मॉडल्स पर मापा और निरंतर, महत्वपूर्ण सुधार पाया, जिससे यह साबित हुआ कि "आउटपुट-अवेयर" ऑप्टिमाइज़ेशन ही 2-बिट AI की पूरी क्षमता को अनलॉक करने की कुंजी है।