Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning
यह शोध पत्र ReCo को प्रस्तुत करता है, जो एक रिवॉर्ड-कोऑर्डिनेटेड फ्रेमवर्क है जो KV-कैश संपीड़न (compression) को गतिशील रूप से समायोजित करके, अनावश्यक प्रतिबिंबों (reflections) को नियंत्रित करके, और प्रोसेस रिवार्ड्स के आधार पर अर्ली स्टॉपिंग को सक्षम करके लार्ज रीजनिंग मॉडल्स को अनुकूलित करता है, जिससे सटीकता बनाए रखते हुए इन्फरेंस लागत और विलंबता (latency) को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक अत्यंत बुद्धिमान रोबोट की कल्पना करें जो खुद से बात करके कठिन पहेलियों को हल करता है। वह केवल अनुमान नहीं लगाता; वह उत्तर देने से पहले अपनी सोचने की प्रक्रिया का, चरण-दर-चरण, एक विस्तृत और लंबी कहानी के रूप में विवरण लिखता है। आधुनिक "लार्ज रीजनिंग मॉडल्स" (Large Reasoning Models) इसी तरह काम करते हैं। वे उन शानदार जासूसों की तरह हैं जो तब तक मामला सुलझाने से इनकार कर देते हैं जब तक कि वे हर एक सुराग, हर एक गलत दिशा और हर एक "अहा!" वाले क्षण को विस्तार से लिख न लें। समस्या यह है कि यह जासूस थोड़ा अधिक बातूनी हो जाता है। कभी-कभी "2+2 क्या है?" जैसे सरल प्रश्न के लिए भी, वह "4" उत्तर देने से पहले गणित के इतिहास के बारे में एक उपन्यास जितनी लंबी निबंध लिख देता है। यह "जरूरत से ज्यादा सोचना" (overthinking) भारी मात्रा में कंप्यूटर मेमोरी और समय का उपयोग करता है, जिससे रोबोट को चलाना धीमा और महंगा हो जाता है।
इसे ठीक करने के लिए, वैज्ञानिकों ने रोबोट की मेमोरी को अधिक कुशल बनाने की कोशिश की है। रोबोट की मेमोरी को एक व्हाइटबोर्ड की तरह समझें जहाँ वह अपने विचार लिखता है। जैसे-जैसे रोबोट अधिक समय तक सोचता है, व्हाइटबोर्ड भर जाता है। एक सामान्य तरकीब यह है कि जगह बनाने के लिए सबसे पुराने, "कम महत्वपूर्ण" नोट्स को मिटा दिया जाए। इसे "केवी-कैश कंप्रेशन" (KV-cache compression) कहा जाता है। हालांकि, इस नए शोध पत्र के पीछे के शोधकर्ताओं ने देखा कि इस मिटाने के तरीके में एक खामी थी। उन्होंने पाया कि यदि आप गलत नोट्स मिटा देते हैं, तो रोबकार भ्रमित हो जाता है और चीजों को समझने के लिए और भी अधिक बातें करने लगता है, जो उस समय की बचत को रद्द कर देता है जो आपने नोट्स मिटाकर की थी। यह बिल्कुल वैसा ही है जैसे किसी रेसिपी के कुछ चरणों को छोड़ देकर समय बचाने की कोशिश करना, लेकिन फिर यह महसूस करना कि आप एक मुख्य सामग्री भूल गए हैं और अब आपको पूरा व्यंजन फिर से शुरू करना पड़ेगा।
यह शोध पत्र इस उलझी हुई समस्या को हल करने के लिए ReCo (रिवॉर्ड-कोऑर्डिनेटेड कंप्रेशन) नामक एक नई प्रणाली पेश करता है। साधारण नोट्स को बेतरतीब ढंग से मिटाने या सभी के लिए एक निश्चित नियम का उपयोग करने के बजाय, ReCo रोबोट के बगल में खड़े एक बुद्धिमान कोच की तरह कार्य करता है। रोबोट द्वारा उठाए गए हर एक कदम के बाद, कोच पूछता है: "आप इस बात को लेकर कितने आश्वस्त हैं कि आप सही रास्ते पर हैं?" यदि रोबोट बहुत अच्छा कर रहा है और एक ठोस पथ पर है (एक "उच्च-इनाम" वाला चरण), तो कोच कहता है, "आप बहुत अच्छा कर रहे हैं, आपको हर एक पुराना नोट रखने की आवश्यकता नहीं है। आइए जगह बचाने के लिए कुछ मिटाते हैं।" लेकिन यदि रोबोट संघर्ष कर रहा है या नए विचारों की खोज कर रहा है (एक "कम-इनाम" वाला चरण), तो कोच कहता है, "रुको, आपको अभी अपने सभी नोट्स की आवश्यकता है; कुछ भी मत मिटाओ।"
चतुर हिस्सा यह है कि यही "आत्मविश्वास स्कोर" दो काम एक साथ करता है। पहला, यह तय करता है कि कितनी मेमोरी रखनी है या मिटानी है। दूसरा, यह रोबोट को ज्यादा सोचने से रोकता है। यदि रोबोट आत्मविश्वासी है और सही रास्ते पर है, तो कोच उसे बिना ज्यादा बोले सीधे उत्तर देने के लिए प्रेरित करता है। यदि वह अभी भी भ्रमित है, तो कोच उसे सोचने और खोजने की अनुमति देता है। इन दोनों कार्यों को समन्वित करके—यानी मेमोरी को साफ करना और रोबोट के बोलने की मात्रा को नियंत्रित करना—यह प्रणाली रोबोट को भ्रमित होने और क्षतिपूर्ति करने के लिए और भी लंबी कहानियाँ लिखने से रोकती है।
परिणाम प्रभावशाली हैं। जब शोधकर्ताओं ने छह अलग-अलग प्रकार की पहेलियों (गणित की समस्याओं से लेकर विज्ञान के प्रश्नों तक) में तीन अलग-अलग रीजनिंग मॉडल्स पर ReCo का परीक्षण किया, तो रोबोट बहुत तेज़ हो गया और बहुत कम शब्दों का उपयोग करने लगा। विशेष रूप से, इस प्रणाली ने रोबोट द्वारा उत्पन्न किए गए शब्दों की संख्या को 37% से 65% तक कम कर दिया और पूरी प्रक्रिया को मानक, अन-ऑप्टिमाइज्ड विधि की तुलना में 2.08 से 2.35 गुना तेज़ बना दिया। महत्वपूर्ण रूप से, इसने यह सब बिना रोबोट को काफी कम बुद्धिमान बनाए किया; इसकी सटीकता लगभग वैसी ही रही जैसी धीमी, बातूनी संस्करण की थी। यह शोध पत्र सुझाव देता है कि केवल मेमोरी को सिकोड़ने की कोशिश करना ही पर्याप्त नहीं है; आपको वास्तविक गति प्राप्त करने के लिए एक साथ रोबोट की सोचने की प्रक्रिया को भी प्रबंधित करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।