Free(): Learning to Forget in Malloc-Only Reasoning Models
Free()LM एक प्लग-एंड-प्ले "फ्री-मॉड्यूल" पेश करता है जो रीजनिंग मॉडल्स को तर्क प्रक्रिया के दौरान अनावश्यक या अप्रचलित जानकारी को गतिशील रूप से हटाकर (प्रून करके) प्रदर्शन सुधारने और कॉन्टेक्स्ट कोलैप्स को रोकने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "मेसी डेस्क" (बिखरी हुई मेज) सिंड्रोम
कल्पना कीजिए कि आप एक जटिल पहेली को हल करने की कोशिश कर रहे एक प्रतिभाशाली गणितज्ञ हैं। इसे हल करने के लिए, आप एक विशाल व्हाइटबोर्ड का उपयोग करते हैं। हर बार जब आपके मन में कोई विचार, कोई गणना, या यहाँ तक कि कोई गलती आती है, तो आप उसे लिख देते हैं।
शुरुआत में, यह बहुत अच्छा है! आपके पास अपने सभी नोट्स ठीक आपके सामने होते हैं। लेकिन जैसे-जैसे घंटे बीतते हैं, व्हाइटबोर्ड एक अराजक मलबे में बदल जाता है। आपने पुराने समीकरणों को काट दिया है, बड़े अक्षरों में "रुको, यह गलत है!" लिखा है, और कोनों को एक ही गणित के दोहराव वाले लूप से भर दिया है।
अंततः, बोर्ड इतना भरा हुआ हो जाता है कि आप मूल समस्या को भी देख नहीं पाते। आप अपनी ही पुरानी गलतियों से भ्रमित होने लगते हैं। आप बोर्ड पर एक धब्बे को घूरते हुए एक लूप में फंस जाते हैं, और अंत में, आप सुन्न (freeze) हो जाते हैं। आप अब सोच नहीं पाते।
यही बिल्कुल वही हो रहा है जो वर्तमान AI "रीजनिंग" (तर्क करने वाले) मॉडल्स के साथ हो रहा है।
जैसे-जैसे वे कठिन समस्याओं को हल करने की कोशिश करते हैं, वे अधिक से अधिक "थिंकिंग टोकन" (उनका व्हाइटबोर्ड पर लिखने का तरीका) उत्पन्न करते हैं। वे "Malloc" (मेमोरी आवंटित करने/लिखने) में तो बेहतरीन हैं, लेकिन उनके पास "Free" (कचरे को मिटाने) का कोई तरीका नहीं है। वे बस शोर (noise) को बढ़ाते जा रहे हैं जब तक कि उनका "दिमाग" अव्यवस्थित नहीं हो जाता, और वे पूरी तरह से मानसिक पतन का शिकार हो जाते हैं।
समाधान: Free()LM (द "डिजिटल इरेज़र")
Tencent AI Lab के शोधकर्ताओं ने महसूस किया कि एक AI के वास्तव में स्मार्ट होने के लिए, उसे केवल सोचने की शक्ति की ही आवश्यकता नहीं है—उसे भूलने की बुद्धिमत्ता की भी आवश्यकता है।
उन्होंने Free()LM बनाया। इसे एक AI को एक स्मार्ट, चयनात्मक इरेज़र (मिटाने वाला) देने के रूप में समझें।
केवल एक निष्क्रिय लेखक होने के बजाय, अब AI के पास दो मोड हैं:
- रीजनिंग मोड (Reasoning Mode): AI सामान्य रूप से काम करता है, अपने विचारों को लिखता है और समस्या को हल करता है।
- क्लीनिंग मोड (Cleaning Mode): समय-समय पर, AI रुकता है, अपने "व्हाइटबोर्ड" को देखता है, और कहता है: "अरे, गणित की ये तीन लाइनें एक गलत रास्ता थीं, और यह पैराग्राफ बस मेरा खुद को दोहराना है। चलो इसे मिटा देते हैं।"
यह सब कुछ नहीं मिटा देता; यह एक विशेष "प्लग-इन" (जिसे LoRA एडैप्टर कहा जाता है) का उपयोग करता है जो एक पेशेवर संपादक की तरह काम करता है। यह कचरे के सटीक "शुरुआत" और "अंत" की पहचान करता है और उसे काटकर निकाल देता है, जिससे केवल साफ और आवश्यक तर्क पीछे रह जाता है।
यह एक बड़ी बात क्यों है (परिणाम)
शोधकर्ताओं ने छोटे AI मॉडल्स से लेकर विशाल "सुपर-ब्रेन" तक सब पर इसका परीक्षण किया। यहाँ क्या हुआ:
- यह उन्हें स्मार्ट बनाता है: "शोर" को साफ करके, AI वास्तव में गणित प्रतियोगिताओं में बेहतर प्रदर्शन करता है। यह एक साफ कमरे बनाम एक बिखरे हुए कमरे में पहेली सुलझाने जैसा है।
- यह "ब्रेन फ्रीज़" को रोकता है: एक परीक्षण में, एक विशाल AI मॉडल (Qwen3-235B) एक बहुत लंबी समस्या पर अटक गया और इसकी सटीकता गिरकर 0% हो गई—यह मूल रूप से हार मान चुका था। लेकिन Free()LM के साथ, AI अपने कार्यक्षेत्र को साफ करने में सक्षम था और आगे बढ़ सका, अपनी सटीकता को 50% तक वापस ले आया।
- यह एक "यूनिवर्सल इरेज़र" है: इससे भी अधिक आश्चर्यजनक बात यह है कि उन्होंने एक छोटे मॉडल पर एक छोटा "इरेज़र" प्रशिक्षित किया और पाया कि यह बहुत बड़े, अलग प्रकार के AI पर भी काम कर सकता है। यह एक सार्वभौमिक सफाई उपकरण की तरह है जो किसी भी घर में काम करता है।
कहानी की सीख
आर्टिफिशियल इंटेलिजेंस की दुनिया में, हमने मशीनों को अधिक से अधिक याद रखना सिखाने में बहुत समय बिताया है। लेकिन यह पेपर साबित करता है कि वास्तविक बुद्धिमत्ता केवल इस बारे में नहीं है कि आप अपने दिमाग में कितना कुछ रख सकते हैं—यह इस बारे में है कि आप क्या छोड़ने (जाने देने) का निर्णय लेते हैं।
अगले स्तर के तर्क (reasoning) तक पहुँचने के लिए, AI को सूचनाओं के "होर्डर" (जमा करने वाले) से बदलकर तर्क के "मिनिमलिस्ट" (न्यूनतम रखने वाले) बनने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।