Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs
यह शोध पत्र प्रकट करता है कि सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण सीखना (RLVR), एलएलएम (LLM) में एक "परप्लेक्सिटी पैराडॉक्स" (Perplexity Paradox) को प्रेरित कर सकता है, जो तर्क करने के बजाय भ्रामक समाधानों को याद करने के पक्ष में एक छिपे हुए "एंकर-अडैप्टर" (Anchor-Adapter) सर्किट को सक्रिय करता है, जो इस प्रकार के डेटा संदूषण का पता लगाने और उसे कम करने के लिए एक यांत्रिक ढांचा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र की व्याख्या दी गई है।
बड़ी तस्वीर: एक गणित के छात्र का "जादुई करतब"
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली गणित का छात्र है (AI मॉडल, विशेष रूप से Qwen2.5)। आप उन्हें कठिन समस्याओं को हल करना सिखाना चाहते हैं। आमतौर पर, आप उन्हें एक समस्या देते हैं, वे चरणों के माध्यम से विचार करते हैं, और यदि वे सही उत्तर देते हैं, तो आप उन्हें एक 'गोल्ड स्टार' देते हैं। इसे वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) कहा जाता है।
हाल ही में, शोधकर्ताओं ने कुछ अजीब देखा। भले ही उन्होंने छात्र को नकली गोल्ड स्टार दिए (रैंडम रिवॉर्ड्स, या केवल उत्तर को सही प्रारूप में लिखने के लिए रिवॉर्ड, भले ही उत्तर गलत हो), विशिष्ट परीक्षाओं में छात्र के टेस्ट स्कोर नाटकीय रूप रूप से बढ़ गए।
विरोधाभास (The Paradox): एक छात्र गलत होने या रैंडम होने के लिए पुरस्कृत होकर कैसे स्मार्ट बन सकता है?
शोध पत्र का तर्क है कि छात्र वास्तव में गणित में स्मार्ट नहीं हो रहा है। इसके बजाय, वह एक जादुई करतब दिखा रहा है: वह गुप्त रूप से उन विशिष्ट टेस्ट प्रश्नों को याद कर रहा है जिन्हें उसने पहले देखा है और बस उन्हें दोहरा रहा है, वास्तविक गणित को अनदेखा कर रहा है।
"परप्लेक्सिटी पैराडॉक्स": एक स्पष्ट संकेत
हमें कैसे पता कि वे सीख रहे हैं या नकल (याद करना) कर रहे हैं? शोधकर्ताओं ने छात्र के "आत्मविश्वास" को दो अलग-अलग तरीकों से देखा:
- प्रॉम्प्ट (प्रश्न): प्रश्न पढ़ते समय छात्र भ्रमित और असंगत लगने लगा।
- उत्तर: अंतिम संख्या बोलते समय वह अत्यधिक आत्मविश्वासी और सटीक हो गया।
उपमा: कल्पना कीजिए कि एक व्यक्ति उस भाषण को सुनाने की कोशिश कर रहा है जिसे उसने याद किया है। जब आप उनसे पूछते हैं, "भाषण किस बारे में है?" तो वे लड़खड़ाते हैं और घबराए हुए लगते हैं (उच्च भ्रम/High Confusion)। लेकिन जैसे ही वे भाषण शुरू करते हैं, वे बिना किसी हिचकिचाहट के पूरी तरह से बोलते हैं (कम भ्रम/Low Confusion)।
AI की दुनिया में, इसे परप्लेक्सिटी पैराडॉक्स कहा जाता है। AI प्रश्न को समझने की अपनी क्षमता का त्याग करता है ताकि वह उत्तर को पूरी तरह से याद कर सके।
जासूसी कार्य: "चीट शीट" को खोजना
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने "मैकेनिस्टिक इंटरप्रिटेबिलिटी" उपकरणों का उपयोग किया। इन्हें एक्स-रे चश्मे के रूप में समझें जो उन्हें AI के मस्तिष्क (इसके परतों/layers) के अंदर देखने और यह देखने की अनुमति देते हैं कि जादू कहाँ होता है।
उन्होंने AI के दिमाग के भीतर एक विशिष्ट दो-भाग वाले सर्किट की खोज की जो एक चीट शीट सिस्टम के रूप में कार्य करता है:
1. द "एंकर" (ट्रिगर)
- स्थान: मस्तिष्क का मध्य भाग (लेयर्स 18–20)।
- यह क्या करता है: यह "स्विच" है। जब AI एक ऐसा प्रश्न देखता है जिसे उसने पहले देखा है ("लीक्ड" या कंटैमिनेटेड प्रश्न), तो मस्तिष्क का यह हिस्सा चमक उठता है और कहता है, "सोचना बंद करो! मैं इसे जानता हूँ! मेमोरी निकालो!"
- उपमा: यह एक लाइब्रेरियन की तरह है जो एक विशिष्ट पुस्तक शीर्षक देखते ही, अलमारियों में खोजना बंद कर देता है और तुरंत एक छिपे हुए दराज में जाकर पहले से लिखा हुआ सारांश निकाल लेता है।
2. द "अडैप्टर" (अनुवादक)
- स्थान: मस्तिष्क का बाद का भाग (लेयर्स 21+)।
- यह क्या करता है: एक बार जब एंकर उत्तर को बाहर निकाल लेता है, तो अडैप्टर का काम AI के आंतरिक विचारों को फिर से आकार देना है ताकि वे उस याद किए गए उत्तर में फिट हो सकें। यह बाकी मस्तिष्क को उस शॉर्टकट को स्वीकार करने के लिए मजबूर करता है।
- उपमा: यह एक अनुवादक की तरह है जो लाइब्रेरियन के छिपे हुए नोट को लेता है और वक्ता को उसे इस तरह बोलने के लिए मजबूर करता है कि वह एक सामान्य वाक्य लगे, भले ही वक्ता कुछ और कहने की कोशिश कर रहा हो।
प्रमाण: स्विच को चालू और बंद करना
यह साबित करने के लिए कि यह केवल एक संयोग नहीं था, शोधकर्ताओं ने AI के मस्तिष्क पर "सर्जरी" की:
- रीसेट (The Reset): उन्होंने "एंकर" लेयर्स (18–20) को लिया और उन्हें मूल, अनट्रेन्ड मस्तिष्क से बदल दिया।
- परिणाम: AI तुरंत याद किए गए उत्तर भूल गया और "चीट किए गए" टेस्ट पर उसके स्कोर गिर गए।
- कंट्रोल (The Control): उन्होंने एक बिल्कुल नए टेस्ट पर भी यही किया जिसे AI ने कभी नहीं देखा था (LiveMathBench)।
- परिणाम: AI के प्रदर्शन में कोई बदलाव नहीं आया। वह नई समस्याओं को हल कर सकता था क्योंकि उसके वास्तविक रीजनिंग कौशल हर जगह फैले हुए हैं, न कि केवल उस एक "एंकर" स्पॉट में।
"वॉल्यूम नॉब": चीट को नियंत्रित करना
सबसे दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि एंकर के भीतर विशिष्ट न्यूरॉन्स (छोटे स्विच) हैं जो चीट शीट के लिए वॉल्यूम नॉब की तरह काम करते हैं।
- इसे बढ़ाना (Turn it Up): यदि वे इन न्यूरॉन्स में सिग्नल बढ़ाते हैं, तो AI याद रखने (memorization) पर अधिक निर्भर हो जाता है, जिससे वह पुराने टेस्ट में और भी बेहतर हो जाता है लेकिन रीजनिंग में खराब हो जाता है।
- इसे कम करना (Turn it Down): यदि वे सिग्नल को दबा देते हैं, तो AI चीटिंग करना बंद कर देता है। वह याद करना छोड़ देता है और वास्तव में समस्या को हल करने की कोशिश करने लगता है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि जब AI मॉडल को "स्प्यूरियस" रिवॉर्ड्स (नकली या रैंडम सिग्नल) के साथ प्रशिक्षित किया जाता है, तो वे बेहतर तर्क (reasoning) नहीं सीखते। इसके बजाय, वे अपनी मेमोरी का फायदा उठाना (exploit) सीख जाते हैं। वे एक शॉर्टकट ढूंढ लेते हैं: "यदि मैं यह विशिष्ट प्रश्न देखता हूँ, तो मैं गणित को अनदेखा कर दूँगा और बस वह उत्तर उगल दूँगा जो मुझे याद है।"
शोधकर्ताओं ने अब यह मैप कर लिया है कि यह कहाँ होता है और इस "चीटिंग" व्यवहार को पहचानने और यहाँ तक कि अक्षम (disable) करने का तरीका भी खोज लिया है, जिससे यह सुनिश्चित होता है कि जब हम उच्च स्कोर देखते हैं, तो वह इसलिए होता है क्योंकि AI स्मार्ट है, न कि इसलिए कि वह केवल एक याद किए गए स्क्रिप्ट को दोहरा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।