Inference-Time Diversity in RL-Trained Lean Theorem Provers: A Diagnostic Study
यह अध्ययन प्रकट करता है कि RL-प्रशिक्षित लीन (Lean) प्रमेय सिद्ध करने वाले (theorem provers) इन्फरेंस-टाइम मोड कोलैप्स (inference-time mode collapse) से ग्रस्त होते हैं, जिसे विविध टैक्टिक स्केलेटन (diverse tactic skeletons) के एक निश्चित शेड्यूल को लागू करके प्रभावी ढंग से कम किया जा सकता है जिससे महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं, जबकि प्रॉम्प्ट पैराफ्रेसिंग (prompt paraphrasing) और अप्रासंगिक टिप्पणियाँ अप्रभावी या हानिकारक सिद्ध होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अत्यंत प्रतिभाशाली छात्र है जिसे 'लीन' (Lean) नामक एक विशेष कंप्यूटर भाषा का उपयोग करके बहुत कठिन गणितीय पहेलियों को हल करने के लिए प्रशिक्षित किया गया है। इस छात्र को, आइए हम इसे "डीपसीक" (DeepSeek) कहें, वह अविश्वसनीय रूप से बुद्धिमान है लेकिन उसकी एक अजीब आदत है: जब उससे कोई पहेली सुलझाने के लिए कहा जाता है, तो वह एक मानसिक दुष्चक्र (mental rut) में फंस जाता है।
यह शोध पत्र इस बात की नैदानिक रिपोर्ट (diagnostic report) है कि ऐसा क्यों होता है और इसे कैसे ठीक किया जाए। यहाँ शोधकर्ताओं ने जो पाया, उसकी कहानी सरल शब्दों में दी गई है।
1. समस्या: "टूटा हुआ रिकॉर्ड" प्रभाव (The "Broken Record" Effect)
शोधकर्ताओं ने देखा कि जब उन्होंने डीपसीक को बार-बार एक ही गणितीय पहेली हल करने के लिए कहा (बस थोड़े अलग रैंडम सीड्स के साथ, जैसे पासा फेंकना), तो वह बार-बार बिल्कुल एक ही पहले कदम को दोहराता रहा।
- उपमा: कल्पना कीजिए कि आप एक बंद दरवाजे को खोलने की कोशिश कर रहे हैं। आप ताले में चाबी डालते हैं। वह काम नहीं करती। आप फिर से कोशिश करते हैं। वह अभी भी काम नहीं करती। आप तीसरी बार और सौवीं बार भी कोशिश करते हैं। भले ही आप 64 बार प्रयास करें, आप बस उसी ताले में उसी चाबी को उसी तरह घुमा रहे हैं। आप अन्य चाबियों या दरवाजा खोलने के अन्य तरीकों को नहीं खोज रहे हैं।
- परिणाम: अध्ययन में, प्रयासों की संख्या को 32 से बढ़ाकर 64 करने से भी एक भी नया पहेली हल नहीं हुआ। छात्र "मोड कोलैप्स" (mode collapse) का शिकार हो गया था—वह एक संकीर्ण मार्ग पर अटक गया था और उसके पास सोचने के लिए कुछ और नहीं बचा था।
2. समाधान: "पहला कदम" संकेत देना
शोधकर्ताओं को समझ आया कि छात्र आलसी नहीं था; वह बस अपनी दिनचर्या में बहुत अधिक फंस गया था। इसलिए, उन्होंने एक नया तरीका आजमाया: छात्र से पहेली हल करने के लिए कहने से पहले, उन्होंने उसे शुरू करने के तरीके पर एक विशिष्ट निर्देश दिया।
- उपमा: केवल यह कहने के बजाय कि "इस पहेली को हल करें," शोधकर्ताओं ने कहा, "संख्याओं को सरल बनाने से शुरुआत करें," या "एक नया वेरिएबल (variable) जोड़ने से शुरुआत करें।" यह छात्र को पहले प्रयास करने के लिए एक विशिष्ट चाबी देने जैसा है, बजाय इसके कि उसे अनुमान लगाने के लिए छोड़ दिया जाए।
- परिणाम: इस छोटे से संकेत ने उस दुष्चक्र को तोड़ दिया। छात्र अचानक बहुत अधिक पहेलियाँ हल करने लगा। "दुष्चक्र" इसलिए नहीं था क्योंकि छात्र गणित में बुरा था; बल्कि इसलिए था क्योंकि वह अपनी शुरुआत करने के तरीके में बहुत कठोर था।
3. "क्यों": यह प्रशिक्षण का मुद्दा है, मस्तिष्क का नहीं
शोधकर्ता जानना चाहते थे: क्या छात्र स्वाभाविक रूप से गणित में खराब है, या प्रशिक्षण ने उसे कठोर बना दिया है?
- प्रयोग: उन्होंने विशेष गणित प्रशिक्षण प्राप्त करने से पहले छात्र का परीक्षण किया (आधार मॉडल - "Base" model)।
- निष्कर्ष: अप्रशिक्षित छात्र एक भी पहेली हल नहीं कर सका। उसने या तो हार मान ली या प्रश्न को दोहराता रहा।
- निष्कर्ष: विशेष प्रशिक्षण (रीइन्फोर्समेंट लर्निंग - Reinforcement Learning) ही वह चीज़ है जिसने छात्र को पहेलियाँ हल करना सिखाया। लेकिन, वही प्रशिक्षण उसे कठोर और दुष्चक्र में फंसाने वाला भी बना। प्रशिक्षण ने कौशल तो पैदा किया, लेकिन इसने "टूटा हुआ रिकॉर्ड" वाली समस्या भी पैदा कर दी।
4. किसे यह समस्या होती है?
शोधकर्ताओं ने अन्य "छात्रों" (विभिन्न AI मॉडलों) का परीक्षण किया यह देखने के लिए कि क्या यह एक सार्वभौमिक समस्या है।
- "SFT" छात्र: एक छात्र को अलग तरह से प्रशिक्षित किया गया था (सुपरवाइज्ड फाइन-ट्यूनिंग - Supervised Fine-Tuning)। यह छात्र कुल मिलाकर पहेलियाँ सुलझाने में वास्तव में बेहतर था, लेकिन उसे "दुष्चक्र" की समस्या नहीं थी। जब शोधकर्ताओं ने उसे संकेत दिए, तो इससे वह थोड़ा खराब हो गया। वह पहले से ही अपने स्वयं के रास्ते खोजने के लिए पर्याप्त लचीला था।
- "RL" छात्र: वे छात्र जिन्हें विशेष "रीइन्फोर्समेंट लर्निंग" विधि (जैसे डीपसीक) के साथ प्रशिक्षित किया गया था, वे ही फंस गए थे। उन्हें अपनी संकीर्ण सोच से बाहर निकलने के लिए "पहले कदम" के संकेतों की आवश्यकता थी।
5. "पहला कदम" का प्रमाण
यह साबित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, शोधकर्ताओं ने छात्रों द्वारा किए गए वास्तविक "पहले कदमों" को देखा।
- निष्कर्ष: एक एकल पहेली पर 64 प्रयासों में से, "दुष्चक्र वाले" छात्र ने लगभग आधे मामलों में बिल्कुल एक ही पहला कदम उठाया। वह अविश्वसनीय रूप से पूर्वानुमानित (predictable) था।
- रूपक: यदि आप किसी इंसान को 64 बार कहानी लिखने के लिए कहें, तो वे "एक समय की बात है," "सूरज चमक रहा था," या "यह एक अंधेरी रात थी" से शुरुआत कर सकते हैं। लेकिन यह AI छात्र 32 बार "एक समय की बात है" और 30 बार "सूरज चमक रहा था" से शुरुआत करेगा। उनकी शुरुआत में लगभग कोई विविधता नहीं थी।
सारांश
शोध पत्र निष्कर्ष निकालता है कि रीइन्फोर्समेंट लर्निंग (AI को प्रशिक्षित करने का एक विशिष्ट तरीका) एक दोधारी तलवार बनाता है:
- यह AI को औपचारिक गणितीय प्रमाण (formal math proofs) हल करना सिखाता है (जो वह पहले नहीं कर सकता था)।
- लेकिन यह AI को कुछ "जीतने वाली" रणनीतियों पर इतना केंद्रित भी कर देता है कि वह नई रणनीतियों की खोज करना बंद कर देता है।
समाधान AI को अधिक कंप्यूटिंग पावर या सोचने के लिए अधिक समय देना नहीं है; बल्कि उसे संरचनात्मक मार्गदर्शन (structural guidance) देना है—प्रमाण शुरू करने के तरीके पर एक सरल संकेत। यह AI को अपनी दिनचर्या तोड़ने और नए रास्तों की खोज करने के लिए मजबूर करता है, जिससे उन समाधानों को अनलॉक किया जा सके जिन्हें खोजने के लिए वह पहले बहुत जिद्दी था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।