Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers
यह शोध पत्र प्रदर्शित करता है कि कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्याओं के लिए पुन: प्रयोज्य (reusable), बाधा-जागरूक (constraint-aware) सॉल्वर को संश्लेषित करने के लिए सुदृढीकरण शिक्षण (reinforcement learning) के साथ एक कोड LLM को प्रशिक्षित करना, समाधान की गुणवत्ता और कम्प्यूटेशनल दक्षता दोनों में पारंपरिक इन्फरेंस-टाइम सर्च विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "हर बार अंदाज़ा लगाने" से "एक मैनुअल लिखने" तक
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़े अव्यवस्थित सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। हर बार जब आप उसे कोई कठिन पहेली देते हैं, तो वह अंदाज़ा लगाकर, जाँच करके और फिर से अंदाज़ा लगाकर उसे शून्य से हल करने की कोशिश करता है। कभी-कभी वह सही होता है, लेकिन अक्सर वह अटक जाता है या मूर्खतापूर्ण गलतियाँ करता है। आज के अधिकांश AI इसी तरह समस्याओं को हल करते हैं: जब भी आप कोई सवाल पूछते हैं, तो वह हर बार तर्क (reasoning) करता है।
यह शोध पत्र एक अलग सवाल पूछता है: क्या होगा अगर AI हर बार पहेली को हल करने के बजाय, एक आदर्श निर्देश पुस्तिका (एक "सॉल्वर") लिखना सीख जाए जिसे कोई भी उपयोग कर सके?
शोधकर्ताओं ने यह देखना चाहा कि क्या वे AI को एक "अंदाज़ा लगाने वाले सहायक" के बजाय एक "कंपाइलर" की तरह काम करने के लिए प्रशिक्षित कर सकते हैं। हर नए ग्राहक के लिए काम करने के बजाय, AI नियमों को एक बार सीखेगा, एक पुन: प्रयोज्य (reusable) प्रोग्राम लिखेगा, और फिर वह प्रोग्राम भविष्य की हजारों समस्याओं को तुरंत हल कर सकेगा।
परीक्षण: "भ्रामक" पहेली बॉक्स
इसकी जांच करने के लिए, शोधकर्ताओं ने एक विशिष्ट प्रकार की पहेली बनाई जिसे सिनर्जिस्टिक डिपेंडेंसी सिलेक्शन (SDS) कहा जाता है।
- उपमा (Analogy): कल्पना कीजिए कि एक खजाने की खोज (treasure hunt) है जहाँ आपके पास वजन की एक सीमा वाला एक बैकपैक है। आप ऐसी चीजें चुनना चाहते हैं जो मूल्यवान हों। लेकिन यहाँ एक पेच है: कुछ चीजें तभी मूल्यवान होती हैं जब आप उन्हें एक साथ चुनते हैं (synergy), और कुछ चीजें एक-दूसरे को रद्द कर देती हैं यदि आप दोनों को चुन लेते हैं (conflict)। इसके अलावा, कुछ चीजों के लिए आपको पहले एक विशिष्ट अन्य वस्तु चुननी पड़ती है (precedence)।
- जाल: पहेली को "भ्रामक" (deceptive) बनाया गया है। एक सरल, लालची रणनीति (जैसे "बस सबसे भारी चीजें पहले चुनो") ऐसा दिखती है जैसे कि यह काम करेगी, लेकिन वास्तव में यह आपको एक गलत रास्ते पर ले जाती है। यह एक भूलभुलैया की तरह है जहाँ सीधा और आसान दिखने वाला रास्ता वास्तव में एक दीवार पर जाकर खत्म होता है।
"बेस" AI के साथ समस्या
शोधकर्ताओं ने पहले इन पहेलियों को हल करने के लिए एक मानक, बिना प्रशिक्षित AI मॉडल का उपयोग किया। उन्होंने AI को हर एक पहेली के लिए 64 अलग-अलग बार प्रयास करने दिया (जिसे "Best-of-64" विधि कहा जाता है) और सबसे अच्छा उत्तर चुना।
- परिणाम: 64 प्रयासों के बावजूद, AI केवल उस मूल्य का लगभग 71% प्राप्त कर सका जो वह हासिल कर सकता था (एक 28.7% का अंतर)।
- क्यों? AI अपने तर्क में "भ्रम" (hallucinating) का शिकार हो रहा था। वह एक अच्छी रणनीति (जैसे "सिम्युलेटेड एनीलिंग," जो कि एक बॉक्स को सबसे अच्छे अरेंजमेंट के लिए हिलाने का एक शानदार तरीका है) के नाम को तो जानता था, लेकिन जब उसने उस रणनीति के लिए कोड लिखा, तो उसने एक महत्वपूर्ण तार्किक त्रुटि की। यह एक ऐसे शेफ की तरह था जो केक की रेसिपी तो जानता है लेकिन ओवन चालू करना भूल जाता है, या इससे भी बुरा, केक को फ्रीजर में रख देता है।
समाधान: AI को अपने स्वयं के तर्क को "ठीक करना" सिखाना
शोधकर्ताओं ने इसके बाद रीइन्फोर्समेंट लर्निंग (RL) तकनीक का उपयोग किया। इसे एक सख्त कोच के रूप में सोचें जो केवल "अच्छा काम किया!" या "बुरा काम किया!" नहीं कहता, बल्कि विशिष्ट फीडबैक देता है:
- "फिजिबिलिटी गेट" (व्यवहार्यता द्वार): कोच कहता है, "यदि आपका कोड नियमों को तोड़ता है (जैसे दो विरोधी चीजें चुनना), तो आपको शून्य अंक मिलेंगे, चाहे स्कोर कितना भी अच्छा क्यों न दिखे।" यह AI को केवल उच्च अंक प्राप्त करने के बजाय नियमों का पालन करने को प्राथमिकता देने के लिए मजबूर करता है।
- "एंटी-लेजी" (आलस्य विरोधी) दंड: कोच AI को दंडित करता है यदि वह आसान रास्ता अपनाने की कोशिश करता है (जैसे जटिल इंटरैक्शन को अनदेखा करते हुए केवल वजन के आधार पर वस्तुओं को क्रमबद्ध करना)।
- "स्कैफोल्ड" (ढांचा): उन्होंने AI को एक विशिष्ट सोचने का टेम्पलेट दिया: "समस्या का विखंडन करें, एक रणनीति का अनुमान लगाएं, अपने अनुमान की आलोचना करें, और फिर कोड लिखें।"
परिणाम: एक पुन: प्रयोज्य "सॉल्वर" का जन्म
इस प्रशिक्षण के बाद, AI ने केवल बेहतर अंदाज़ा लगाना ही नहीं सीखा; इसने मौलिक रूप से अपने काम करने के तरीके को बदल दिया।
- "कंपाइलर" प्रभाव: AI ने एक एकल, पुन: प्रयोज्य कोड (एक सॉल्वर) लिखना सीख लिया जो "सिम्युलेटेड एनीलिंग" रणनीति को सही ढंग से लागू करता था।
- जादू: 99.8% मामलों में, AI ने ऐसा कोड लिखा जो इस सही पैटर्न का पालन करता था। इसने उन तार्किक त्रुटियों को ठीक कर दिया जो बिना प्रशिक्षित AI द्वारा बार-बार की जा रही थीं।
- प्रदर्शन: नया "हीरो" सॉल्वर सैद्धांतिक रूप से सर्वोत्तम संभव उत्तर के 5% के भीतर स्कोर प्राप्त करने में सफल रहा।
- लागत: यह सबसे रोमांचक हिस्सा है।
- पुराने तरीके (प्रति पहेली 64 बार अंदाज़ा लगाना) में हर एक नए पहेली के लिए बहुत अधिक कंप्यूटर समय लगता था।
- नए तरीके (सॉल्वर को एक बार लिखना) का मतलब था कि कंप्यूटर को केवल एक बार भारी मेहनत करनी थी। उसके बाद, वह सॉल्वर हजारों पहेलियों को तुरंत हल कर सकता था।
- गणित: नया तरीका पुराने "अंदाज़ा लगाने" वाले तरीके की तुलना में कंप्यूटर समय के मामले में 91 गुना सस्ता था।
क्या काम नहीं आया (दोषपूर्ण सबक)
शोधपत्र में यह भी परीक्षण किया गया कि विशेष प्रशिक्षण युक्तियों को हटाने पर क्या होता है:
- कोई नियम नहीं: यदि आप AI को नियमों के बारे में सख्त नियमों के बिना रचनात्मक होने के लिए छोड़ देते हैं, तो वह गलतियाँ करने लगता है।
- नरम नियम: यदि आप AI को कहते हैं कि "यदि स्कोर अधिक है तो थोड़ा नियम तोड़ना ठीक है," तो वह विफल हो जाता है। AI को नियमों का सम्मान करना सीखने के लिए एक सख्त "स्टॉप" सिग्नल की आवश्यकता होती है।
- केवल प्रॉम्प्ट: यदि आप केवल निर्देशों में AI को "स्मार्ट बनो" कहते हैं लेकिन उसे रिवॉर्ड सिस्टम के साथ प्रशिक्षित नहीं करते हैं, तो वह फिर भी विफल रहता है। निर्देश केवल एक मानचित्र हैं; प्रशिक्षण वह वाहन है जो वास्तव में कार चलाता है।
निष्कर्ष
यह शोध पत्र यह सिद्ध करता है कि हम AI मॉडल को "तत्काल अंदाज़ा लगाने वाले" से "प्रोग्रामर" बनने के लिए प्रशिक्षित कर सकते हैं। सख्त नियमों के साथ रीइन्फोर्समेंट लर्निंग का उपयोग करके, AI एक पुन: प्रयोज्य उपकरण को सिंथेसाइज (synthesize) कर सकता है जो समस्याओं के एक पूरे परिवार को सही ढंग से हल करता है, बजाय इसके कि वह प्रत्येक को व्यक्तिगत रूप से हल करने के लिए संघर्ष करे।
यह किसी व्यक्ति को हर दिन आपके लिए गणित की समस्या हल करने के लिए काम पर रखने (महंगा और धीमा) बनाम उस व्यक्ति को एक कैलकुलेटर बनाने के लिए सिखाने के बीच का अंतर है जो आपके लिए हमेशा उस समस्या को हल कर सके (सस्ता और तेज़)। शोधकर्ताओं ने दिखाया कि सही प्रशिक्षण के साथ, AI वह कैलकुलेटर बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।