Relation Reasoning with LLMs in Expensive Optimization
यह शोध पत्र R2SAEA प्रस्तुत करता है, जो एक नवीन सरोगेट-असिस्टेड इवोल्यूशनरी एल्गोरिदम है जो महंगे अनुकूलन (ऑप्टिमाइज़ेशन) समस्याओं के लिए कुशल, ज़ीरो-शॉट संबंध-आधारित तर्क करने हेतु सुदृढीकरण-प्रशिक्षित (रीइन्फोर्समेंट-ट्रेन्ड) बड़े भाषा मॉडल का लाभ उठाता है, जिससे पारंपरिक सरोगेट्स के पुन: प्रशिक्षण ओवरहेड पर विजय प्राप्त होती है और अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं। समस्या यह है कि किसी भी एक स्थान की ऊंचाई की जांच करने में पूरा एक दिन का समय लगता है (यही वह चीज़ है जिसे पेपर "महंगा मूल्यांकन" (expensive evaluation) कहता है)। आपके पास सीमित दिनों का बजट है, इसलिए आप हर जगह जाकर जांच नहीं कर सकते।
पारंपरिक रूप से, वैज्ञानिक "नक्शों" (गणितीय मॉडल) का उपयोग करके कम ऊंचाई वाले स्थानों का अनुमान लगाते हैं। लेकिन ये नक्शे पेचीदा होते हैं: जैसे-जैसे आप नए क्षेत्रों की खोज करते हैं, पुराने नक्शे बेकार हो जाते हैं, और आपको उन्हें फिर से बनाने के लिए कीमती समय खर्च करना पड़ता है। यही वह बाधा है जिसे यह पेपर हल करने की कोशिश करता है।
यहाँ इस पेपर का समाधान सरल अवधारणाओं में दिया गया है:
1. नया "नक्शा": कैलकुलेटर के बजाय एक स्मार्ट जज
एक सटीक ऊंचाई का अनुमान लगाने की कोशिश करने के बजाय (जो कठिन है और जिसमें लगातार बदलाव की आवश्यकता होती है), लेखकों ने एक AI को एक मुक्केबाजी मैच के जज की तरह काम करना सिखाया है।
- पुराना तरीका: AI हर फाइटर (योद्धा) का सटीक स्कोर बताने की कोशिश करता है।
- नया तरीका (R2SAEA): AI केवल एक बार में दो फाइटर्स को देखता है और एक सरल प्रश्न का उत्तर देता है: "क्या फाइटर A, फाइटर B से बेहतर है?"
इसे रिलेशन रीजनिंग (Relation Reasoning) कहा जाता है। चूंकि इवोल्यूशनरी एल्गोरिदम (खोज पद्धति) मुख्य रूप से इस बात पर ध्यान देते हैं कि कौन सा विकल्प दूसरे से बेहतर है, न कि सटीक संख्याओं पर, इसलिए यह "जज" वाला दृष्टिकोण बहुत अधिक कुशल है।
2. "एंकर" (Anchor) ट्रिक: लाइब्रेरी ओवरलोड से बचना
यदि आपके पास 100 हाइकर (पर्वतारोही) हैं और आप जानना चाहते हैं कि प्रत्येक हाइकर दूसरे के साथ कैसे तुलना करता है, तो आपको जज से 10,000 जोड़ों के बारे में पूछना होगा। यह बहुत अधिक सवाल हैं जिन्हें AI एक साथ संभाल नहीं सकता (यह अपनी "मेमोरी" या संदर्भ खो देगा)।
लेखकों ने एक "एंकर" रणनीति का आविष्कार किया:
- सभी को एक साथ पूछने के बजाय, वे एक हाइकर को "एंकर" (संदर्भ बिंदु) के रूप में चुनते हैं।
- वे AI से पूछते हैं: "हाइकर A, एंकर की तुलना में कैसा है? हाइकर B, एंकर की तुलना में कैसा है? हाइकर C, एंकर की तुलना में कैसा है?"
- वे ऐसा हर हाइकर के लिए, एक-एक करके करते हैं।
- परिणाम: यह एक विशाल, भ्रमित करने वाले सवालों के ढेर को छोटे, प्रबंधनीय सूचियों की एक श्रृंखला में बदल देता है। यह एक शिक्षक से कक्षा के हर छात्र की तुलना एक-दूसरे से करने के बजाय, हर छात्र की तुलना "कक्षा के औसत" से एक-एक करके करने के लिए कहने जैसा है।
3. "वोटिंग" प्रणाली: मतों को स्कोर में बदलना
AI द्वारा सभी जोड़ों का न्याय करने के बाद, उसके पास "बेहतर/बदतर" के कई विचार होते हैं। आप सबसे अच्छा हाइकर कैसे चुनेंगे?
- सिस्टम एक वोटिंग मैकेनिज्म (Voting Mechanism) का उपयोग करता है।
- यदि AI कहता है कि "हाइकर X, 90% एंकर्स से बेहतर है," तो हाइकर X को उच्च स्कोर मिलता है।
- यदि हाइकर X अधिकांश से खराब है, तो उसे कम स्कोर मिलता है।
- यह AI के "विचारों" को एक स्पष्ट रैंकिंग में बदल देता है, ताकि खोज एल्गोरिदम जान सके कि किन हाइकर्स को वास्तविक, महंगे परीक्षण के लिए भेजना है।
4. जज को प्रशिक्षित करना: रीइन्फोर्समेंट लर्निंग (द "कोच")
लेखकों ने केवल एक सामान्य AI का उपयोग नहीं किया; उन्होंने एक विशिष्ट AI (जो Qwen2.5 नामक मॉडल पर आधारित है) को एक मास्टर जज बनने के लिए प्रशिक्षित किया।
- उन्होंने एक "कोच" (Reinforcement Learning) बनाया जो AI के अनुमानों को देखता रहा।
- यदि AI ने संबंध का सही अनुमान लगाया, तो कोच ने उसे इनाम दिया। यदि उसने गलत अनुमान लगाया, तो उसे दंड दिया।
- समय के साथ, AI ने एक सामान्य AI की तुलना में समाधानों के बीच सूक्ष्म अंतरों को पहचानना बेहतर तरीके से सीख लिया।
- जादू: प्रशिक्षित होने के बाद, इसे हर दिन फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह बस चलते समय (on the fly) "सोच" (infer) सकता है। इससे बहुत सारा समय और पैसा बचता है।
5. "पॉकेट-साइज़्ड" जज: छोटे उपकरणों पर चलना
आमतौर पर, शक्तिशाली AI को विशाल, महंगे सुपरकंप्यूटर की आवश्यकता होती है। लेखकों ने दिखाया कि मॉडल को छोटा करके और उसके "दिमाग" को संकुचित करके (एक प्रक्रिया जिसे क्वांटाइजेशन (quantization) कहा जाता है), यह स्मार्ट जज एक उच्च श्रेणी के लैपटॉप या ड्रोन या रोबोट में उपयोग किए जाने वाले विशेष चिप जैसे छोटे, पोर्टेबल उपकरणों पर भी चल सकता है।
निचोड़ (The Bottom Line)
पेपर का दावा है कि समस्याओं को सरल "A बनाम B" तुलनाओं की एक श्रृंखला में बदलकर, प्रश्नों को प्रबंधनीय रखने के लिए एक चतुर "एंकर" पद्धति का उपयोग करके, और एक विशेष AI जज को प्रशिक्षित करके, वे पिछले तरीकों की तुलना में बहुत कम महंगे परीक्षणों का उपयोग करके कठिन समस्याओं के सर्वोत्तम समाधान खोज सकते हैं।
- यह तेज़ है: हर बार नक्शा फिर से बनाने की आवश्यकता नहीं है।
- यह सस्ता है: AI कम, कम खर्चीले हार्डवेयर पर चल सकता है।
- यह बेहतर काम करता है: परीक्षणों में, इस पद्धति ने सिंगल-गोल और मल्टी-गोल दोनों समस्याओं में अन्य शीर्ष-स्तरीय तरीकों की तुलना में बेहतर समाधान खोजे।
लेखकों ने अपने "स्मार्ट जज" और उसका कोड दूसरों के उपयोग के लिए उपलब्ध करा दिया है, जो यह साबित करता है कि यदि आप सही सवाल पूछते हैं, तो महंगे अनुकूलन (optimization) समस्याओं को हल करने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।