Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत ही रचनात्मक रोबोट को एक जटिल पहेली हल करने के लिए निर्देशों का एक सेट देने की कोशिश कर रहे हैं, जैसे कि डिलीवरी ट्रकों के बेड़े के लिए सबसे कुशल मार्ग की योजना बनाना या अस्पताल की शिफ्टों का निर्धारण करना। यह क्षेत्र ऑप्टिमाइज़ेशन (अनुकूलन) कहलाता है, जो सीमित संसाधनों के बीच सर्वोत्तम संभव निर्णय लेने के पीछे का गणित है। इसे करने के लिए, मनुष्यों को आमतौर पर अपनी अव्यवस्थित, वास्तविक दुनिया की समस्याओं को सख्त, कठोर गणितीय भाषाओं (जैसे लीनियर प्रोग्रामिंग या कंस्ट्रेंट प्रोग्रामिंग) में अनुवादित करना पड़ता है। यह एक कहानी को उस रोबोट को समझाने जैसा है जो केवल सख्त नियमों और समीकरणों से बनी भाषा बोलता है।

हाल ही में, हमारे पास लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ एक बड़ी सफलता आई है। इन मॉडल्स को ऐसे सुपर-एडवांस्ड रोबोट के रूप में सोचें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे कहानियों को समझने और कोड लिखने में अद्भुत हैं, लेकिन जब उन्हें सख्त गणितीय नियमों का पालन करने के लिए कहा जाता है, तो वे कभी-कभी संघर्ष करते हैं। वे फर्जी नंबर बना सकते हैं, कोई महत्वपूर्ण नियम भूल सकते हैं, या उनके तर्क में थोड़ी सी भी गलती हो सकती है, जो एक आदर्श योजना को एक टूटी हुई योजना में बदल देती है। इसे ठीक करने के लिए, शोधकर्ता रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) नामक तकनीक का उपयोग कर रहे हैं। यदि एक LLM एक परीक्षा देने वाले छात्र की तरह है, तो RAG उस छात्र को परीक्षा शुरू करने से ठीक पहले पहले से हल किए गए समान समस्याओं का एक "रेफरेंस शीट" देने जैसा है। यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: यदि हम एक AI को गणितीय पहेलियों की एक पूर्ण, पूर्व-हल की गई लाइब्रेरी दें, तो क्या वह नई पहेलियों को हल करने में बहुत बेहतर हो जाएगा?

इस शोध पत्र के लेखकों ने अपने विचार का परीक्षण करने के लिए एक विशाल, कस्टम लाइब्रेरी बनाने का निर्णय लिया। उन्होंने इन पहेलियों की 500 बिल्कुल नई समस्याएँ बनाकर शुरुआत की। केवल शुष्क गणितीय प्रश्न लिखने के बजाय, उन्होंने एक AI का उपयोग करके "पर्सोना" (चरित्र) बनाने के लिए किया—जैसे कि एक व्यस्त लॉजिस्टिक्स मैनेजर या एक अस्पताल प्रशासक—और फिर दूसरे AI से उन पात्रों की वास्तविक दुनिया की परेशानियों को सख्त, औपचारिक गणितीय समस्याओं में बदलने के लिए कहा। उन्होंने प्रत्येक को हल करने के लिए सही कंप्यूटर कोड भी लिखा, जिससे एक "गोल्ड स्टैंडर्ड" उत्तर कुंजी तैयार हुई। उन्होंने इन सभी 500 समस्या-और-समाधान जोड़ों को एक विशेष डिजिटल फाइलिंग कैबिनेट में संग्रहीत किया जिसे वेक्टर डेटाबेस कहा जाता है, जिसे "सिमेंटिकली सिमिलर" (अर्थात समान महसूस होने वाली, भले ही शब्द अलग हों) वस्तुओं को खोजने के लिए डिज़ाइन किया गया है।

फिर, उन्होंने एक दौड़ आयोजित की। उन्होंने एक शक्तिशाली AI मॉडल (Qwen 3 30B Instruct) लिया और उसे नई, अनदेखी गणितीय समस्याएँ दीं। पहले दौर में, AI को केवल अपने प्रशिक्षण से जो कुछ भी वह जानता था, उस पर भरोसा करते हुए अकेले उन्हें हल करना था। दूसरे दौर में, उन्होंने अपने नए RAG सिस्टम का उपयोग किया: AI द्वारा उत्तर देने से पहले, सिस्टम ने उनकी 500 समस्याओं की लाइब्रेरी में खोज की, सबसे समान तीन उदाहरणों को ढूँढा, और उन्हें उदाहरण के रूप में AI को दिखाया। यह सुनिश्चित करने के लिए कि AI खराब उदाहरणों से भ्रमित न हो, उन्होंने एक "सिमेंटिक गेटवे" जोड़ा—एक स्मार्ट फ़िल्टर जो केवल उन्हीं उदाहरणों को अंदर आने देता था जो एक सटीक मेल थे, और किसी भी ऐसी चीज़ को खारिज कर देता था जो बहुत अलग थी।

परिणाम टीम की लाइब्रेरी के लिए एक स्पष्ट विजय थे। जब AI ने अकेले समस्याओं को हल करने की कोशिश की, तो उसने पहेली कितनी कठिन है, इस आधार पर लगभग 32% से 40% बार सही उत्तर दिया। लेकिन जब AI को उनकी लाइब्रेरी से समान हल किए गए उदाहरणों को झाँकने की अनुमति दी गई, तो इसकी सटीकता काफी बढ़ गई। परीक्षणों के एक सेट (NL4OPT) पर, यह 40% सही होने से बढ़कर 72% सही होने तक पहुँच गया। दूसरे सेट (MAMO Complex) पर, यह 32% से सुधरकर 56% हो गया।

यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण "फाइन-ट्यूनिंग" के सामान्य तरीके का एक शक्तिशाली विकल्प है, जिसमें नए डेटा पर पूरे AI मॉडल को फिर से प्रशिक्षित करना शामिल है—जो एक महंगी और समय लेने वाली प्रक्रिया है। इसके बजाय, यह अध्ययन दिखाता है कि केवल AI को संदर्भ के लिए उदाहरणों की एक अच्छी तरह से व्यवस्थित, सिंथेटिक लाइब्रेरी देना, उसके सही, काम करने वाले गणितीय मॉडल में मानवीय विचारों को अनुवादित करने की क्षमता में नाटकीय रूप से सुधार कर सकता है। लेखक नोट करते हैं कि हालांकि परिणाम आशाजनक हैं, लेकिन वे एक विशिष्ट 500 सिंथेटिक समस्याओं और 25 टेस्ट क्वेरीज़ पर आधारित हैं, इसलिए इस पद्धति का अभी भी अन्वेषण किया जा रहा है। फिर भी, निष्कर्ष एक ऐसे भविष्य की ओर संकेत करते हैं जहाँ गैर-विशेषज्ञ, गणित के जादूगर बने बिना, जटिल निर्णय लेने वाले उपकरण बनाने के लिए AI का एक विश्वसनीय सह-पायलट के रूप में उपयोग कर सकते हैं।