Generating Robust Portfolios of Optimization Models using Large Language Models

तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) का उपयोग करके अनुकूलन मॉडलों (Optimization Models) के सुदृढ़ पोर्टफोलियो तैयार करना

समस्या विवरण

गणितीय अनुकूलन (Mathematical optimization), संसाधन आवंटन और योजना जैसे क्षेत्रों में संरचित निर्णय लेने का एक आधार स्तंभ है। हालाँकि, वास्तविक दुनिया की आवश्यकताओं को सटीक रूप से दर्शाने वाले अनुकूलन मॉडल तैयार करना एक बड़ी बाधा बनी हुई है, जिसके लिए डोमेन विशेषज्ञता और गहन अनुकूलन ज्ञान के दुर्लभ संयोजन की आवश्यकता होती है। जबकि बड़े भाषा मॉडल (LLMs) प्राकृतिक भाषा विवरणों से मॉडल निर्माण को स्वचालित करने में आशाजनक रहे हैं, मौजूदा दृष्टिकोण आमतौर पर केवल एक एकल उम्मीदवार मॉडल आउटपुट करते हैं। यह एक विश्वसनीयता जोखिम पैदा करता है, क्योंकि इस बात की कोई गारंटी नहीं है कि कोई भी एकल LLM-जनित मॉडल सटीक या उच्च गुणवत्ता वाला होगा। वर्तमान विधियाँ अक्सर बिना किसी गुणवत्ता गारंटी के एक एकल मॉडल उत्पन्न करने के लिए गणनात्मक रूप से भारी फाइन-ट्यूनिंग (fine-tuning) पर निर्भर करती हैं।

कार्यप्रणाली

लेखक एक नवीन, हल्का और प्रशिक्षण-मुक्त (training-free) एल्गोरिदम प्रस्तावित करते हैं जिसे एकल उदाहरण के बजाय अनुकूलन मॉडलों का एक पोर्टफोलियो बनाने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण LLM क्षमताओं के दोहरे परिप्रेक्ष्य का लाभ उठाता है, जो उन्हें एक एकल ढांचे में एकीकृत करता है:

1. स्टोकेस्टिक जनरेटर (Stochastic Generator): LLM एक जनरेटर ($g$) के रूप में कार्य करता है, जो बार-बार स्टोकेस्टिक सैंपलिंग के माध्यम से उम्मीदवार अनुकूलन मॉडलों का एक वितरण (distribution) उत्पन्न करता है। यह अनुकूलन कार्य में निहित विविध ट्रेड-ऑफ को कैप्चर करता है।
2. रीज़निंग इवैल्यूएटर (Reasoning Evaluator): LLM एक जज या मूल्यांकनकर्ता ($e$) के रूप में कार्य करता है, जो मॉडल के विश्व ज्ञान और तर्क क्षमताओं का उपयोग करते हुए, जेनरेट किए गए उम्मीदवारों को प्राकृतिक भाषा समस्या विवरण के साथ उनके संरेखण (alignment) के आधार पर रैंक करता है।

पोर्टफोलियो निर्माण:
यह विधि समस्या विवरण $d$ और एक उपयोगकर्ता-निर्धारित थ्रेशोल्ड $\alpha \in (0, 1)$ के लिए एक पोर्टफोलियो $P(d; \alpha)$ का निर्माण करती है। पोर्टफोलियो में शीर्ष-रैंक वाले उम्मीदवार $o^{(i)}_e$ शामिल हैं ताकि शामिल मॉडलों की संचयी पीढ़ी संभावना (cumulative generation probability) एक विशिष्ट शर्त को पूरा करे:
$$k^*(\alpha) = \inf \left\{ k \in \mathbb{N} : \sum_{i=1}^{k} p(o^{(i)}_e) \geq 1 - \alpha \right\}$$
अनिवार्य रूप से, पोर्टफोलियो में वे उच्चतम-रैंक वाले मॉडल शामिल हैं जिनकी संयुक्त पीढ़ी संभावना $1-\alpha$ से अधिक है। यह सुनिश्चित करता है कि पोर्टफोलियो में ऐसे मॉडल शामिल हैं जो या तो अत्यधिक संभावित हैं (जनरेटर से) या उच्च-रैंक वाले हैं (इवैल्यूएटर द्वारा)।

सैद्धांतिक योगदान और गारंटी

यह शोध पत्र पोर्टफोलियो की "कवरेज" (coverage) के संबंध में सैद्धांतिक गारंटी प्रदान करता है—जिसे मानव प्राथमिकता रैंकिंग ($\pi^*$) के अनुसार उच्च-गुणवत्ता वाले उम्मीदवारों के अनुपात के रूप में परिभाषित किया गया है। लेखक दो संरेखण (alignment) स्थितियों को परिभाषित करते हैं:

• इवैल्यूएटर संरेखण (Evaluator Alignment): इवैल्यूएटर की रैंकिंग मानव रैंकिंग से मेल खाती है।
• जनरेटर संरेखण (Generator Alignment): जनरेटर उन मॉडलों को उच्च संभावना प्रदान करता है जिन्हें मनुष्यों द्वारा उच्च रैंक दी गई है।

मुख्य सैद्धांतिक परिणाम यह है कि पोर्टफोलियो में उच्च-गुणवत्ता वाले उम्मीदवार होने की गारंटी है यदि या तो जनरेटर या इवैल्यूएटर मानव-संरेखित (human-aligned) है:

• इवैल्यूएटर मजबूती (Evaluator Robustness): यदि इवैल्यूएटर संरेखित है, तो पोर्टफोलियो पूर्ण कवरेज ($c(P) = 1$) प्राप्त करता है, चाहे जनरेटर की गुणवत्ता कुछ भी हो।
• जनरेटर मजबूती (Generator Robustness): यदि जनरेटर संरेखित है, तो पोर्टफोलियो किसी भी इवैल्यूएटर के लिए सकारात्मक कवरेज ($c(P) > 1 - 2\alpha/k^*(\alpha)$) प्राप्त करता है, बशर्ते $\alpha < 0.5$ हो।

यह एक "ह्यूमन-इन-द-लूप" प्रक्रिया स्थापित करता है जहाँ एक निर्णय लेने वाला व्यक्ति एक एकल संभावित त्रुटिपूर्ण LLM आउटपुट पर भरोसा करने के जोखिम को कम करने के लिए, एक एकल मॉडल के बजाय कई उच्च-गुणवत्ता वाले उम्मीदवारों की समीक्षा कर सकता है।

प्रयोगात्मक परिणाम

लेखक अपने दृष्टिकोण को मान्य करने के लिए प्रयोगों के दो सेटों के माध्यम से अपने दृष्टिकोण का सत्यापन करते हैं:

1. सिंथेटिक डेटा सिमुलेशन:

   • लेखकों ने विभिन्न स्तरों के मानव संरेखण (Aligned, Weakly Aligned, Uniform, Misaligned) वाले विभिन्न जनरेटर और इवैल्यूएटर प्रकारों का अनुकरण किया।
   • निष्कर्ष: परिणामों ने सैद्धांतिक सीमाओं की पुष्टि की। यहाँ तक कि एक "कमजोर रूप से संरेखित" (Weakly Aligned) जनरेटर और परिवर्तनशील इवैल्यूएटर त्रुटियों के साथ भी, पोर्टफोलियो ने $\alpha < 0.5$ के लिए सकारात्मक कवरेज प्राप्त किया। प्रयोगों ने पोर्टफोलियो आकार और कवरेज के बीच ट्रेड-ऑफ को भी स्पष्ट किया: किसी भी घटक में उच्च संरेखण उच्च कवरेज बनाए रखते हुए छोटे पोर्टफोलियो की अनुमति देता है।

2. वास्तविक दुनिया का अनुकूलन मॉडलिंग (NL4LP डेटासेट):

   • विधि को NL4LP डेटासेट से 25 अनुकूलन समस्याओं पर लागू किया गया।
   • सेटअप: एक जनरेटर (gpt-5.4-nano) ने प्रति समस्या 50 उम्मीदवार मॉडल उत्पन्न किए। दो इवैल्यूएटर प्रकारों का परीक्षण किया गया: एक LLM-एज़-ए-जज (समस्या विवरण और ग्राउंड ट्रुथ के आधार पर स्कोरिंग) और एक जनरेटर-प्रोबेबिलिटी-आधारित रँकर।
   • निष्कर्ष: प्रस्तावित पोर्टफोलियो ने रैंडम सैंपलिंग के माध्यम से निर्मित पोर्टफोलियो की तुलना में लगातार बेहतर प्रदर्शन किया। विशेष रूप से, LLM की तर्क क्षमताओं का उपयोग करके मूल्यांकित पोर्टफोलियो ने केवल जनरेटर संभावनाओं पर निर्भर रहने वाले पोर्टफोलियो की तुलना में उच्च स्कोर प्राप्त किए। परिणामों ने प्रदर्शित किया कि यह दृष्टिकोण अनुकूलन मॉडलों के एक सुदृढ़ सेट का उत्पादन करने के लिए जेनेरेटिव और रीज़निंग क्षमताओं के पूरक गुणों का प्रभावी ढंग से लाभ उठाता है।

महत्व और दावे

यह शोध पत्र अनुकूलन में एकल-मॉडल LLM जनरेशन की अविश्वसनीयता के लिए एक सिद्धांत आधारित समाधान देने का दावा करता है। "सिंगल-शॉट" जनरेशन प्रतिमान से "पोर्टफोलियो" दृष्टिकोण की ओर शिफ्ट होकर, यह विधि मजबूती की गारंटी प्रदान करती है: उच्च-गुणवत्ता वाले उम्मीदवार पोर्टफोलियो में मौजूद होने की गारंटी है जब तक कि कम से कम एक घटक (जनरेटर या इवैल्यूएटर) मानव प्राथमिकताओं के साथ अच्छी तरह से संरेखित हो।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण प्रशिक्षण-मुक्त (training-free) और हल्का (lightweight) है, जो पिछले कार्यों के विपरीत है जिनमें फाइन-ट्यूनिंग की आवश्यकता होती है। इसका महत्व एक ऐसी निर्णय लेने वाली प्रक्रिया को सक्षम करने में है जहाँ मनुष्य कई उच्च-गुणवत्ता वाले उम्मीदवारों की समीक्षा कर सकते हैं, जिससे यह सुनिश्चित होता है कि अंतिम चयन एक ऐसे पूल से लिया गया है जिसमें सैद्धांतिक रूप से इष्टतम समाधान मौजूद है, भले ही LLM की सीमाएं हों। यह कार्य मानव विशेषज्ञों को बदलने का दावा नहीं करता है, बल्कि उन्हें एक उच्च-संभावना वाले व्यवहार्य मॉडलों के सेट तक खोज स्थान (search space) को कम करके सशक्त बनाने के लिए है।