🔢 mathematics

Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery

यह शोध पत्र LLM-गाइडेड बायेसियन ऑप्टिमाइज़ेशन (LGBO) प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो पारंपरिक विधियों की कोल्ड-स्टार्ट और स्केलेबिलिटी सीमाओं को दूर करने के लिए ऑप्टिमाइज़ेशन लूप में लार्ज लैंग्वेज मॉडल प्राथमिकताओं को निरंतर एकीकृत करता है, जिससे वैज्ञानिक खोज के लिए ड्राई बेंचमार्क और वास्तविक दुनिया के वेट-लैब प्रयोगों दोनों में काफी तेज़ अभिसरण (कन्वर्जेंस) प्राप्त होता है।

मूल लेखक: Xinzhe Yuan, Zhuo Chen, Jianshu Zhang, Huan Xiong, Nanyang Ye, Yuqiang Li, Qinying Gu

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinzhe Yuan, Zhuo Chen, Jianshu Zhang, Huan Xiong, Nanyang Ye, Yuqiang Li, Qinying Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: घास के ढेर में सुई ढूँढना (जिसे खोजने में पैसा खर्च होता है)

कल्पना कीजिए कि आप एक नया बैटरी या जीवन रक्षक दवा बनाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको अलग-अलग मात्रा में विभिन्न रसायनों को मिलाना होगा। हालाँकि, हर एक संयोजन (combination) का परीक्षण करना असंभव है। यह एक केक की एकदम सही रेसिपी खोजने जैसा है, लेकिन हर बार जब आप एक केक बनाते हैं, तो इसमें $1,000 का खर्च आता है और उसे ठंडा होने में एक सप्ताह का समय लगता है।

यहीं पर बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization - BO) काम आता है। BO को एक स्मार्ट और सावधान शेफ (chef) के रूप में सोचें। बेतरतीब ढंग से केक बनाने के बजाय, शेफ उन कुछ केक के आधार पर जो उन्होंने पहले ही बना लिए हैं, एक "मानसिक मानचित्र" (सांख्यिकीय मॉडल) बनाता है। यह मानचित्र भविष्यवाणी करता है कि सबसे अच्छा केक कहाँ हो सकता है और शेफ को बताता है कि कम से कम प्रयासों के साथ सबसे अच्छा परिणाम प्राप्त करने के लिए उसे अगली बार कहाँ प्रयास करना चाहिए।

लेकिन एक पेच है:

कोल्ड स्टार्ट (The Cold Start): बिल्कुल शुरुआत में, शेफ के पास कोई मानचित्र नहीं होता। उन्हें अंधेरे में अनुमान लगाना पड़ता है, जिससे महंगे सामान बर्बाद होते हैं।
उच्च-आयामी भूलभुलैया (The High-Dimensional Maze): यदि रेसिपी में केवल 3 के बजाय 10 या 14 सामग्रियाँ (variables) हैं, तो "घास का ढेर" इतना विशाल हो जाता है कि शेफ रास्ता भटक जाता है और सबसे अच्छी जगह खोजने में बहुत समय लगा देता है।

पुराना तरीका: विशेषज्ञ से केवल एक बार पूछना

हाल ही में, वैज्ञानिकों ने लार्ज लैंग्वेज मॉडल्स (LLMs)—जैसे कि आप जिससे अभी बात कर रहे हैं—का उपयोग करने की कोशिश की। पुराने तरीकों ने AI को एक ऐसे मेहमान की तरह माना जो पार्टी की शुरुआत में आता है, कुछ शुरुआती विचार सुझाता है, और फिर चला जाता है।

दोष: एक बार जब AI चला जाता है, तो शेफ केवल डेटा के आधार पर अनुमान लगाने लगता है। यदि AI के पास "उच्च तापमान बेहतर केक बनाता है" जैसी कोई शानदार अंतर्दृष्टि थी, तो उस ज्ञान का उपयोग केवल पहले कुछ प्रयासों के लिए किया गया और फिर उसे भुला दिया गया।

नया समाधान: LGBO (AI शेफ का सहायक)

लेखकों ने LGBO (LLM-Guided Bayesian Optimization) नामक एक नया ढांचा प्रस्तावित किया है।

AI को शुरुआत में छोड़ने के बजाय, LGBO पूरी कुकिंग प्रक्रिया के दौरान AI को रसोई में रखता है। लेकिन यहाँ एक तरकीब है: AI केवल बेतरतीब नंबर नहीं चिल्लाता। यह एक "गाइड" के रूप में कार्य करता है जो लगातार शेफ के मानसिक मानचित्र को दिशा देता है।

गुप्त मंत्र: "रीजन-लिफ्टेड प्रेफरेंस" (Region-Lifted Preference)

यही इस शोध पत्र का मुख्य नवाचार है। कल्पना कीजिए कि शेफ का मानसिक मानचित्र एक पहाड़ी परिदृश्य है जहाँ सबसे ऊँची चोटी सबसे अच्छा केक है।

मानक BO मानचित्र को देखता है और कहता है, "मुझे लगता है कि चोटी वहाँ है।"
AI कहता है, "वास्तव में, रसायन विज्ञान के नियमों के आधार पर, चोटी संभवतः इस पूरे क्षेत्र (जैसे, 'उच्च तापमान, कम दबाव') में है।"

LGBO में, AI केवल एक बिंदु नहीं देता; यह एक क्षेत्र (region) की ओर इशारा करता है। इसके बाद सिस्टम शेफ के मानचित्र को लेता है और भौतिक रूप से उस दिशा में परिदृश्य को झुका (tilt) देता है। यह ऐसा है जैसे आप मानचित्र के एक तरफ एक वेज (wedge) लगा दें ताकि "पहाड़ी" AI के सुझाव की ओर झुक जाए।

यह स्मार्ट क्यों है: AI का सुझाव मानचित्र के "मीन" (औसत अनुमान) को बदल देता है, लेकिन यह गणित को नहीं तोड़ता। सिस्टम सांख्यिकीय रूप से कठोर बना रहता है। यदि AI गलत है, तो मानचित्र बस थोड़ा झुकता है और वास्तविक डेटा आने पर खुद को ठीक कर लेता है। यदि AI सही है, तो शेफ बहुत तेज़ी से चोटी तक पहुँच जाता है।

व्यवहार में यह कैसे काम करता है

पेपर का परीक्षण दो तरीकों से किया गया:

ड्राई लैब्स (कंप्यूटर सिमुलेशन): उन्होंने भौतिकी, रसायन विज्ञान और सामग्री विज्ञान (जैसे कंक्रीट या बैटरी इलेक्ट्रोलाइट्स डिजाइन करना) से संबंधित मौजूदा डेटा का उपयोग किया।
- परिणाम: LGBO ने मानक तरीकों की तुलना में बेहतर समाधान तेज़ी से खोजे। यह "डेड एंड्स" (बंद रास्तों) से बचने में विशेष रूप से अच्छा था जहाँ अन्य तरीके समय बर्बाद करते हैं।
वेट लैब्स (वास्तविक प्रयोग): वे वास्तव में एक लैब में गए ताकि आयरन-क्रोमियम (Fe-Cr) बैटरी इलेक्ट्रोलाइट्स को अनुकूलित (optimize) किया जा सके। यह एक वास्तविक दुनिया का, शोर वाला और महंगा कार्य है जहाँ "सर्वश्रेष्ठ" उत्तर पहले से ज्ञात नहीं था।
- परिणाम: LGBO ने केवल 6 इटरेशन (iterations) में सर्वोत्तम संभव मान का 90% प्राप्त कर लिया। मानक तरीकों और अन्य AI-सहायता प्राप्त तरीकों को वहां तक पहुँचने के लिए 10 से अधिक प्रयासों की आवश्यकता थी।

सुरक्षा जाल: क्या होगा यदि AI गलत हो जाए?

एक प्रमुख चिंता यह है: "क्या होगा यदि AI गलत सलाह दे?"
पेपर गणितीय रूप से सिद्ध करता है कि LGBO सुरक्षित है।

सबसे खराब स्थिति (Worst Case): यदि AI बहुत खराब सलाह देता है, तो सिस्टम लगभग वैसा ही प्रदर्शन करता है जैसा कि तब होता जब AI वहाँ होता ही नहीं। यह चीज़ों को बदतर नहीं बनाता।
सबसे अच्छी स्थिति (Best Case): यदि AI अच्छी सलाह देता है (जो कि विज्ञान में अक्सर होता है क्योंकि वह रसायन विज्ञान/भौतिकी के नियमों को जानता है), तो सिस्टम काफी तेज़ी से अभिसरण (converge) करता है (अर्थात उत्तर खोज लेता है)।

सारांश

LGBO को एक सांख्यिकीविद् (जो गणित और अनिश्चितता में कुशल है) और एक वैज्ञानिक (AI, जो ब्रह्मांड के नियमों को जानता है) के बीच की साझेदारी के रूप में देखें।

सांख्यिकीविद् मानचित्र बनाता है।
वैज्ञानिक लगातार फुसफुसाता है, "वहाँ देखो, भौतिकी बताती है कि खजाना उसी पड़ोस में है।"
सिस्टम मानचित्र को उस पड़ोस की ओर झुका देता है, लेकिन गणित को सख्त रखता है ताकि वह धोखा न खा जाए।

परिणामस्वरूप, वैज्ञानिक खोज की प्रक्रिया तेज़, सस्ती और अधिक विश्वसनीय हो जाती है, जो बहुत कम महंगे प्रयोगों के साथ नई सामग्रियों और बैटरियों के लिए "परफेक्ट रेसिपी" खोजने में सक्षम है।

तकनीकी सारांश: बेयसियन ऑप्टिमाइज़ेशन में LLMs का उपयोग: वैज्ञानिक खोज के लिए प्राथमिकता-निर्देशित ढांचा

समस्या विवरण

वैज्ञानिक खोज तेजी से भौतिक प्रयोगों की उच्च लागत और संसाधन सीमाओं से बाधित हो रही है। जबकि बेयसियन ऑप्टिमाइज़ेशन (BO) ऐसे परिवेश में अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाने के लिए एक मानक रणनीति है, यह वास्तविक दुनिया के वैज्ञानिक कार्यों में दो महत्वपूर्ण बाधाओं का सामना करता है:

धीमी कोल्ड-स्टार्ट (Slow Cold-Start): प्रारंभिक प्रयोगात्मक डेटा की कमी के कारण शुरुआती अनुकूलन चरण अक्षम हो जाते हैं।
स्केलेबिलिटी संबंधी मुद्दे: उच्च-आयामी पैरामीटर स्पेस "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को बढ़ा देते हैं, जिससे BO की प्रयोज्यता सीमित हो जाती है।

LLMs को BO में एकीकृत करने के मौजूदा प्रयास सीमित रहे हैं। पूर्ववर्ती कार्य आमतौर पर LLMs का उपयोग केवल वार्म-स्टार्ट इनिशियलाइज़ेशन (प्रारंभिक बिंदु प्रस्तावित करने के लिए) या सहायक कैंडिडेट जनरेटर (ऐसे बिंदु सुझाने के लिए जो बाद में मानक अधिग्रहण कार्यों द्वारा फ़िल्टर किए जाते हैं) के रूप में करते हैं। इन प्रतिमानों में, LLM मार्गदर्शन ढीले ढंग से अंतर्निहित होता है, जिसे अक्सर शुरुआत में एक बार इंजेक्ट किया जाता है या अधिग्रहण कार्य द्वारा ओवरराइड कर दिया जाता है, जिससे अनुकूलन लूप के दौरान LLM की निरंतर तर्क क्षमताओं का लाभ उठाने में विफलता होती है।

कार्यप्रणाली: LLM-निर्देशित बेयसियन ऑप्टिमाइज़ेशन (LGBO)

लेखक LGBO का प्रस्ताव करते हैं, जो पहला ढांचा है जो एक रीजन-लिफ्टेड प्रेफरेंस (Region-Lifted Preference) तंत्र के माध्यम से BO लूप में निरंतर LLM सिमेंटिक रीजनिंग को एकीकृत करता है। पिछले तरीकों के विपरीत, जो LLMs को केवल एक-बार वाले सुझाव इंजन के रूप में देखते हैं, LGBO उन्हें विशेषज्ञ 'प्रायर्स' (priors) के रूप में मानता है जो प्रत्येक पुनरावृत्ति (iteration) पर दिशात्मक मार्गदर्शन प्रदान करते हैं।

मुख्य तंत्र: रीजन-लिफ्टेड प्रेफरेंस

BO की गणितीय कठोरता (जो डेटा-संचालित पोस्टीरियर्स पर निर्भर करती है) को अस्थिर किए बिना LLM मार्गदर्शन को शामिल करने के लिए, LGBO एक विशिष्ट रूपांतरण पेश करता है:

इनपुट: LLM को एक विशिष्ट बिंदु या एक रीजन (एक उच्च प्राथमिकता वाला हाइपर-रेक्टेंगल) आउटपुट करने के लिए प्रॉम्प्ट किया जाता है, जिसके साथ एक कॉन्फिडेंस स्कोर ( $c \in [0, 1]$ ) भी होता है।
रूपांतरण: LLM के सुझाव को पसंदीदा क्षेत्र के भीतर एक विविक्त ग्रिड (discretized grid) पर एक लीनियर एक्सपोनेंशियल लिफ्ट में बदल दिया जाता है।
गणितीय कार्यान्वयन: प्रपोजिशन 1 के आधार पर, यह सिद्ध किया गया है कि यह एक्सपोनेंशियल लिफ्ट Gaussian Process (GP) सरोगेट मॉडल के मीन शिफ्ट (mean shift) के समतुल्य है, जबकि कोवेरिएंस कर्नेल अपरिवर्तित रहता है।
- यदि $f \sim GP(\mu, k)$ , तो लिफ्टेड पोस्टीरियर $GP(\mu_\lambda, k)$ बनता है, जहाँ $\mu_\lambda(x) = \mu(x) + \lambda \sum a_g k(x, x_g)$ ।
- शिफ्ट की तीव्रता $\lambda$ को LLM के कॉन्फिडेंस स्कोर और क्षेत्र के पोस्टीरियर वेरियंस के आधार पर कैलिब्रेट किया जाता है, जिससे यह सुनिश्चित होता है कि मार्गदर्शन मॉडल की अनिश्चितता के सापेक्ष स्केल किया गया है।
वर्कफ़्लो: प्रत्येक पुनरावृत्ति में, GP सरोगेट को नए प्रयोगात्मक डेटा और LLM के रीजन-लिफ्टेड प्रेफरेंस के साथ अपडेट किया जाता है। अधिग्रहण फंक्शन (जैसे EI या UCB) फिर इस अपडेटेड, सिमेंटिक रूप से निर्देशित सरोगेट के आधार पर अगला क्वेरी चुनता है।

सैद्धांतिक गारंटी

पेपर एक "फ्रोजन-लिफ्ट" एब्स्ट्रैक्शन (यह मानते हुए कि एक सुसंगत प्राथमिकता दिशा स्थिर है) के तहत LGBO के लिए रिग्रेट बाउंड्स प्रदान करता है:

वर्स्ट-केस सेफ्टी (Worst-Case Safety): यदि LLM मार्गदर्शन भ्रामक या अप्रासंगिक है, तो रिग्रेट बाउंड मानक BO के समान ही रहता है, जो केवल लिफ्ट मैग्नीट्यूड पर निर्भर एक स्थिरांक कारक द्वारा बढ़ता है।
एलाइंड केस (Aligned Case): यदि LLM मार्गदर्शन वास्तविक ऑब्जेक्टिव के साथ संरेखित है, तो फंक्शन स्पेस का प्रभावी रेडियस सिकुड़ जाता है, जिससे स्पष्ट रूप से कड़े रिग्रेट बाउंड्स और तेज़ अभिसरण (convergence) प्राप्त होता है।

मुख्य योगदान

फ्रेमवर्क इनोवेशन: LGBO का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो वार्म-स्टार्ट या कैंडिडेट-प्रपोजल प्रतिमानों से आगे बढ़कर रीजन-लिफ्टिंग के माध्यम से BO लूप में निरंतर LLM प्राथमिकताओं को समाहित करता है।
सैद्धांतिक विश्लेषण: गारंटी प्रदान करने वाले प्रमाण देता है कि LGBO सुरक्षित है (वर्स्ट-केस में मानक BO से काफी खराब प्रदर्शन नहीं करता है) और कुशल है (जब मार्गदर्शन सूचनात्मक हो तो अभिसरण को तेज करता है)।
अनुभवजन्य सत्यापन (Empirical Validation): विविध वैज्ञानिक डोमेन, जिसमें "ड्राई" (सिमुलेशन) और "वेट" (वास्तविक प्रयोगशाला) दोनों प्रयोग शामिल हैं, में इस ढांचे की प्रभावशीलता को प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई डेटासेट्स पर मानक BO (GPBO) और अत्याधुनिक LLM-ऑगमेंटेड बेसलाइन्स (LLAMBO, ColaLLM, BOPRO, CAKE) के विरुद्ध LGBO का मूल्यांकन किया:

ड्राई बेंचमार्क्स (सिमुलेशन)

डेटासेट्स: LNP3 (लिपिड नैनोपार्टिकल फॉर्मुलेशन), क्रॉस-बैरल (3D-प्रिंटेड संरचनाएं), कंक्रीट (मिश्रण डिजाइन), और HPLC (क्रोमैटोग्राफी)।
निष्कर्ष: LGBO ने अभिसरण गति और अंतिम प्रदर्शन में बेसलाइन्स को लगातार पछाड़ा।
- LNP3: LGBO ने GPBO और LLAMBO की तुलना में तेज़ अभिसरण और कम वेरिएंस के साथ उच्च अंतिम ऑब्जेक्टिव प्राप्त किया।
- HPLC: उच्च शोर (noise) के बावजूद, LGBO ने उच्चतम अंतिम प्रदर्शन बनाए रखा।
- Cross-barrel & Concrete: LGBO ने स्थानीय इष्टतम (local optima) से अधिक प्रभावी ढंग से बाहर निकला और क्रमशः बेहतर मजबूती और संपीड़न शक्ति प्राप्त की।
एब्लेशन स्टडीज:
- बैकबोन्स: LGBO विभिन्न LLM आकारों (7B से 235B पैरामीटर्स) में मजबूती से काम करता है, जिसमें डोमेन-प्री-ट्रेंड मॉडल बेहतर स्थिरता दिखाते हैं।
- मैकेनिज्म: LLM सुझावों को रैंडम रीजन लिफ्ट से बदलने पर प्रदर्शन में सुधार समाप्त हो गया, जो पुष्टि करता है कि लाभ केवल लिफ्टिंग मैकेनिज्म के बजाय सूचनात्मक सिमेंटिक संकेतों से आता है।
- निरंतरता (Continuity): केवल LLM इनिशियलाइजेशन का उपयोग करना (बिना निरंतर मार्गदर्शन के) समान त्वरण नहीं दे सका, जो निरंतर एकीकरण के महत्व को उजागर करता है।

वेट-लैब प्रयोग

कार्य: Fe-Cr रेडॉक्स फ्लो बैटरी इलेक्ट्रोलाइट्स का अनुकूलन। यह एक वास्तविक दुनिया का कार्य है जिसमें कोई पूर्व-मौजूदा बेंचमार्क डेटासेट नहीं है, अज्ञात इष्टतम (optima) है, और माप शोर (measurement noise) है।
परिणाम: LGBO ने 6 पुनरावृत्तियों के भीतर सर्वोत्तम देखे गए मान का 90% प्राप्त कर लिया। इसके विपरीत, मानक BO और मौजूदा LLM-ऑगमेंटेड बेसलाइन्स को समान प्रदर्शन तक पहुँचने के लिए 10 से अधिक पुनरावृत्तियों की आवश्यकता थी। LGBO ने दुर्लभ डेटा स्थितियों के तहत गुणात्मक वैज्ञानिक पूर्वग्रहों (priors) को त्वरित, विश्वसनीय अभिसरण में अनुवादित करने की क्षमता प्रदर्शित की।

उच्च-आयामी विस्तार

COF डेटासेट: एक 14-आयामी कोवेलेंट ऑर्गेनिक फ्रेमवर्क अनुकूलन कार्य में, LGBO ने अन्य LLM-BO विधियों की तुलना में स्पष्ट प्रदर्शन लाभ बनाए रखा, जो उच्च-आयामी स्थानों में स्केलेबिलिटी प्रदर्शित करता है।

महत्व और दावे

पेपर का दावा है कि LGBO वैज्ञानिक अनुकूलन वर्कफ़्लो में LLMs को एकीकृत करने के लिए एक उज्ज्वल दिशा प्रदान करता है। इसका महत्व इस प्रकार है:

अंतराल को पाटना: यह सफलतापूर्वक LLMs की "सिमेंटिक रीजनिंग" को BO की "सांख्यिकीय कठोरता" के साथ एकीकृत करता है, जो LLMs को केवल इनिशियलाइजेशन टूल के रूप में उपयोग करने की सीमाओं से परे जाता है।
सुरक्षा और दक्षता: यह पहला तरीका है जो सैद्धांतिक गारंटी प्रदान करता है कि LLM एकीकरण "प्रमाणित रूप से सुरक्षित" (सीमित वर्स्ट-केस रिग्रेट) है और जब डोमेन ज्ञान सटीक होता है तो पर्याप्त त्वरण प्रदान करता है।
व्यावहारिक उपयोगिता: Fe-Cr इलेक्ट्रोलाइट्स में सफल अनुप्रयोग यह दर्शाता है कि यह ढांचा केवल एक सैद्धांतिक रचना नहीं है, बल्कि एक व्यावहारिक उपकरण है जो वास्तविक दुनिया के प्रयोगात्मक शोर और बाधाओं को संभालने में सक्षम है, जो रसायन विज्ञान, सामग्री विज्ञान और जीव विज्ञान में वैज्ञानिक खोज की गति को तेज कर सकता है।