💻 computer science

LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation

यह शोधपत्र LABO को प्रस्तुत करता है, जो एक नवीन बेयसियन ऑप्टिमाइज़ेशन फ्रेमवर्क है जो व्यापक अन्वेषण के लिए कम लागत वाले LLM भविष्यवाणियों और उच्च-अनिश्चितता वाले क्षेत्रों के लिए चयनात्मक, महंगी वास्तविक दुनिया की प्रयोगात्मक प्रक्रियाओं के बीच गतिशील रूप से संतुलन बनाकर वैज्ञानिक खोज की दक्षता को बढ़ाता है, जिससे मौजूदा विधियों की तुलना में बेहतर सैंपल दक्षता और सैद्धांतिक रिग्रेट बाउंड्स प्राप्त होते हैं।

मूल लेखक: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Jinzong Dong (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Automation, Central South University, Changsha, China), Ruichen Zhou (College of New Energy and Materials, China University of Petroleum, Beijing, China), Yingchun Niu (College of New Energy and Materials, China University of Petroleum, Beijing, China), Tianhang Zhou (College of Carbon Neutrality Future Technology, China University of Petroleum, Beijing, China), Yu Yang Fredrik Liu (DeepVerse PTE. LTD., Singapore), Yuqiang Li (Shanghai Artificial Intelligence Laboratory, Shanghai, China), Nanyang Ye (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Qinying Gu (Shanghai Artificial Intelligence Laboratory, Shanghai, China)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो दुनिया का सबसे बेहतरीन सैंडविच बनाने की कोशिश कर रहे हैं। आपके पास सामग्री के लिए एक सीमित बजट है, और हर बार जब आप स्वाद चखने के लिए एक सैंडविच बनाते हैं, तो इसमें $100 खर्च होते हैं और पूरा दिन लग जाता है। आप सबसे अच्छा सैंडविच खोजने के लिए बस हजारों सैंडविच नहीं बना सकते; आपको यह तय करना होगा कि आप वास्तव में कौन से सैंडविच पकाते हैं।

यह वह समस्या है जिसका सामना वैज्ञानिक नई दवाओं, सामग्रियों या बैटरियों को डिजाइन करते समय करते हैं। "प्रयोग" महंगे और धीमे होते हैं। यहीं पर LABO काम आता है।

यहाँ पेपर बताता है कि LABO कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके:

1. समस्या: "कोल्ड स्टार्ट" और "खाली बटुआ"

पारंपरिक तरीके (जिन्हें बेयसियन ऑप्टिमाइज़ेशन कहा जाता है) एक ऐसे शेफ की तरह हैं जो सैंडविच पकने के बाद ही उसे चखता है।

कोल्ड स्टार्ट (The Cold Start): बिल्कुल शुरुआत में, शेफ को पता नहीं होता कि कौन सी सामग्रियां अच्छी तरह काम करती हैं। उन्हें अंधेरे में अंदाज़ा लगाना पड़ता है, जिससे महंगी सामग्री बर्बाद होती है।
बजट (The Budget): चूंकि हर स्वाद परीक्षण में $100 खर्च होते हैं, इसलिए शेफ केवल कुछ ही सैंडविच बना सकता है। यदि वे बहुत अधिक गलत अंदाज़ा लगाते हैं, तो वे सबसे अच्छा नुस्खा खोजने से पहले ही अपना पैसा खत्म कर सकते हैं।

2. नया विचार: "सुपर-टेस्टर" AI

लेखक एक लार्ज लैंग्वेज मॉडल (LLM) को एक "सुपर-टेस्टर" के रूप में पेश करते हैं।

सुपर-टेस्टर: इस AI ने लाखों कुकबुक्स, वैज्ञानिक शोध पत्र और रेसिपी पढ़ी हैं। यह सामग्रियों की एक सूची को देखकर कह सकता है, "मुझे यकीन है कि यह संयोजन लाजवाब होगा," बिना वास्तव में उसे पकाए।
लागत: AI से पूछने की लागत लगभग कुछ भी नहीं है (जैसे $1)। वास्तविक प्रयोग की तुलना में यह तेज़ और मुफ्त है।

3. LABO कैसे काम करता है: "गेटिंग" सिस्टम

पेपर का बड़ा नवाचार केवल AI का उपयोग करना नहीं है; बल्कि यह जानना है कि कब उस पर भरोसा करना है और कब उसे अनदेखा करना है। वे इसे "गेटिंग क्राइटेरियन" (Gating Criterion) कहते हैं।

कल्पना कीजिए कि शेफ के पास एक नियम है:

यदि AI आश्वस्त है: तो शेफ AI से पूछता है, "इस रेसिपी के बारे में आपका क्या विचार है?" यदि AI कहता है, "मेरी पढ़ाई के आधार पर यह बहुत अच्छा लग रहा है," तो शेफ इसे अभी नहीं पकाता है। वे बस उसके अनुमान को लिख लेते हैं। इससे वे मुफ्त में अपने दिमाग में सैकड़ों रेसिपी का स्वाद ले सकते हैं, जिससे वे पूरे किचन की खोज कर पाते हैं।
यदि AI अनिश्चित है: यदि AI कहता है, "मुझे यकीन नहीं है, यह एक अजीब संयोजन है," या यदि शेफ के पिछले अनुभव से पता चलता है कि AI गलत हो सकता है, तो गेट खुल जाता है। अब, शेफ वास्तव में सैंडविच पकाता है (महंगा वास्तविक प्रयोग) ताकि सही उत्तर मिल सके।

जादू: यह सिस्टम व्यापक खोज (पूरे मेनू को देखने) के लिए AI पर भरोसा करने और केवल उन विशिष्ट स्थानों पर महंगा पैसा खर्च करने के बीच संतुलन बनाना सीखता है जहाँ AI भ्रमित है या जहाँ वास्तविक उत्तर सबसे अनिश्चित है।

4. "करेक्शन" मैकेनिज्म (The Correction Mechanism)

पेपर में एक चतुर गणितीय ट्रिक (जिसे KOH मॉडल कहा जाता है) का भी उल्लेख है।

सोचिए कि AI का अनुमान सैंडविच का एक रफ स्केच है।
"डिस्क्रिपेंसी" (Discrepancy) स्केच और वास्तविक स्वाद के बीच का अंतर है।
LABO एक रेखा खींचना सीखता है: "AI आमतौर पर 80% सही है, लेकिन यहाँ वह 20% है जहाँ वह गलत होता है।" यह सामान्य आकार प्राप्त करने के लिए सस्ते AI स्केच का उपयोग करता है, और केवल उन विशिष्ट हिस्सों को ठीक करने के लिए पैसा खर्च करता है जहाँ स्केच धुंधला है।

5. परिणाम: कम खर्च में अधिक लाभ

पेपर ने वास्तविक वैज्ञानिक कार्यों पर इसका परीक्षण किया, जैसे बैटरी के लिए नई सामग्रियां डिजाइन करना या रासायनिक प्रतिक्रियाओं को अनुकूलित करना।

परिणाम: LABO ने पुराने तरीकों की तुलना में बेहतर रेसिपी (समाधान) तेजी से खोज लीं।
दक्षता (Efficiency): इसने पारंपरिक तरीके के समान परिणाम प्राप्त किए लेकिन बहुत कम महंगे "वास्तविक" प्रयोगों का उपयोग किया। यह एक बेहतरीन सैंडविच खोजने के लिए 30 के बजाय केवल 10 असली टेस्ट लेने जैसा था, क्योंकि AI ने पहले ही खराब विचारों को फिल्टर कर दिया था।
सुरक्षा: भले ही AI कभी-कभी गलत सलाह दे, लेकिन "गेट" उसे पकड़ लेता है। सिस्टम स्वचालित रूप से वास्तविक प्रयोगों पर वापस चला जाता है जब AI का आत्मविश्वास कम हो जाता है, जिससे यह सुनिश्चित होता है कि शेफ एक गलत अंदाज़े पर पैसा बर्बाद न करे।

सारांश

LABO एक स्मार्ट वर्कफ़्लो है जो एक सस्ते, जानकार AI का उपयोग व्यापक रूप से पूरे सर्च स्पेस को स्कैन करने के लिए करता है। यह केवल तभी महंगे पैसे खर्च करता है जब AI अनिश्चित होता है या जब AI के अनुमान को सत्यापित करने की आवश्यकता होती है। यह वैज्ञानिकों को पहले की तुलना में बहुत तेज़ी से और सस्ते में सर्वोत्तम समाधान खोजने की अनुमति देता है, बिना हजारों महंगे भौतिक परीक्षणों को चलाने की आवश्यकता के।

तकनीकी सारांश: LABO - LLM-त्वरित बेयसियन ऑप्टिमाइज़ेशन (LLM-Accelerated Bayesian Optimization)

समस्या विवरण (Problem Statement)

दवा की खोज (drug discovery), उत्प्रेरक डिजाइन (catalyst design), और आणविक इंजीनियरिंग जैसे क्षेत्रों में वैज्ञानिक खोज अत्यधिक निर्भर करती है फॉर्मूलेशन अनुकूलन (formulation optimization) पर। ये कार्य महंगे, समय लेने वाले और श्रम-गहन प्रयोगों द्वारा लक्षित होते हैं, जिससे डेटा की भारी कमी और सीमित मूल्यांकन बजट जैसी स्थितियाँ उत्पन्न होती हैं। जबकि बेयसियन ऑप्टिमाइज़ेशन (BO) अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाकर इन जटिल डिज़ाइन स्पेस को नेविगेट करने के लिए एक मानक रणनीति है, इसे दो मौलिक सीमाओं का सामना करना पड़ता है:

कोल्ड-स्टार्ट समस्या (The Cold-Start Problem): अनुकूलन की शुरुआत में डेटा की कमी प्रारंभिक चरण के अन्वेषण में बाधा डालती है।
उच्च-आयामी चुनौतियाँ (High-Dimensional Challenges): सीमित प्रयोगात्मक बजट के तहत उच्च-आयामी डिज़ाइन स्पेस का अन्वेषण कठिन बना रहता है, विशेष रूप से जब कार्य-विशिष्ट अवलोकन विरल (sparse) होते हैं।

हाल के प्रयासों में यद्यपि पूर्व ज्ञान (जैसे साहित्य, प्रोटोकॉल) को शामिल करने के लिए BO पाइपलाइनों में लार्ज लैंग्वेज मॉडल्स (LLMs) को एकीकृत किया गया है, मौजूदा विधियाँ आमतौर पर LLMs का उपयोग केवल इनिशियलाइज़ेशन या सहायक सिग्नल स्रोतों के रूप में करती हैं। वे वास्तविक दुनिया के प्रयोगों की तुलना में LLMs की काफी कम मूल्यांकन लागत का पूर्ण लाभ उठाने में विफल रहती हैं, जो खोज स्थान (search space) में व्यापक, कम लागत वाले अन्वेषण को समर्थन देने की उनकी क्षमता को सीमित करती है।

कार्यप्रणाली: LABO फ्रेमवर्क (Methodology: LABO Framework)

लेखक LABO (LLM-Accelerated Bayesian Optimization) प्रस्तावित करते हैं, जो एक द्वैत-फिडेलिटी (dual-fidelity) फ्रेमवर्क है जो एक ही BO लूप के भीतर LLM भविष्यवाणियों को वास्तविक प्रयोगात्मक अवलोकनों के साथ व्यवस्थित रूप से एकीकृत करता है। LABO, LLMs को अनस्ट्रक्चर्ड वैज्ञानिक पूर्व ज्ञान और इन-कॉन्टेक्स्ट रीजनिंग से प्राप्त "LLM-फिडेलिटी" जानकारी के एक विशिष्ट स्रोत के रूप में मानता है।

1. मॉडलिंग: केनेडी-ओ'हैगन (KOH) जॉइंट गॉसियन प्रोसेस

LABO वास्तविक-फिडेलिटी ऑब्जेक्टिव $f_R(x)$ और LLM-फिडेलिटी भविष्यवाणी $f_L(x)$ के बीच संबंध को मॉडल करने के लिए KOH धारणा को अपनाता है। वास्तविक-फिडेलिटी फंक्शन को इस प्रकार विघटित किया जाता है:
$f_R(x) = \rho f_L(x) + \delta(x)$
जहाँ:

$\rho$ एक स्केलर स्केलिंग फैक्टर है जो फिडेलिटीज के बीच वैश्विक अंशांकन (global calibration) का प्रतिनिधित्व करता है।
$\delta(x)$ एक एडिटिव विसंगति प्रक्रिया (additive discrepancy process) है जो उन संरचनात्मक अंतरों या पूर्वाग्रहों को कैप्चर करती है जिन्हें LLM द्वारा नहीं समझा गया है।
$f_L(x)$ और $\delta(x)$ दोनों को स्वतंत्र शून्य-माध्य गॉसियन प्रोसेस (GPs) के रूप में मॉडल किया गया है।

यह फॉर्मूलेशन सर्ोगेट मॉडल को सस्ते LLM क्वेरीज़ का उपयोग करके वास्तविक-फिडेलिटी पोस्टीरियर को अपडेट करने की अनुमति देता है। यदि LLM भविष्यवाणियाँ अवलोकनों के साथ अच्छी तरह मेल खाती हैं, तो विसंगति (discrepancy) छोटी रहती है, और मॉडल LLM प्रायर का कुशलतापूर्वक लाभ उठाता है। यदि भविष्यवाणियाँ अविश्वसनीय हैं, तो विसंगति वेरिएंस हावी हो जाता है, जो वास्तविक दुनिया के मूल्यांकन की आवश्यकता का संकेत देता है।

2. निर्णय तंत्र: विसंगति-प्रभुत्व गेटिंग (Discrepancy-Dominance Gating)

यह निर्धारित करने के लिए कि महंगे वास्तविक-फिडेलिटी स्रोत को क्वेरी करना है या सस्ते LLM स्रोत पर भरोसा करना है, LABO विसंगति-प्रभुत्व अनुपात (discrepancy dominance ratio) के आधार पर एक गेटिंग मानदंड का उपयोग करता है:
$p_\Delta(x) = \frac{\sigma^2_\delta(x)}{\rho^2\sigma^2_L(x) + \sigma^2_\delta(x)}$
यह अनुपात कुल प्रेडिक्टिव अनिश्चितता में विसंगति टर्म $\delta(x)$ के योगदान को मापता है।

विश्वसनीय क्षेत्र (Reliable Region) ( $p_\Delta(x) \le \tau$ ): यदि कुल अनिश्चितता के सापेक्ष विसंगति अनिश्चितता कम है, तो LLM भविष्यवाणी को विश्वसनीय माना जाता है। LABO वास्तविक प्रयोग किए बिना LLM-फिडेलिटी GP का उपयोग करके सर्ोगेट को अपडेट करता है।
अविश्वसनीय क्षेत्र (Unreliable Region) ( $p_\Delta(x) > \tau$ ): यदि विसंगति हावी है, तो LLM सिग्नल अनिश्चितता को कम करने के लिए अपर्याप्त है। LABO दोनों LLM और विसंगति मॉडलों को अपडेट करने के लिए एक वास्तविक-फिडेलिटी प्रयोग को ट्रिगर करता है।

3. अनुकूलन वर्कफ़्लो (Optimization Workflow)

वार्म-स्टार्ट (Warm-Start): LLM को डोमेन ज्ञान के साथ प्रॉम्प्ट किया जाता है ताकि शुरुआती वास्तविक प्रयोगों के लिए उच्च-क्षमता वाले उम्मीदवारों का प्रस्ताव दिया जा सके और खोज स्थान को कवर करने वाले LLM-फिडेलिटी भविष्यवाणियों का एक विस्तृत सेट (लैटिन हाइपरक्यूब सैंपलिंग के माध्यम से) तैयार किया जा सके।
पुनरावृत्ति लूप (Iterative Loop): LABO कंपोजिट सर्ोगेट पर एक एक्विजिशन फंक्शन (जैसे UCB) का उपयोग करके उम्मीदवारों का चयन करता है। प्रत्येक उम्मीदवार के लिए, यह LLM को क्वेरी करता है, गेटिंग मानदंड का मूल्यांकन करता है, और केवल तभी वास्तविक प्रयोग करता है जब आवश्यक हो।

मुख्य योगदान (Key Contributions)

सिद्धांतबद्ध फ्रेमवर्क: LABO का प्रस्ताव, जो एक द्वैत-फिडेलिटी BO फ्रेमवर्क है जो KOH जॉइंट GP मॉडल का उपयोग करके वास्तविक प्रयोगों के साथ LLM-व्युत्पन्न भविष्यवाणियों को एकीकृत करता है।
सैद्धांतिक गारंटी: संचयी रिग्रेट बाउंड्स (cumulative regret bounds) की स्थापना जो दर्शाती है कि जब LLM मार्गदर्शन सूचनात्मक होता है, तो LABO सैंपल दक्षता में सुधार करता है। विश्लेषण से पता चलता है कि रिग्रेट $X^*_R$ (जहाँ वास्तविक प्रयोग वास्तव में आवश्यक हैं) के सूचनात्मक क्षमता के साथ स्केल होता है, जो पूरे सर्च स्पेस की तुलना में काफी छोटा है, भले ही LLM सिग्नल शोरपूर्ण या भ्रामक हों।
अनुभवजन्य सत्यापन: विभिन्न वैज्ञानिक अनुकूलन कार्यों (रसायन विज्ञान, सामग्री विज्ञान, ऊर्जा प्रणाली और पोषण) पर LABO की व्यावहारिक उपयोगिता का प्रदर्शन, जो दिखाता है कि यह निश्चित वास्तविक-फिडेलिटी बजट के तहत मौजूदा विधियों की तुलना में लगातार उच्च-प्रदर्शन वाले फॉर्मूलेशन पाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह वैज्ञानिक अनुकूलन कार्यों (जैसे COF गैस सेपरेशन, फुलरीन रिएक्शन यील्ड, फ्लो बैटरी परफॉरमेंस) पर LABO का मूल्यांकन किया।

प्रदर्शन: LABO ने वैनिला BO, LLAMBO, BOPRO और CAKE सहित बेसलाइन को लगातार पछाड़ दिया। उच्च-आयामी कार्यों (जैसे COF, Sandwich) पर, LABO ने सीमित बजट के भीतर बेहतर अंतिम ऑब्जेक्टिव मान प्राप्त किए। निम्न-आयामी कार्यों पर, इसने स्थिर अभिसरण (convergence) बनाए रखा।
सैंपल दक्षता: गेटिंग मानदंड ने उच्च-अनिश्चितता वाले उप-क्षेत्रों में वास्तविक-फिडेलिटी मूल्यांकन को सफलतापूर्वक केंद्रित किया, जबकि व्यापक वैश्विक अन्वेषण के लिए LLM क्वेरीज़ का उपयोग किया। इसके परिणामस्वरूप प्रभावी रूप से कम खोज क्षेत्र $X^*_R$ प्राप्त हुआ।
मजबूती (Robustness): एब्लेशन अध्ययनों ने पुष्टि की कि प्रदर्शन में वृद्धि केवल इनिशियलाइजेशन के बजाय LLM भविष्यवाणियों की सूचनात्मक प्रकृति (पूर्व ज्ञान पर आधारित) से आती है। LABO विभिन्न LLM बैकबोन (विभिन्न आकार और रीजनिंग क्षमताएं) और विभिन्न गेटिंग थ्रेशोल्ड ( $\tau$ ) के बीच मजबूत रहा।
लागत-लाभ: COF कार्य पर एक लागत विश्लेषण में, LABO ने वैनिला BO के \ $6000 (60 वास्तविक प्रयोग, प्रति वास्तविक प्रयोग \$ 100 मानकर) की तुलना में \ $964 की कुल लागत (164 LLM क्वेरी और 8 वास्तविक प्रयोग का उपयोग करके, प्रति LLM क्वेरी \$ 1 मानकर) के साथ समान प्रदर्शन स्तर प्राप्त किया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LABO वैज्ञानिक खोज वर्कफ़्लो में LLMs को एकीकृत करने के लिए एक व्यावहारिक और सैद्धांतिक रूप से ठोस दृष्टिकोण प्रदान करता है। LLM भविष्यवाणियों और वास्तविकता के बीच विसंगति को स्पष्ट रूप से मॉडल करके, LABO LLMs पर आँख मूँदकर भरोसा करने के खतरों से बचता है और उनकी कम लागत वाली, व्यापक-अन्वेषण क्षमताओं का लाभ उठाता है।

लेखक इस बात पर जोर देते हैं कि उनके दृष्टिकोण के लिए LLM की सटीकता पर संरचनात्मक धारणाओं की आवश्यकता नहीं है; फ्रेमवर्क स्थानिक रूप से परिवर्तनशील अनिश्चितता (spatily varying uncertainty) के अनुकूल है। सैद्धांतिक विश्लेषण बताता है कि LABO वास्तविक प्रयोगों को डोमेन के उस प्रगतिशील रूप से प्रतिबंधित उपसमुच्चय तक सीमित करके बेहतर सैंपल दक्षता प्राप्त करता है जहाँ LLM सिग्नल सूचनात्मक नहीं होते हैं, जिससे वास्तविक प्रयोग बजट को बढ़ाए बिना इष्टतम वैज्ञानिक फॉर्मूलेशन की खोज में तेजी आती है।