🤖 machine learning

Elicitation-Augmented Bayesian Optimization

यह शोध पत्र एक मानव-इन-द-लूप बेयसियन अनुकूलन ढांचे को प्रस्तुत करता है जो अंतर्निहित विशेषज्ञ ज्ञान को प्राप्त करने के लिए युग्मवार तुलनाओं का लाभ उठाता है, और बेहतर नमूना दक्षता के लिए प्रत्यक्ष अवलोकनों और विशेषज्ञ प्रश्नों के बीच गतिशील रूप से संतुलन बनाने हेतु एक लागत-जागरूक सूचना-का-मूल्य अधिग्रहण फलन का उपयोग करता है।

मूल लेखक: Alvar Haltia, Ville Hyvönen, Samuel Kaski

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alvar Haltia, Ville Hyvönen, Samuel Kaski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंध भरे शहर में एक नया पार्क बनाने के लिए सबसे बेहतरीन जगह खोजने की कोशिश कर रहे हैं। आप वह स्थान चाहते हैं जहाँ सबसे अधिक धूप हो, सबसे अच्छी मिट्टी हो और शोर सबसे कम हो। लेकिन इन स्थितियों की जाँच करना महंगा और धीमा है: आपको वैज्ञानिकों की एक टीम को भौतिक रूप से गड्ढे खोदने और सूरज को मापने के लिए भेजना पड़ता है (इसे हम "डायरेक्ट इवैल्यूएशन" या सीधा मूल्यांकन कह सकते हैं)। प्रत्येक जाँच की लागत $5 है।

लेकिन आपके पास एक स्थानीय विशेषज्ञ है जो शहर को बहुत अच्छी तरह जानता है। वे सटीक संख्याएँ तो नहीं दे सकते, लेकिन वे दो जगहों को देखकर आसानी से कह सकते हैं, "मुझे 90% यकीन है कि स्पॉट A, स्पॉट B से बेहतर है।" विशेषज्ञ से उनकी राय माँगना तेज़ और सस्ता है, जिसकी लागत केवल $1 है।

पुराने तरीकों के साथ समस्या

स्थान खोजने के पिछले तरीकों में एक बड़ी खामी थी: उन्होंने मान लिया था कि विशेषज्ञ एक सटीक मानचित्र या कोई विशिष्ट संख्या (जैसे "सबसे अच्छा स्थान 45 डिग्री अक्षांश पर है") दे सकता है। लेकिन वास्तविक जीवन में, मानव विशेषज्ञों के पास अक्सर "अंतर्ज्ञान" (gut feelings) या "अव्यक्त ज्ञान" (tacit knowledge) होता है। वे हमेशा किसी संख्या को नहीं बता सकते, लेकिन वे दो चीजों की तुलना करने में बहुत अच्छे होते हैं।

नया समाधान: EA-BO

यह शोध पत्र एक नए तरीके, Elicitation-Augmented Bayesian Optimization (EA-BO) को पेश करता है। इसे एक स्मार्ट प्रोजेक्ट मैनेजर के रूप में समझें जो यह जानता है कि महंगे वैज्ञानिक परीक्षणों और सस्ते विशेषज्ञ विचारों को मिलाकर पैसे बचाने और बेहतर जगह को तेज़ी से खोजने के लिए कैसे उपयोग किया जाए।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "टेस्ट ऑफ टेस्ट" बनाम "लैब रिपोर्ट"

डायरेक्ट इवैल्यूशन (लैब रिपोर्ट): यह महंगी, उच्च-सटीक डेटा है। यह आपको सटीक सच्चाई बताती है, लेकिन यह धीमी है।
पेयरवाइज कंपैरिजन (टेस्ट ऑफ टेस्ट): यह सस्ता, शोर वाला डेटा है। विशेषज्ञ दो सूप चखता है और कहता है, "सूप A, सूप B से बेहतर है।" यह एक आदर्श माप नहीं है, लेकिन यह एक मजबूत संकेत देता है।

2. स्मार्ट बजट मैनेजर

इसकी मुख्य नवीनता एक "कॉस्ट-अवेयर वैल्यू-ऑफ-इन्फॉर्मेशन" नियम है। कल्पना कीजिए कि प्रोजेक्ट मैनेजर के पास एक निश्चित बजट (मान लीजिए $150) है। उन्हें तय करना होगा: *क्या मुझे अभी एक लैब टेस्ट पर$ 5 खर्च करने चाहिए, या विशेषज्ञ की राय पर $1?*

खेल की शुरुआत में: मैनेजर के पास बहुत कम जानकारी होती है। विशेषज्ञ के सस्ते "टेस्ट ऑफ टेस्ट" अविश्वसनीय रूप से मूल्यवान होते हैं क्योंकि वे तेजी से खराब क्षेत्रों को बाहर कर देते हैं। मैनेजर इन सस्ते तुलनाओं पर अपना अधिकांश बजट खर्च करता है ताकि खोज को सीमित किया जा सके।
खेल के अंत में: एक बार जब मैनेजर ने कुछ आशाजनक स्थानों को संकुचित कर लिया है, तो सस्ते तुलनात्मक परीक्षण दो बहुत समान स्थानों के बीच अंतर बताने के लिए पर्याप्त नहीं होते। अब, मैनेजर सटीक अंतिम उत्तर प्राप्त करने के लिए महंगे "लैब रिपोर्ट्स" पर स्विच कर देता है।

यह विधि स्वचालित रूप से यह तय करती है कि सस्ते अनुमानों से महंगे तथ्यों की ओर कब स्विच करना है, बिना किसी इंसान द्वारा यह बताए कि कब ऐसा करना है।

3. "कॉन्वेक्स हल" (Convex Hull) उपलब्धि

शोध पत्र का दावा है कि यह तरीका इतना अच्छा है कि यह अनिवार्य रूप से "केवल विशेषज्ञों के उपयोग" और "केवल लैब के उपयोग" के सर्वोत्तम प्रदर्शन को जोड़ने वाली एक रेखा खींचता है।

यदि तुलना सस्ती है, तो यह तुलनाओं का मास्टर बन जाता है।
यदि तुलनाएं शोर भरी या महंगी हैं, तो यह लैब टेस्ट का मास्टर बन जाता है।
यह कभी भी किसी भी एकल विधि से बदतर प्रदर्शन नहीं करता है; यह हमेशा सर्वोत्तम परिणाम पाने के लिए दोनों को मिलाने का तरीका ढूंढ लेता है।

उन्होंने क्या टेस्ट किया

शोधकर्ताओं ने इसे विभिन्न स्तरों की जटिलता वाले कई "आभासी शहरों" (गणितीय बेंचमार्क) पर परखा।

परिणाम: EA-BO ने केवल लैब या केवल विशेषज्ञों का उपयोग करने वाले तरीकों की तुलना में लगातार बेहतर समाधान तेजी से खोजे।
तुलना: इसने एक पिछले तरीके CoExBO को भी मात दी जो विशेषज्ञ की राय का उपयोग करने का प्रयास करता था, लेकिन वह पुराना तरीका विशेषज्ञ का उपयोग करने या लैब का उपयोग करने के बीच निर्णय लेने में कम कुशल था।

मुख्य निष्कर्ष

यह शोध पत्र एक ऐसा उपकरण प्रस्तुत करता है जो आपको उन महंगे प्रक्रियाओं को अनुकूलित करने में मदद करता है जहाँ मानव विशेषज्ञों की मदद ली जा सकती है जो संख्याएँ तो नहीं दे सकते लेकिन चीज़ों की तुलना कर सकते हैं। यह विशेषज्ञ के "अंतर्ज्ञान" को वैध डेटा के रूप में मानता है, इसे हार्ड डेटा के साथ मिलाता है, और स्वचालित रूप से यह तय करता है कि सर्वोत्तम संभव समाधान खोजने के लिए अपने बजट का सबसे लागत प्रभावी तरीका क्या है।

तकनीकी सारांश: इलिसिटेशन-ऑगमेंटेड बेयसियन ऑप्टिमाइज़ेशन (EA-BO)

समस्या विवरण

बेयसियन ऑप्टिमाइज़ेशन (BO) महंगी ब्लैक-बॉक्स फलनों (functions) को अनुकूलित करने के लिए एक सैंपल-कुशल ढांचा है। जबकि ह्यूमन-इन-द-लूप (HITL) BO विधियाँ डोमेन विशेषज्ञता का लाभ उठाकर लागत-दक्षता में सुधार करने का लक्ष्य रखती हैं, मौजूदा दृष्टिकोण आमतौर पर यह मान लेते हैं कि विशेषज्ञ अपने ज्ञान को स्पष्ट रूप से परिमाणित (quantify) कर सकते हैं (जैसे, पूर्व वितरण निर्दिष्ट करना या क्वेरी स्थानों को सटीक रूपना)। हालाँकि, मानवीय विशेषज्ञता अक्सर अंतर्निहित (tacit) और गुणात्मक होती है; मनुष्य कैलिब्रेटेड संख्यात्मक मान असाइन करने की तुलना में उम्मीदवारों को रैंक करने में अधिक विश्वसनीय होते हैं।

यह शोध पत्र पेयरवाइज कंपैरिजन (दो डिजाइनों की तुलना करना) के माध्यम से प्रत्यक्ष परिमाणीकरण के बजाय अंतर्निहित विशेषज्ञ ज्ञान को BO में शामिल करने की चुनौती को संबोधित करता है। मुख्य समस्या एक ऐसी विधि विकसित करना है जो:

प्रत्यक्ष फलन मूल्यांकन (महंगे, उच्च-निष्ठा वाले) को पेयरवाइज तुलनाओं (सस्ते, निम्न-निष्ठा वाले, शोरयुक्त) के साथ जोड़ती है।
ज्ञात उपयोगिता फलन (utility function) के तहत एकल- और बहु-उद्देश्यीय अनुकूलन दोनों को संभालती है।
इन दोनों सूचना स्रोतों की सापेक्ष लागत और सूचनात्मकता के आधार पर एक निश्चित बजट को गतिशील रूप से आवंटित करती है।

कार्यप्रणाली (Methodology)

1. सरोगेट मॉडल: मिक्स्ड-लाइक्लीहुड स्पार्स वेरिएशनल GP

लेखक एक गाऊसी प्रोसेस (GP) सरोगेट मॉडल प्रस्तावित करते हैं जो प्रत्यक्ष अवलोकनों और पेयरवाइज तुलनाओं दोनों को फलन $f$ के बारे में शोरयुक्त साक्ष्य (evidence) के रूप में मानता है।

प्रत्यक्ष अवलोकन: इन्हें मानक गाऊसी लाइक्लीहुड के साथ मॉडल किया गया है: $y = f(x) + \epsilon_{eval}$ ।
पेयरवाइज तुलना: इन्हें प्रोबिट लिंक फंक्शन का उपयोग करके मॉडल किया गया है। एक बाइनरी निर्णय $d \in \{0, 1\}$ यह संकेत देता है कि क्या $x$ को $x'$ से उच्च रैंक दिया गया है, जो उपयोगिता अंतर $\Delta = U(f(x)) - U(f(x'))$ पर आधारित है। लाइक्लीहुड है $p(d=1) = \Phi\left(\frac{\Delta}{\sqrt{2}\sigma_{comp}}\right)$ ।
अनुमान (Inference): मॉडल पोस्टीरियर को अनुमानित करने के लिए स्पार्स वेरिएशनल इन्फरेंस (SVGP) का उपयोग करता है। एविडेंस लोअर बाउंड (ELBO) अवलोकनों और तुलनाओं के लिए अलग-अलग पदों में विभाज्य है।
- अवलोकन पद एक क्लोज्ड-फॉर्म गाऊसी समाधान स्वीकार करता है।
- तुलना पद $\log \Phi(\cdot)$ के एक प्रत्याशा (expectation) को शामिल करता है। लीनियर उपयोगिता कार्यों के लिए, उपयोगिता अंतर गाऊसी होता है, जिससे प्रत्याशा को एक-आयामी गॉस-हर्मिट क्वाड्रचर (Gauss–Hermite quadrature) के माध्यम से कंप्यूट किया जा सकता है। नॉन-लीनियर उपयोगिताओं को मोमेंट मैचिंग (moment matching) के माध्यम से संभाला जाता है।

2. एक्विजिशन फंक्शन: कॉस्ट-अवेयर वैल्यू ऑफ इंफॉर्मेशन (VoI)

यह विधि अगले कार्य को चुनने के लिए एक मायोपिक (myopic), वन-स्टेप लुकअहेड रणनीति अपनाती है। एक्शन स्पेस में प्रत्यक्ष मूल्यांकन ( $x \in \mathcal{X}$ ) और पेयरवाइज क्वेरीज़ ( $(x, x') \in \mathcal{X}^2$ ) दोनों शामिल हैं।

लक्ष्य: लागत-सामान्यीकृत वैल्यू ऑफ इंफॉर्मेशन को अधिकतम करना: $\frac{\alpha(a; D)}{c(a)}$ , जहाँ $\alpha$ अपेक्षित उपयोगिता लाभ है और $c(a)$ लागत है।
प्रत्यक्ष मूल्यांकन VoI ( $\alpha_{eval}$ ): लीनियर उपयोगिताओं के लिए नॉलेज ग्रेडिएंट (Knowledge Gradient) में बदल जाता है। इसे फैंटेसी पॉइंट्स (fantasy points) का उपयोग करके "वन-शॉट" पुनर्गठन के साथ अनुकूलित किया जाता है।
पेयरवाइज तुलना VoI ( $\alpha_{comp}$ ): लेखक ज्ञात उपयोगिता के साथ मल्टी-आउटपुट उद्देश्यों के लिए प्रोबिट लाइक्लीहुड के तहत एक क्लोज्ड-फॉर्म फैंटेसी पोस्टीरियर अपडेट व्युत्पन्न करते हैं। यह पेयरवाइज नॉलेज ग्रेडिएंट (Wu and Gardner, 2026) को मल्टी-आउटपुट मामले में विस्तारित करता है। VoI को बाइनरी परिणाम पर एक डिस्क्रीट एक्सपेक्टेशन के रूप में सटीक रूप से गणना किया जाता है, जिससे तुलना चरण के लिए मोंटे कार्लो सन्निकटन (Monte Carlo approximation) से बचा जा सके।
अनुकूलन (Optimization): दोनों एक्विजिशन फंक्शनों को वन-शॉट पुनर्गठन और एडम (Adam) ऑप्टिमाइज़र का उपयोग करके कैंडिडेट इनपुट्स के साथ संयुक्त रूप से अनुकूलित किया जाता है।

प्रमुख योगदान

मिक्स्ड-लाइक्लीहुड स्पार्स वेरिएशनल GP: एक गाऊसी ऑब्जर्वेशन लाइक्लीहुड को प्रोबिट कंपैरिजन लाइक्लीहुड के साथ जोड़ने द्वारा GP पोस्टीरियर को अपडेट करने के लिए एक सिद्धांत आधारित विधि, जो एक विभाज्य ELBO प्रदान करती है।
कॉस्ट-अवेयर एक्विजिशन रूल: मल्टी-आउटपुट उद्देश्यों के लिए प्रोबिट तुलनाओं के तहत एक क्लोज्ड-फॉर्म पोस्टीरियर मीन अपडेट का व्युत्पत्ति, जो मैन्युअल शेड्यूलिंग के बिना डायरेक्ट इवैल्यूएशन और पेयरवाइज क्वेरी के बीच संतुलन बनाने वाला एक कॉस्ट-नॉर्मलाइज्ड VoI एक्विजिशन फंक्शन सक्षम करता है।
एकीकृत ढांचा (Unified Framework): एक एकल एल्गोरिदम (EA-BO) जो पेयरवाइज रैंकिंग को ऑब्जर्वेबल ऑब्जेक्टिव फंक्शन वैल्यूज के साक्ष्य के रूप में मानकर, सिंगल- और मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन को समान रूप से संभालता है।

प्रयोगात्मक परिणाम

विधि, जिसे एलिसिटेशन-ऑगमेंटेड बेयसियन ऑप्टिमाइज़ेशन (EA-BO) नाम दिया गया है, का लीनियर और चेबिशेव उपयोगिता कार्यों के साथ मानक सिंगल- और मल्टी-ऑब्जेक्टिव बेंचमार्क (Branin, Hartmann6, BraninCurrin, VLMOP2) पर मूल्यांकन किया गया।

सिंगल-सोर्स बनाम प्रदर्शन: EA-BO व्यक्तिगत सूचना स्रोतों के प्रक्षेप पथों (trajectories) के कॉन्वेक्स हल (convex hull) के करीब पहुँचता है।
- जब पेयरवाइज तुलनाएं सस्ती होती हैं (जैसे, मूल्यांकनों से 5 गुना सस्ती), तो EA-BO शुरुआती बजट का अधिकांश हिस्सा तुलनाओं को आवंटित करता है, जिससे तुलना-केवल विधियों (KG-Comp) के समान तीव्र प्रारंभिक अभिसरण (convergence) प्राप्त होता है।
- जैसे-जैसे पोस्टीरियर तीक्ष्ण (sharpen) होता है या तुलनाएं शोरयुक्त होती हैं, EA-BO प्रत्यक्ष मूल्यांकनों की ओर बढ़ता है, जिससे मूल्यांकन-केवल BO (KG-Eval) की स्पर्शोन्मुखी सटीकता (asymptotic accuracy) प्राप्त होती है।
HITL बेसलाइन्स बनाम प्रदर्शन: EA-BO CoExBO (Adachi et al., 2024) को काफी पीछे छोड़ देता है, जो पेयरवाइज तुलनाओं का उपयोग करने वाला निकटतम मौजूदा HITL तरीका है। CoExBO के विपरीत, जो एक सहायक मॉडल के माध्यम से उम्मीदवार चयन को निर्देशित करने के लिए तुलनाओं का उपयोग करता है, EA-BO उन्हें सीधे लाइक्लीहुड साक्ष्य के रूप में शामिल करता है।
संवेदनशीलता (Sensitivity):
- कॉस्ट रेश्यो: EA-BO स्वचालित रूप से तुलनाओं को तब त्याग देता है जब वे मूल्यांकनों की तुलना में अधिक महंगी होती हैं और जैसे-जैसे कॉस्ट रेश्यो बढ़ता है, आवंटन बढ़ाता है।
- शोर (Noise): विधि तुलनाओं को तब आगे बढ़ाती है जब वे सूचनात्मक होती हैं। जैसे-जैसे तुलना का शोर बढ़ता है, एल्गोरिदम धीरे-धीरे प्रत्यक्ष मूल्यांकनों की ओर स्थानांतरित हो जाता है। दिलचस्प बात यह है कि मध्यम शोर स्तरों पर, प्रदर्शन में एक नॉन-मोनोटोनिक गिरावट आती है क्योंकि मायोपिक VoI शोरयुक्त तुलनाओं को पूरी तरह से छोड़ने से पहले उन्हें सकारात्मक मूल्य प्रदान करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि EA-BO, BO में अंतर्निहित मानवीय विशेषज्ञता का लाभ उठाने के लिए एक मजबूत, अनुकूलनीय ढांचा प्रदान करता है। इसका प्राथमिक महत्व इस क्षमता में निहित है कि यह सस्ते, शोरयुक्त गुणात्मक डेटा (रैंकिंग) और महंगे, उच्च-निष्ठा वाले मात्रात्मक डेटा (मूल्यांकन) के बीच स्वचालित रूप से संतुलन बना सकता है।

लेखक कहते हैं कि विधि:

जब पेयरवाइज क्वेरीज़ मूल्यांकनों की तुलना में सस्ती होती हैं, तो सैंपल-एफिशिएंसी में महत्वपूर्ण सुधार करती है।
जब पेयरवाइज क्वेरीज़ बहुत महंगी या शोरयुक्त होती हैं, तो यह मानक BO के प्रदर्शन को पुनः प्राप्त कर लेती है।
सूचना स्रोतों के बीच मैन्युअल शेड्यूलिंग या ह्यूरिस्टिक स्विचिंग की आवश्यकता को समाप्त करती है।
ज्ञात उपयोगिताओं के साथ मल्टी-आउटपुट सेटिंग्स के लिए पेयरवाइज नॉलेज ग्रेडिएंट का एक सिद्धांत आधारित विस्तार प्रदान करती है।

यह शोध पत्र सीमाओं को स्वीकार करता है, विशेष रूप से यह धारणा कि विशेषज्ञ निर्णय वास्तविक उपयोगिता फलन $U \circ f$ द्वारा शासित होते हैं (विशेषज्ञ के मानसिक मॉडल में संभावित विचलन को अनदेखा करते हुए) और अनुकूलन से पहले उपयोगिता फलन $U$ के ज्ञात होने की आवश्यकता। भविष्य के कार्यों में लर्न करने योग्य उपयोगिता फलन (learnable utility functions) और विशेषज्ञ के मानसिक मॉडल और वास्तविक उद्देश्य के बीच लर्न करने योग्य सहसंबंधों को संबोधित करने का प्रस्ताव दिया गया है।