🤖 machine learning

QUIVER: Cost-Aware Adaptive Preference Querying in Surrogate-Assisted Evolutionary Multi-Objective Optimization

QUIVER एक लागत-सचेत (cost-aware), सरोगेट-असिस्टेड इवोल्यूशनरी ऑप्टिमाइज़र है जो प्रति इकाई लागत पर निर्णय-गुणवत्ता में सुधार को अधिकतम करने के लिए महंगे ऑब्जेक्टिव मूल्यांकन और विषम प्राथमिकता प्रश्नों (heterogeneous preference queries) के बीच अनुकूल रूप से संतुलन बनाता है, जो चुनौतीपूर्ण मल्टी-ऑब्जेक्टिव समस्याओं पर सिंगल-मोडैलिटी बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Florian A. D. Burnat

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Florian A. D. Burnat

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक बेहतरीन नया व्यंजन बनाने की कोशिश कर रहे हैं, लेकिन आपके पास सामग्री के लिए बहुत सीमित बजट और समय भी बहुत कम है। आपके पास एक फूड क्रिटिक (निर्णय लेने वाला) भी है, जिसका स्वाद आपको अभी तक पता नहीं है।

आपका लक्ष्य वह एकल सर्वश्रेष्ठ व्यंजन खोजना है जिसे क्रिटिक पसंद करे। इसे करने के लिए, आपके पास अपने बजट को खर्च करने के दो मुख्य तरीके हैं:

खाना बनाना (वस्तुनिष्ठ मूल्यांकन): आप वास्तव में व्यंजन बनाते हैं, उसे चखते हैं, और उसके स्वाद, नमकीनपन और बनावट को मापते हैं। यह महंगा है और इसमें बहुत समय लगता है।
क्रिटिक से पूछना (पसंद का पता लगाना): आप क्रिटिक से फीडबैक मांगते हैं। लेकिन आप इसे दो अलग-अलग तरीकों से पूछ सकते हैं:
- त्वरित जांच (पेयरवाइज प्रेफरेंस - PS): आप क्रिटिक को दो व्यंजन दिखाते हैं और पूछते हैं, "क्या आपको A पसंद है या B?" यह सस्ता और तेज़ है, लेकिन यह केवल एक सरल "हाँ/ना" उत्तर देता है।
- गहन विसर्जन (इंडिफरेंस एडजस्टमेंट - IA): आप क्रिटिक से पूछते हैं, "डिस्क A में कितना अधिक नमक चाहिए होगा ताकि इसका स्वाद बिल्कुल डिस्क B जैसा हो जाए?" यह क्रिटिक के लिए उत्तर देना कठिन है और इसमें मानसिक ऊर्जा अधिक लगती है, लेकिन यह आपको उनकी पसंद की एक समृद्ध, अधिक सटीक समझ देता है।

दुविधा

समस्या यह है: आप अपना पैसा कैसे खर्च करते हैं?

यदि आप अपना सारा पैसा खाना बनाने पर खर्च करते हैं, तो आप 100 बेहतरीन व्यंजन बना सकते हैं, लेकिन उनमें से कोई भी वह नहीं होगा जो क्रिटिक वास्तव में चाहता है।
यदि आप सारा पैसा पूछने में खर्च करते हैं, तो आपको पता चल सकता है कि क्रिटिक क्या चाहता है, लेकिन आपने वास्तव में पर्याप्त व्यंजन नहीं बनाए होंगे ताकि उस उत्तम व्यंजन को खोजा जा सके।
यदि आप बहुत अधिक गहन विसर्जन (Deep Dive) वाले प्रश्न पूछते हैं, तो आप क्रिटिक का धैर्य समाप्त कर सकते हैं। यदि आप केवल त्वरित जांच (Quick Checks) ही करते हैं, तो आपके पास पर्याप्त विवरण नहीं होगा जिससे आप जीत सकें।

समाधान: QUIVER

यह पेपर एक स्मार्ट सिस्टम पेश करता है जिसे QUIVER कहा जाता है। QUIVER को अपने किचन के एक सुपर-एफिशिएंट प्रोजेक्ट मैनेजर के रूप में सोचें।

एक कठोर योजना (जैसे "10 प्रश्न पूछें, फिर 5 व्यंजन बनाएं") पर टिके रहने के बजाय, QUIVER लगातार गणना करता है: "अभी, कौन सा कार्य मुझे कम से कम पैसे में सबसे उपयोगी जानकारी देगा?"

यह "सूचना के मूल्य" (Value of Information) कैलकुलेटर का उपयोग करता है। यह खुद से पूछता है:

"क्या क्रिटिक अभी भ्रमित है? यदि हाँ, तो एक त्वरित जांच (PS) सस्ती है और इससे स्थिति स्पष्ट करने में मदद मिलेगी।"
"क्या क्रिटिक निर्णय लेने के बहुत करीब है, लेकिन मुझे स्वादों के सटीक संतुलन को जानने की आवश्यकता है? तो, गहन विसर्जन (IA) के लिए अतिरिक्त लागत उठाने लायक है क्योंकि यह एक सटीक मानचित्र प्रदान करता है।"

यह वास्तविक जीवन में कैसे काम करता है (पेपर के अनुसार)

शोधकर्ताओं ने QUIVER का परीक्षण कुछ बहुत कठिन "रेसिपी" पहेलियों (जिन्हें WFG समस्या कहा जाता है) और कुछ आसान पहेलियों (जिन्हें DTLZ समस्या कहा जाता है) पर किया।

आसान समस्याओं पर: पहेलियाँ सरल थीं। QUIVER ने महसूस किया, "अरे, यह तो आसान है! मुझे क्रिटिक को कठिन प्रश्न पूछकर परेशान करने की आवश्यकता नहीं है।" इसलिए, इसने 80% त्वरित जांच (Quick Checks) का उपयोग किया और अपनी ऊर्जा बचाई।
कठिन समस्याओं पर: पहेलियाँ पेचीदा और भ्रमित करने वाली थीं। QUIVER ने महसूस किया, "यह कठिन है। त्वरित जांच पर्याप्त विवरण नहीं दे रही हैं।" इसलिए, इसने अपनी रणनीति बदली और सटीक डेटा प्राप्त करने के लिए 35% गहन विसर्जन (Deep Dive) वाले प्रश्नों का उपयोग करना शुरू कर दिया।

परिणाम

QUIVER ने परीक्षण की गई हर अन्य रणनीति को हरा दिया।

"केवल खाना बनाने वाली" टीम (जिन्होंने कभी क्रिटिक से नहीं पूछा) अंत में ऐसे व्यंजन लेकर रुकी जिन्हें क्रिटिक ने नापसंद किया।
"केवल त्वरित जांच वाली टीम" अटक गई क्योंकि उनके पास पर्याप्त विवरण नहीं था।
QUIVER ने सबसे कठिन पहेलियों पर अन्य सभी की तुलना में 25% बेहतर तरीके से सर्वश्रेष्ठ व्यंजन खोजा।

"थकान" परीक्षण

शोधकर्ताओं ने एक ऐसा परिदृश्य भी सिम्युलेट किया जहाँ क्रिटिक थक जाता है। जैसे-जैसे क्रिटिक थकता है, "गहन विसर्जन" वाले प्रश्न और भी कठिन और महंगे होते जाते हैं।
QUIVER ने इस बदलाव को तुरंत नोटिस किया। जैसे-जैसे गहरे प्रश्न पूछने की लागत बढ़ी, QUIVER ने स्वचालित रूप से उन्हें पूछना बंद कर दिया और वापस सस्ते, आसान प्रश्नों पर स्विच हो गया। यह विफल नहीं हुआ; इसने बस कुशलता से काम करने के लिए अपनी रणनीति को अनुकूलित किया।

निचोड़

QUIVER एक स्मार्ट सिस्टम है जो जानता है कि कब सरल प्रश्न पूछने हैं और कब जटिल प्रश्न। यह उन महंगे प्रश्नों पर पैसा बर्बाद नहीं करता जिनकी आवश्यकता नहीं है, और न ही यह तब तक सरल उत्तरों से समझौता करता है जब तक कि उसे सत्य की आवश्यकता होती है। यह सर्वोत्तम समाधान खोजने के लिए पूछने की लागत और उत्तर के मूल्य के बीच संतुलन बनाता है।

तकनीकी सारांश: QUIVER – लागत-जागरूक अनुकूलन वरीयता पूछताछ (Cost-Aware Adaptive Preference Querying)

1. समस्या विवरण (Problem Statement)

इंटरैक्टिव मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन (MOO) प्रणालियाँ एक मौलिक संसाधन आवंटन दुविधा का सामना करती हैं। एक निश्चित बजट के भीतर, एक ऑप्टिमाइज़र को संसाधनों को ऑब्जेक्टिव इवैल्यूएशन (महंगे, जैसे भौतिक सिमुलेशन) और वरीयता पूछताछ (पारेटो सेट के निर्णय-निर्माता (DM) के पसंदीदा क्षेत्र की पहचान करना) के बीच वितरित करने का निर्णय लेना होता है।

यह समस्या वरीयता पूछताछ मोडैलिटीज (modality) की विषमता से और भी जटिल हो जाती है:

पेयरवाइज प्रेफरेंस (PS): "क्या आप A या B को पसंद करते हैं?" ये संज्ञानात्मक रूप से सस्ती हैं लेकिन केवल ऑर्डिनल (1-बिट) जानकारी प्रदान करती हैं।
इंडिफरेंस एडजस्टमेंट (IA): "A और B को समान रूप से पसंदीदा बनाने के लिए आपको ऑब्जेक्टिव $k$ को कितना समायोजित करना होगा?" ये संज्ञानात्मक रूप से अधिक मांग वाली हैं लेकिन कार्डिनल ट्रेड-ऑफ जानकारी (सीमांत प्रतिस्थापन दरें) प्रकट करती हैं।

मौजूदा विधियाँ आमतौर पर क्वेरी प्रोटोकॉल को स्थिर रखती हैं (जैसे आवधिक पेयरवाइज तुलना) या DM को एक पोस्ट-हॉक सेलेक्टर के रूप में मानती हैं। एक ऐसे ढांचे की कमी है जो सापेक्ष सूचना के मूल्य (Value of Information - VOI) प्रति इकाई लागत के आधार पर ऑब्जेक्टिव इवैल्यूएशन और विषम वरीयता पूछताछों के बीच एक एकीकृत बजट को अनुकूल रूप से आवंटित कर सके।

2. कार्यप्रणाली (Methodology): QUIVER फ्रेमवर्क

लेखक QUIVER (Query-Informed Value Estimation for Regret) प्रस्तावित करते हैं, जो एक सरोगेट-असिस्टेड इवोल्यूशनरी मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़र है। यह सिस्टम एक NSGA-II सर्च लेयर को एक कॉस्ट-अवेयर कंट्रोलर के साथ जोड़ता है जो एक एकीकृत स्पेस $\{ \text{Eval}, \text{PS}, \text{IA} \}$ से क्रियाओं को गतिशील रूप से चुनता है।

2.1 मुख्य घटक (Core Components)

सर्च लेयर (Search Layer): उम्मीदवारों के एक पॉपुलेशन और मूल्यांकित बिंदुओं के एक आर्काइव को बनाए रखने के लिए NSGA-II का उपयोग करता है। यह लेटेंट प्रेफरेंस वेट्स $w$ के वितरण को दर्शाने के लिए एक पार्टिकल-फ़िल्टर पोस्टीरियर का उपयोग करता है।
वरीयता मॉडलिंग (Preference Modeling):
- एक लीनियर स्केलेराइजेशन यूटिलिटी $u(f; w) = w^\top f$ मानती है।
- PS लाइकलीहुड (Likelihood): शोर (noise) के साथ लॉजिस्टिक फंक्शन (ब्रैडली-टी स्टाइल) के माध्यम से मॉडल की गई है।
- IA लाइकलीहुड: एक गॉसियन डिस्ट्रीब्यूशन के रूप में मॉडल की गई है जहाँ DM एक एडजस्टमेंट $\tilde{\delta}$ रिपोर्ट करता है ताकि यूटिलिटी को समान किया जा सके। यह वेट वेक्टर के बारे में कार्डिनल जानकारी प्रदान करता है।
- इन्फ्रेंस (Inference): अवलोकनों के आधार पर $p(w | \mathcal{D}_{pref})$ पोस्टीरियर को अपडेट करने के लिए सीक्वेंशियल मोंटे कार्लो (SMC) के साथ एक पार्टिकल फ़िल्टर का उपयोग करता है।
लागत-जागरूक क्रिया चयन (Cost-Aware Action Selection):
प्रत्येक चरण में, कंट्रोलर वह क्रिया $a$ $a$ चुनता है जो प्रति इकाई लागत अधिकतम अपेक्षित निर्णय-गुणवत्ता सुधार को अधिकतम करता है:
$a^* = \arg \max_{a} \frac{\mathbb{E}[\Delta Q \mid a, \mathcal{H}_t]}{c(a)}$
जहाँ:
- $c(a)$ क्रिया की लागत है ( $c_{eval} \gg c_{IA} > c_{PS}$ )।
- $\Delta Q$ $Δ Q$ निर्णय-गुणवत्ता में अपेक्षित सुधार है।
  - वरीयता पूछताछ (PS/IA) के लिए: $\Delta Q$ वरीयता पोस्टीरियर में अपेक्षित एंट्रॉपी रिडक्शन (सूचना लाभ) है।
  - इवैल्यूएशन के लिए: $\Delta Q$ 'वैल्यू ऑफ क्लेरवॉयेंस' (VOC) है, जो सर्वश्रेष्ठ उम्मीदवार के पोस्टीरियर अपेक्षित यूटिलिटी में अपेक्षित सुधार का प्रतिनिधित्व करता है।
- एस्टिमेशन (Estimation): अपेक्षित सूचना लाभ (EIG) को मोंटे कार्लो सिमुलेशन के माध्यम से अनुमानित किया जाता है। निरंतर IA प्रतिक्रियाओं और बाइनरी PS प्रतिक्रियाओं के बीच निष्पक्ष तुलना सुनिश्चित करने के लिए, म्यूचुअल इंफॉर्मेशन की गणना करने से पहले IA परिणामों को बिन्स (bins) में डिस्क्रीटाइज किया जाता है।

2.2 क्वेरी चयन रणनीति (Query Selection Strategy)

पेयर चयन (Pair Selection): वरीयता पूछताछ के लिए, जोड़े पोस्टीरियर डिसएग्रीमेंट (अधिकतम संभावना कि DM उदासीन है, यानी $p \approx 0.5$ ) के आधार पर चुने जाते हैं।
डायमेंशन चयन (IA के लिए): ऑब्जेक्टिव डायमेंशन $k$ को संबंधित वेट $w_k$ के पोस्टीरियर वेरिएंस को अधिकतम करने के लिए चुना जाता है।

3. मुख्य योगदान (Key Contributions)

औपचारिकीकरण (Formalization): एक अज्ञात लीनियर स्केलेराइजेशन के तहत कॉस्ट-अवेयर इंटरैक्टिव MOO को परिभाषित किया, जिसमें ऑब्जेक्टिव इवैल्यूएशन और विषम वरीयता पूछताछों (PS और IA) को एक एकीकृत बजट की गई क्रिया के रूप में माना गया।
VOI-आधारित चयन नियम: मोंटे कार्लो सिमुलेशन के माध्यम से अपेक्षित एंट्रॉपी रिडक्शन के उपयोग से एक व्यावहारिक क्रिया चयन नियम निकाला, जो ऑब्जेक्टिव एक्सप्लोरेशन और प्रेफरेंस लर्निंग को एक ही मानदंड के तहत एकीकृत करता है।
एल्गोरिदम कार्यान्वयन: QUIVER प्रस्तावित करता है, जो एक इवोल्यूशनरी एल्गोरिदम है जिसका बैकएंड NSGA-II है और जो एक पार्टिकल-फ़िल्टर प्रेफरेंस पोस्टीरियर के माध्यम से इस एडेप्टिव पॉलिसी को लागू करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक निर्णय-निर्माताओं के साथ DTLZ और WFG बेंचमार्क पर इसका मूल्यांकन किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन सिंथेटिक निर्णय-निर्माताओं के साथ DTLZ और WFG बेंचमार्क पर किया गया।

आसान समस्याओं पर प्रदर्शन (DTLZ2): सभी विधियों, जिनमें "Eval-only" और "PS-only" शामिल हैं, ने लगभग शून्य रिग्रेट प्राप्त किया। QUIVER मुख्य रूप से सस्ती PS पूछताछों को चुनता है (लगभग 80-87% वरीयता पूछताछ), क्योंकि समस्या कम जानकारी के साथ हल करने योग्य थी।
कठिन समस्याओं पर प्रदर्शन (WFG4, WFG9):
- QUIVER ने सबसे कम यूटिलिटी रिग्रेट हासिल किया, जो सभी बेसलाइन से बेहतर रहा।
- WFG9 (सबसे चुनौतीपूर्ण) पर, QUIVER ने 2.82 का रिग्रेट प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (3.77–3.90) से 25% सुधार है।
- एडेप्टिव शिफ्ट: कठिन समस्याओं पर, QUIVER ने अपनी रणनीति बदली, IA पूछताछ के हिस्से को बढ़ाकर 35% कर दिया (आसान समस्याओं पर 20% की तुलना में)। यह सिस्टम की क्षमता को दर्शाता है कि वह पहचान सके कि कब IA की उच्च सूचना सामग्री उसके अतिरिक्त लागत को न्यायसंगत बनाती है।
लागत संवेदनशीलता (Cost Sensitivity): जब IA की सापेक्ष लागत ( $c_{IA}/c_{PS}$ ) बढ़ाई गई, तो सिस्टम ने स्वचालित रूप से IA के उपयोग को कम कर दिया, जो कंट्रोलर की लागत-जागरूक प्रकृति की पुष्टि करता है।
थकान शासन (Fatigue Regime): एक डायनेमिक कॉस्ट परिदृश्य में जहाँ उपयोग के साथ IA की लागत बढ़ती है (मानसिक थकान का अनुकरण करते हुए), QUIVER ने IA के उपयोग को कम कर दिया और बजट को इवैल्यूएशन की ओर स्थानांतरित कर दिया, जो विनाशकारी विफलता के बजाय प्रदर्शन में क्रमिक गिरावट (graceful degradation) दिखाता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि QUIVER का प्राथमिक महत्व इसके अनुकूलनशील मोडैलिटी चयन (adaptive modality selection) में निहित है। मोडैलिटीज $\{ \text{Eval}, \text{PS}, \text{IA} \}$ को एक एकीकृत एक्शन स्पेस के रूप में मानकर, सिस्टम संसाधनों को समस्या की कठिनाई और विकसित होते लागत-सूचना ट्रेड-ऑफ के आधार पर गतिशील रूप से आवंटित कर सकता है।

सैद्धांतिक अंतर्दृष्टि: लेखकों ने एक मोडैलिटी स्विचिंग थ्रेशोल्ड स्थापित किया है: IA को PS पर तभी चुना जाता है जब उनके सूचना लाभ का अनुपात उनकी लागत के अनुपात से अधिक हो ( $IG_{IA}/IG_{PS} > c_{IA}/c_{PS}$ )।
व्यावहारिक प्रभाव: फ्रेमवर्क प्रदर्शित करता है कि चुनौतीपूर्ण अनुकूलन समस्याओं के लिए, कठोर रणनीतियाँ (फिक्स्ड शेड्यूल या सिंगल मोडैलिटी) उप-इष्टतम होती हैं। इसके बजाय, एक कॉस्ट-नॉर्मलाइज्ड VOI दृष्टिकोण ऑप्टिमाइज़र को तब अधिक "खर्च" करने की अनुमति देता है जब अनिश्चितता इतनी अधिक हो कि इसकी आवश्यकता हो।
सामान्यीकरण (Generalizability): कंट्रोलर ऑप्टिमाइज़र-स्वतंत्र है। हालांकि इसे NSGA-II के साथ लागू किया गया है, लेकिन VOI-पर-कॉस्ट सिद्धांत को अन्य बैकएंड (जैसे Bayesian Optimization, Random Search) पर भी लागू किया जा सकता है, बशर्ते वे उम्मीदवार उत्पन्न कर सकें और एक प्रेफरेंस पोस्टीरियर बनाए रख सकें।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि वर्तमान फ्रेमवर्क लीनियर यूटिलिटी मानता है (जो गैर-उत्तल/non-convex पारेटो फ्रंट के साथ संघर्ष कर सकता है) और सिंथेटिक DM का उपयोग करता है। उन्होंने गैर-रेखीय यूटिलिटी मॉडल और वास्तविक मानव निर्णय-निर्माताओं (जटिल थकान और विसंगति पैटर्न को ध्यान में रखते हुए) के साथ सत्यापन को आवश्यक भविष्य के कार्य के रूप में पहचाना है।