🤖 machine learning

LILO: Bayesian Optimization with Natural Language Feedback

यह शोध पत्र LILO को प्रस्तुत करता है, जो एक ऐसा बेयसियन ऑप्टिमाइज़ेशन फ्रेमवर्क है जो मुक्त-रूप प्राकृतिक भाषा फीडबैक को संरचित प्राथमिकता संकेतों में बदलने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है, जिससे पारंपरिक तरीकों की तुलना में जटिल, व्यक्तिपरक उद्देश्यों को अनुकूलित करने में नमूना दक्षता और लचीलेपन को बढ़ाया जा सके।

मूल लेखक: Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए व्यंजन के लिए एकदम सही रेसिपी खोजने की कोशिश कर रहे हैं, लेकिन आप खुद उसका स्वाद नहीं ले सकते। आपको एक शेफ (निर्णय लेने वाला - Decision Maker) पर निर्भर रहना होगा जो आपको बताए कि व्यंजन कैसा है।

पुराने तरीके में इसे करने का तरीका (पारंपरिक अनुकूलन/Traditional Optimization) यह था कि आपको शेफ से बहुत विशिष्ट, उबाऊ सवाल पूछने पड़ते जैसे: "1 से 10 के पैमाने पर, आपको नमक कितना पसंद आया?" या "क्या यह व्यंजन उस दूसरे वाले से बेहतर है?" यह धीमा है, और शेफ इतने सारे छोटे-छोटे सवालों के जवाब देते-देते थक सकता है।

LILO (लैंग्वेज-इन-द-लूप ऑप्टिमाइज़ेशन) इस समस्या को हल करने का एक नया तरीका है। यह आपके और शेफ के बीच एक अनुवादक (एक AI लैंग्वेज मॉडल) को पेश करता है।

यह कैसे काम करता है, इसे एक सरल उपमा (Analogy) से समझते हैं:

1. समस्या: शेफ "मानवीय भाषा" बोलता है, कंप्यूटर "गणित" बोलता है

आमतौरता पर, कंप्यूटर गणित में बहुत अच्छे होते हैं लेकिन मानवीय बारीकियों को समझने में खराब होते हैं। यदि कोई शेफ कहता है, "मुझे स्वाद बहुत पसंद आया, लेकिन यह थोड़ा अधिक तीखा है और इसकी बनावट अजीब है," तो एक मानक कंप्यूटर को यह समझने में कठिनाई हो सकती है कि इस बात को सुधारने के लिए संख्या में कैसे बदला जाए।

2. समाधान: अनुवादक (The LLM)

LILO एक बड़े भाषा मॉडल (LLM) का उपयोग एक अनुवादक के रूप में करता है।

आप (शेफ) स्वाभाविक रूप से बोलते हैं: "मुझे दूसरा विकल्प पसंद है क्योंकि यह तेज़ और अधिक सटीक है, लेकिन ध्यान रखें कि मेमोरी का उपयोग बहुत अधिक न बढ़ जाए।"
अनुवादक (LLM) आपके मुक्त विचारों को सुनता है और उन्हें एक संरचित वरीयता सूची (Scorecard) में बदल देता है: "विकल्प A, विकल्प B की तुलना में गति (Speed) के मामले में बेहतर है। विकल्प B, मेमोरी के मामले में बेहतर है।"

3. इंजन: GPS (बायेसियन ऑप्टिमाइज़ेशन)

एक बार जब अनुवादक आपके शब्दों को एक स्कोरकार्ड में बदल देता है, तो एक शक्तिशाली गणितीय इंजन जिसे बायेसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) कहा जाता है, कार्यभार संभाल लेता है। इसे एक स्मार्ट GPS की तरह समझें।

यह केवल अंदाज़ा नहीं लगाता; यह स्कोरकार्ड का उपयोग करके "क्या अच्छा स्वाद देता है" इसका एक मानचित्र (Map) बनाता है।
यह जानता है कि वह कहाँ अनिश्चित है (मानचित्र के वे क्षेत्र जिन्हें उसने अभी तक एक्सप्लोर नहीं किया है) और "सबसे अच्छा स्वाद" कहाँ छिपा होने की संभावना है।
यह तय करने के लिए कि अगली बार कौन सी नई रेसिपी आज़मानी चाहिए जिससे सबसे अधिक सीख मिल सके, यह उसी मानचित्र का उपयोग करता है।

यह सिर्फ AI को खाना बनाने के लिए कहने से बेहतर क्यों है?

कुछ लोगों ने केवल AI को बिना GPS के पूरा समय खाना बनाने देने की कोशिश की। लेकिन AI शेफ एक ऐसे छात्र की तरह है जो किताबों में पढ़ी गई बातों के आधार पर अनुमान लगाता है; उनके पास यह जानने का कोई विश्वसनीय तरीका नहीं है कि वे अपने अनुमानों के बारे में कितने निश्चित हैं। वे बार-बार एक ही खराब विचार को दोहराते रह सकते हैं।

LILO AI शेफ को केवल अनुवादक की भूमिका में रखता है। यह उसे अंतिम निर्णय नहीं लेने देता। इसके बजाय, यह AI को आपके शब्दों का अनुवाद करने देता है, और फिर GPS (बायेसियन ऑप्टिमाइज़ेशन) उन अनुवादों का उपयोग कुशलतापूर्वक रास्ता खोजने के लिए करता है। इसका मतलब है कि आप बहुत कम प्रयासों में बहुत तेज़ी से सर्वोत्तम समाधान खोज लेते हैं।

"सीक्रेट सॉस" (विशेषताएं)

समृद्ध फीडबैक (Rich Feedback): आपको रोबोट बनने की ज़रूरत नहीं है। आप कह सकते हैं, "मुझे आकार से ज़्यादा गति की परवाह है, लेकिन एक सीमा तक।" अनुवादक इन जटिल समझौतों (Trade-offs) को साधारण "1 से 10" की रेटिंग की तुलना में बेहतर समझता है।
वार्म स्टार्ट्स (Warm Starts): यदि आपके पास पूर्व ज्ञान है (जैसे, "मुझे अनुभव से पता है कि अधिक नमक डालने से आमतौर पर मदद मिलती है"), तो आप अनुवादक को बता सकते हैं। सिस्टम इस जानकारी का उपयोग सही दिशा में शुरुआत करने के लिए करता है, जिससे समय की बचत होती है।
अव्यवस्थित डेटा को संभालना: यह सिस्टम तब भी काम करता है जब "व्यंजन" केवल संख्याएँ नहीं होतीं। यह उन चीज़ों को भी अनुकूलित (Optimize) कर सकता है जो टेक्स्ट (जैसे समाचार लेख का सारांश बनाना) या इमेज (छवि) के रूप में परिणाम देती हैं। अनुवादक टेक्स्ट को पढ़ सकता है या इमेज को देख सकता है और आपके प्राकृतिक भाषा फीडबैक के आधार पर तय कर सकता है कि कौन सा बेहतर है।

निष्कर्ष

यह शोध पत्र दिखाता है कि मनुष्यों को स्वाभाविक रूप से बोलने देने और एक AI का उपयोग उनके शब्दों को एक स्मार्ट नेविगेशन सिस्टम के लिए गणित में बदलने के लिए करने से, हम पहले की तुलना में बहुत कम प्रयास और बहुत तेज़ी से जटिल समस्याओं को हल कर सकते हैं। यह एक ऐसे अनुवादक की तरह है जो आपकी सामान्य बातचीत को एक अत्यंत बुद्धिमान खोजकर्ता के लिए सटीक निर्देशों के सेट में बदल देता है।

तकनीकी सारांश: LILO: प्राकृतिक भाषा फीडबैक के साथ बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization)

1. समस्या की परिभाषा

यह शोध पत्र उन महंगी-से-मूल्यांकन योग्य ब्लैक-बॉक्स फलनों (black-box functions) को अनुकूलित करने की चुनौती को संबोधित करता है जहाँ वास्तविक उद्देश्य एक सीधे मापने योग्य स्केलर नहीं है, बल्कि एक निर्णय निर्माता (Decision Maker - DM) की एक जटिल, व्यक्तिपरक प्राथमिकता है। कई वास्तविक दुनिया के परिदृश्यों में, आउटकम्स $y$ को संतुष्टि स्कोर में मैप करने वाला उपयोगिता फलन (utility function) $g(y)$ अज्ञात होता है और इसे क्लोज्ड फॉर्म में व्यक्त करना कठिन होता है।

पारंपरिक प्रेफरेंस-बेस्ड बेयसियन ऑप्टिमाइज़ेशन (PBO) विधियाँ संरचित फीडबैक पर निर्भर करती हैं, जैसे कि युग्म तुलना (pairwise comparisons) या स्केलर रेटिंग। हालाँकि, ये प्रारूप प्रतिबंधात्मक हैं, क्योंकि वे उच्च-स्तरीय लक्ष्यों, ट्रेड-ऑफ और गुणात्मक बाधाओं को पकड़ने में विफल रहते हैं जिन्हें निर्णय निर्माता स्वाभाविक रूप से प्राकृतिक भाषा में व्यक्त करते हैं। इसके विपरीत, एंड-टू-एंड ऑप्टिमाइज़र के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने में अक्सर कैलिब्रेटेड अनिश्चितता (calibrated uncertainty) और सिद्धांत-आधारित एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ की कमी होती है, जिससे सैंपल दक्षता (sample efficiency) खराब हो जाती है।

लक्ष्य इस कंपोजिट ऑप्टिमिज़ेशन समस्या को हल करना है:
$x^* := \arg \max_{x \in X} g(f(x))$
जहाँ $f: X \to Y$ एक ब्लैक-बॉक्स सिस्टम है और $g: Y \to \mathbb{R}$ एक लेटेंट उपयोगिता फलन है, जो निर्णय निर्माता (DM) से मुक्त-रूप प्राकृतिक भाषा फीडबैक (free-form natural language feedback) का उपयोग करके खोज को निर्देशित करता है।

2. कार्यप्रणाली: LILO फ्रेमवर्क

लेखक लैंग्वेज-इन-द-लूप ऑप्टिमाइज़ेशन (LILO) प्रस्तावित करते हैं, जो एक हाइब्रिड फ्रेमवर्क है जो LLMs की अभिव्यंजक क्षमता को Gaussian Process (GP)-आधारित बेयसियन ऑप्टिमाइज़ेशन की विश्वसनीयता के साथ एकीकृत करता है। LILO, LLM को ऑप्टिमाइज़र के बजाय फीडबैक व्याख्या के लिए एक सहायक एजेंट के रूप में स्थापित करता है।

मुख्य वर्कफ़्लो

ऑप्टिमाइज़ेशन $T$ क्रमिक परीक्षणों (sequential trials) में आगे बढ़ता है, जिनमें से प्रत्येक तीन चरणों से बना होता है:

उम्मीदवार पीढ़ी और प्रयोग (Candidate Generation & Experimentation):
- उम्मीदवार इनपुट्स $\{x_i\}$ का एक बैच चुना जाता है।
- पहले ट्रायल ( $n=1$ ) के लिए, उम्मीदवारों को या तो यूनिफॉर्मली सैंपल किया जाता है या यदि पूर्व ज्ञान (prior knowledge) प्रदान किया गया है तो LLM प्रॉम्प्टिंग के माध्यम से जेनरेट किया जाता है।
- परवर्ती (subsequent) ट्रायल्स के लिए, एक बैच एक्विजिशन फंक्शन (जैसे, Log Noisy Expected Improvement) वर्तमान GP प्रॉक्सी मॉडल $M_{n-1}$ के आधार पर उम्मीदवारों का चयन करता है।
- अवलोकनीय परिणामों $y_i = f(x_i)$ को उत्पन्न करने के लिए ब्लैक-बॉक्स फंक्शन $f$ का मूल्यांकन किया जाता है।
फीडबैक अधिग्रहण (Feedback Acquisition):
- LILO एजेंट संचित प्रायोगिक डेटा और पिछले फीडबैक के आधार पर DM के लिए प्रश्नों का एक बैच ( $B_{pf}$ ) जेनरेट करता है।
- DM मुक्त-रूप प्राकृतिक भाषा उत्तर ( $a_j$ ) प्रदान करता है।
- इस फीडबैक को प्रेफरेंस फीडबैक डेटासेट $D_{pf}$ में संग्रहीत किया जाता है।
LLM लेबलिंग + GP मॉडलिंग के माध्यम से उपयोगिता अनुमान (Utility Estimation):
- लेबलिंग: LLM एक व्याख्याकार (interpreter) के रूप में कार्य करता है, जो संचित प्राकृतिक भाषा फीडबैक को देखे गए परिणामों के बीच संरचित युग्म वरीयता लेबल (pairwise preference labels) में परिवर्तित करता है। दिए गए जोड़े $(y, y')$ के लिए, LLM यह निर्धारित करता है कि DM के टेक्स्टुअल फीडबैक के आधार पर किसे प्राथमिकता दी जाती है।
- बजटिंग: LLM लागत को प्रबंधित करने के लिए, लेबलिंग बजट $K$ के तहत की जाती है। पेपर लेबलिंग के लिए सबसे अधिक सूचनात्मक जोड़ों को चुनने के लिए qEUBO (Expected Utility of Best Option) एक्विजिशन फंक्शन का उपयोग करते हुए एक अनुक्रमिक रणनीति का प्रस्ताव करता है, न कि रैंडम सैंपलिंग का।
- मॉडलिंग: लेबल किए गए युग्म वरीयता लेबल का उपयोग इनपुट स्पेस $X$ पर एक पेयरवाइज गॉसियन प्रोसेस (Pairwise GP) सरोगेट मॉडल $M_n$ को फिट करने के लिए किया जाता है। यह मॉडल कंपोजिट उपयोगिता $u(x) = g(f(x))$ का अनुमान लगाता है।
- GP मॉडल कैलिब्रेटेड अनिश्चितता के साथ उपयोगिता पर एक पोस्टीरियर डिस्ट्रीब्यूशन प्रदान करता है, जो अगले दौर के उम्मीदवार चयन को संचालित करता है।

पूर्व ज्ञान को शामिल करना (Incorporating Prior Knowledge)

LILO टेक्स्टुअल प्रायर ( $P_{prior}$ ) को शामिल करके "वार्म-स्टार्टिंग" का समर्थन करता है। रैंडम इनिशियलाइज़ेशन के बजाय, LLM को DM की डोमेन विशेषज्ञता (जैसे, "इन रेंज के भीतर के इनपुट्स अच्छे परिणाम ला सकते हैं") के आधार पर प्रारंभिक उम्मीदवार बिंदु जेनरेट करने के लिए प्रॉम्प्ट किया जाता है, जो LLM के प्री-ट्रेंड डोमेन नॉलेज का लाभ उठाता है।

3. प्रमुख योगदान

पेपर पाँच प्राथमिक योगदानों को रेखांकित करता है:

LILO फ्रेमवर्क: एक नवीन BO फ्रेमवर्क जो प्राकृतिक भाषा के माध्यम से उपयोगिता जानकारी प्राप्त करता है, जो मानक युग्म या स्केलर फीडबैक की तुलना में अधिक अभिव्यंजक इंटरफेस प्रदान करता है।
उपयोगिता अनुमान तंत्र: LLM-आधारित प्रेफरेंस लेबलिंग के साथ GP मॉडलिंग को जोड़ने वाला एक स्केलेबल दृष्टिकोण, जो शोर वाले, अप्रत्यक्ष फीडबैक के तहत कैलिब्रेटेड अनिश्चितता और सिद्धांत-आधारित एक्सप्लोरेशन को सक्षम बनाता है।
प्रदर्शन श्रेष्ठता: अनुभवजन्य साक्ष्य (empirical evidence) जो दिखाता है कि LILO सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर पारंपरिक PBO बेसलाइन और LLM-ओनली ऑप्टिमाइज़र दोनों से बेहतर प्रदर्शन करता है।
पूर्व ज्ञान एकीकरण: वार्म-स्टार्ट करने के लिए टेक्स्टुअल प्रायर को शामिल करने की एक विधि, जो शुरुआती चरण के प्रदर्शन और समग्र प्रदर्शन में महत्वपूर्ण सुधार करती है।
असंरचित परिणामों के साथ अनुकूलता: यह प्रदर्शन कि LILO उच्च-आयामी, असंरचित परिणामों (जैसे, टेक्स्ट समरी) पर अनुकूलित कर सकता है, बिना आउटकम स्पेस $Y$ पर किसी स्पष्ट सरोगेट मॉडल की आवश्यकता के, जो केवल परिणामों की व्याख्या करने की LLM की क्षमता पर निर्भर करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने 10 वातावरणों पर LILO का मूल्यांकन किया, जिसमें सिंथेटिक मल्टी-ऑब्जेक्टिव फंक्शन्स (DTLZ2), वाहन सुरक्षा सिमुलेटर, कार कैब डिज़ाइन, थर्मल कम्फर्ट मॉडल और न्यूरल आर्किटेक्चर सर्च (NAS-Bench-201) शामिल हैं। उन्होंने एक टेक्स्ट समराइजेशन टास्क का भी परीक्षण किया जिसमें असंरचित टेक्स्टुअल आउटकम्स थे।

मुख्य निष्कर्ष

सैंपल दक्षता (Sample Efficiency): LILO लगातार बेसलाइन से बेहतर प्रदर्शन करता है, विशेष रूप से अनुकूलन के शुरुआती चरणों में। फीडबैक-सीमित व्यवस्था में, DM के एक एकल प्राकृतिक भाषा संदेश को अनुकूलन प्रगति के संदर्भ में लगभग 8-16 युग्म तुलनाओं या स्केलर मूल्यांकनों के बराबर पाया गया।
बेसलाइन के साथ तुलना:
- LLM-ओनली के विरुद्ध: LLM-ओनली विधियाँ (डायरेक्ट या 2-स्टेप) अक्सर स्थिर हो जाती हैं या इटरेशन बढ़ने के साथ सार्थक सुधार करने में विफल रहती हैं, क्योंकि उनमें BO के कन्वर्जेंस गारंटी की कमी होती है।
- क्वांटिटेटिव BO के विरुद्ध: LILO "ट्रू यूटिलिटी BO" और "प्रेफरेंस BO" (जो ग्राउंड-ट्रुथ स्केलर या पेयरवाइज लेबल का उपयोग करते हैं) से शुरुआती ट्रायल्स में बेहतर प्रदर्शन करता है। जैसे-जैसे ट्रायल्स की संख्या बढ़ती है, यह लाभ कम हो जाता है, लेकिन प्राकृतिक भाषा की सूचना घनत्व (information density) एक महत्वपूर्ण बढ़त प्रदान करती है।
युग्म बनाम स्केलर लेबलिंग: अध्ययन में पाया गया कि LLM को युग्म तुलना (pairwise comparisons) के लिए प्रॉम्प्ट करने से सीधे स्केलर उपयोगिता मानों के लिए प्रॉम्प्ट करने की तुलना में अधिक विश्वसनीय उपयोगिता अनुमान और बेहतर अनुकूलन प्रगति प्राप्त होती है।
पूर्व ज्ञान (Prior Knowledge): LLM इनिशियलाइज़ेशन के माध्यम से डोमेन प्रायर को शामिल करने से शुरुआती बिंदु और समग्र प्रदर्शन में काफी सुधार हुआ।
असंरचित परिणाम: टेक्स्ट समराइजेशन बेंचमार्क में, LILO ने प्राकृतिक भाषा फीडबैक का उपयोग करके डिकोडिंग पैरामीटर्स को सफलतापूर्वक अनुकूलित किया, जो अधिकतम ऑरेकल फीडबैक वाले बेसलाइन के प्रदर्शन से मेल खाता है।

5. महत्व और दावे

पेपर का दावा है कि LILO जटिल, व्यक्तिपरक उद्देश्यों वाले समस्याओं के लिए बेयिसियन ऑप्टिमाइज़ेशन को सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम है। LLM को समृद्ध, असंरचित भाषा को संरचित प्रेफरेंस सिग्नल में अनुवाद करने के लिए एक सहायक भूमिका में रखकर, यह फ्रेमवर्क पारंपरिक BO की सैंपल दक्षता, स्थिरता और कैलिब्रेटेड अनिश्चितता को बनाए रखता है और साथ ही एक लचीला, सूचना-सघन फीडबैक चैनल प्रदान करता है।

लेखक जोर देते हैं कि LILO विशेष रूप से जटिल मल्टी-मेट्रिक ट्रेड-ऑफ वाले वास्तविक दुनिया के सेटिंग्स (जैसे, ऑनलाइन एक्सपेरिमेंटेशन, डिज़ाइन ऑप्टिमाइज़ेशन) के लिए उपयुक्त है जहाँ स्पष्ट उद्देश्य उपलब्ध नहीं हैं या उन्हें औपचारिक रूप देना कठिन है। वे स्वीकार करते हैं कि जबकि LILO फीडबैक-सीमित व्यवस्थाओं में उत्कृष्ट है, बहुत लंबे समय तक चलने वाले क्षितिज (horizons) में क्वांटिटेटिव बेसलाइन के सापेक्ष इसका प्रदर्शन अभिसरण (converge) हो सकता है, और भविष्य के कार्य असंरचित भाषा के साथ संरचित मात्रात्मक फीडबैक को संयोजित करने वाले हाइब्रिड दृष्टिकोणों की खोज कर सकते हैं।

परिणामों को पुनरुत्पादित करने के लिए कोड https://github.com/facebookresearch/lilo पर उपलब्ध कराया गया है।