HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
यह शोध पत्र HarnessOpt-Bench प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे संसाधन संबंधी बाधाओं के तहत एजेंटिक हार्नेस (प्रॉम्प्ट, टूल्स और ऑर्केस्ट्रेशन कोड सहित) को पुनरावृत्ति (iteratively) के माध्यम से अनुकूलित करने की फ्रंटियर LLMs की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रदर्शित करता है कि यह अनुकूलन क्षमता एक विशिष्ट और मापने योग्य कौशल है जिसमें सुधार की काफी गुंजाइश है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान रोबोटिक मस्तिष्क है। यह कोड लिख सकता है, गणित की समस्याओं को हल कर सकता है और सवालों के जवाब दे सकता है। लेकिन यह मस्तिष्क शून्य में काम नहीं करता है; इसे एक "हार्नेस" (harness) की आवश्यकता होती है। हार्नेस को अपने रोबोट के कवच, उसके निर्देश मैनुअल और उसके कंट्रोल पैनल के रूप में सोचें, जो सब कुछ एक साथ मिला हुआ है। यह वह कोड है जो मस्तिष्क को बताता है कि उसे अपने उपकरणों का उपयोग कैसे करना है, उसे क्या याद रखना है, और बाहरी दुनिया से कैसे बात करनी है। ठीक वैसे ही जैसे एक रेस कार को जीतने के लिए एक बेहतरीन ड्राइवर और एक अच्छी तरह से ट्यून किए गए इंजन की आवश्यकता होती है, एक स्मार्ट AI को अच्छा प्रदर्शन करने के लिए एक स्मार्ट मस्तिष्क और एक बेहतरीन हार्नेस की आवश्यकता होती है। कभी-कभी, वही मस्तिष्क एक सूट में जीनियस हो सकता है और दूसरे सूट में एक अनाड़ी नौसिखिया।
अब, यहाँ एक बड़ा सवाल है। क्या हम एक AI को अपना खुद का सूट ठीक करना सिखा सकते हैं? क्या एक AI अपने स्वयं के हार्नेस को देख सकता है, यह महसूस कर सकता है कि यह अव्यवst है, और खुद को स्मार्ट बनाने के लिए कोड को फिर से लिख सकता है? इसे "हार्नेस ऑप्टिमाइज़ेशन" (harness optimization) कहा जाता है। यह कुछ हद तक एक शेफ से केवल भोजन पकाने के ही नहीं, बल्कि खाना बनाते समय रसोई को फिर से डिजाइन करने, चाकू तेज करने और रेसिपी बुक को फिर से लिखने के लिए कहने जैसा है, बिना यह जाने कि अंत तक जज अंतिम व्यंजन का स्वाद कैसे लेंगे। यह एक बहुत बड़ी चुनौती है क्योंकि सूट को ठीक करना महंगा और जटिल है; आपको यह अनुमान लगाना होता है कि क्या काम करेगा बिना यह देखे कि अंतिम स्कोर क्या है, और आपको यह सब तब करना होता है जब तक आपकी "ऊर्जा" (या इस मामले में, कंप्यूटर समय और पैसा) खत्म न हो जाए।
Scale AI के शोधकर्ताओं ने इसी को परखने के लिए HarnessOpt-Bench नामक एक नए प्रयोग के साथ एक परीक्षण शुरू किया। उन्होंने एक विशेष, सुरक्षित प्लेग्राउंड बनाया जहाँ विभिन्न शीर्ष-स्तरीय AI मॉडल "ऑप्टिमाइज़र" (optimizers) के रूप में कार्य करते हैं। उनका काम? एक बुनियादी, थोड़ा अनाड़ी AI एजेंट (जिसे "सीड" कहा जाता है) को लेना, उसके कोड को पढ़ना और उसे बेहतर बनाने की कोशिश करना। शर्त यह है कि ऑप्टिमाइज़र के पास एक सख्त बजट है: वह यह देखने के लिए कि उसके बदलाव काम करते हैं या नहीं, केवल सीमित संख्या में परीक्षण चला सकता है। उसे कुछ परीक्षणों (डेवलपमेंट और वैलिडेशन) से संकेत मिलते हैं, लेकिन वास्तविक अंतिम स्कोर सबसे अच्छा संस्करण जमा करने के बाद ही प्रकट होता है।
शोधकर्ता यह देखना चाहते थे कि क्या ये AI मॉडल वास्तव में इस कार्य में बेहतर हो सकते हैं। उन्होंने पाँच सबसे स्मार्ट उपलब्ध AI मॉडलों का उपयोग करके 11 संख्याओं में अलग-अलग प्रयोग चलाए, और उन्हें दो तरीकों से परखा: एक बार एक मानक, साझा "टूलकिट" (एक सामान्य कोडिंग हार्नेस) का उपयोग करके और एक बार अपने स्वयं के नेटिव, इन-बिल्ट टूलकिट्स का उपयोग करके। उन्होंने एजेंट के प्रदर्शन में सुधार को मूल, अनाड़ी संस्करण की तुलना में मापकर सफलता को मापा।
यहाँ उन्हें क्या मिला, और यह थोड़ा आश्चर्यजनक है। पहला, AI मॉडल स्वयं उनके द्वारा उपयोग किए जाने वाले टूलकिट की तुलना में बहुत अधिक मायने रखते हैं। सबसे स्मार्ट AI और सबसे कम स्मार्ट AI के बीच प्रदर्शन का अंतर बहुत बड़ा था—टूलकिट बदलने से होने वाले अंतर से लगभग दोगुना। यह सुझाव देता है कि "मस्तिष्क" ही असली सितारा है, न कि वह "सूट" जो वह पहने हुए है।
दूसरा, एक फैंसी, नेटिव टूलकिट होना जीत की गारंटी नहीं देता। आप सोच सकते हैं कि एक AI अपने कस्टम-निर्मित उपकरणों के साथ सबसे अच्छा प्रदर्शन करेगा, लेकिन परिणाम मिले-जुले रहे। कभी-कभी नेटिव टूलकिट ने मदद की, कभी नहीं, और कभी-कभी मानक टूलकिट वास्तव में बेहतर था। कोई सुसंगत "होम-फील्ड एडवांटेज" नहीं था।
तीसरा, AI समाधान खोजने के लिए कैसे खोज (search) करते थे, यह मायने रखता था। जिन्होंने कोड के अधिक हिस्सों (जैसे प्रॉम्प्ट, मेमोरी, रिट्राय रूल्स और टूल्स) के साथ छेड़छाड़ करने की कोशिश की, वे बेहतर परिणाम प्राप्त करने में सफल रहे। हालाँकि, AI ने यह समझने के लिए कि क्या गलत हुआ, विस्तृत "विफलता रिपोर्ट" (ट्रेस) को पढ़ने में बहुत कम समय बिताया। वे ज्यादातर अंतिम स्कोर देखते थे। यह सुझाव देता है कि इन कार्यों के लिए, हर छोटी गलती पर ध्यान केंद्रित करने के बजाय बड़े चित्र (big picture) को देखना अधिक उपयोगी था।
अंत में, AI अक्सर बहुत आशावादी थे। खोज के दौरान जो स्कोर वे देखते थे (अभ्यास परीक्षणों पर), वे उन स्कोर से अधिक थे जो उन्हें अंतिम, छिपे हुए परीक्षण पर मिले। इसका मतलब है कि AI को कभी-कभी लगता था कि उन्होंने एक आदर्श समाधान ढूंढ लिया है, लेकिन जब वास्तविक जजों ने इसे देखा, तो यह उतना अच्छा नहीं था।
संक्षेप में, यह पेपर दिखाता है कि हार्नेस ऑप्टिमाइज़ेशन एक वास्तविक, मापने योग्य कौशल है जो फ्रंटियर AI मॉडल्स के पास है, लेकिन वे अभी भी इसे लगातार करने में सीख रहे हैं। सर्वश्रेष्ठ मॉडल एजेंट के प्रदर्शन में महत्वपूर्ण सुधार कर सकते हैं, लेकिन वे अभी भी पूर्ण नहीं हैं। उन्हें कम अति-आत्मविश्वासी होने और शायद विफलता रिपोर्टों को थोड़ा अधिक ध्यान से पढ़ने की आवश्यकता है। मुख्य बात क्या है? हम एक ऐसे भविष्य की ओर बढ़ रहे हैं जहाँ AI केवल कार्य ही नहीं करता, बल्कि अपने बेहतर संस्करण बनाना भी सीखता है, लेकिन मानव सहायता के बिना इसे विश्वसनीय रूप से करने के लिए हमें अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।