A Control System, a Dataset, and a Recipe for Making Frozen LLM Agents Learn a Domain

द एआई शेफ और जादुई कुकबुक (The AI Chef and the Magic Cookbook)

कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान शेफ है जो लगभग कुछ भी पका सकता है। यह शेफ एक आर्टिफिशियल इंटेलिजेंस है, विशेष रूप से एक लार्ज लैंग्वेज मॉडल (LLM)। लेकिन यहाँ एक पेंच है: यह शेफ केवल रसोई में जाकर खाना बनाना शुरू नहीं करता। उसे एक रेसिपी, औजारों का एक सेट और एक योजना की आवश्यकता होती है। एआई की दुनिया में, इस सेटअप को "हार्नेस" (harness) कहा जाता है। यह वह निर्देश पुस्तिका है जो एआई को बताती है कि उसे कैसे सोचना है, उसे किन औजारों का उपयोग करना है (जैसे कैलकुलेटर या सर्च इंजन), और अंतिम व्यंजन परोसने से पहले उसे अपने काम की जांच कैसे करनी है।

लंबे समय तक, वैज्ञानिकों ने सोचा कि शेफ को बेहतर बनाने का एकमात्र तरीका खुद शेफ को प्रशिक्षित करना है—उसे शून्य से नए कौशल सिखाना। लेकिन एक नया विचार सुझाव देता है कि शायद शेफ पहले से ही बहुत अच्छा है, और हमें बस रेसिपी में थोड़ा बदलाव करने की आवश्यकता है। शोधकर्ता एक बड़ा सवाल पूछ रहे हैं: क्या हमें एआई को खाना बनाते समय अपनी रेसिपी खुद लिखने देना चाहिए (जो कि एक जोखिम भरा, महंगा कदम है), या हमें रेसिपी को विकल्पों के एक निश्चित मेनू के रूप में मानना चाहिए और काम के लिए सबसे अच्छे विकल्प को चुनने के लिए एक स्मार्ट, सरल प्रणाली का उपयोग करना चाहिए? यह शोध पत्र उसी प्रश्न की गहराई में जाता है, और यह परीक्षण करता है कि क्या एक "फ्रोजन" (frozen) एआई (एक ऐसा एआई जिसका मस्तिष्क नहीं बदलता) को केवल उसे निर्देश देने के तरीके को बदलकर सुपरचार्ज किया जा सकता है।

---

प्रयोग: एक "रेसिपी स्विचबोर्ड" के साथ एआई को वश में करना

इस शोध पत्र के लेखकों ने एक बहुत ही सावधानीपूर्ण, नियंत्रित दृष्टिकोण अपनाने का निर्णय लिया। एआई को अपना कोड खुद बदलने देने के बजाय (जिसे वे तर्क देते हैं कि यह एक छात्र को परीक्षा देते समय परीक्षा के प्रश्न खुद लिखने देने जैसा है), उन्होंने एक "कंट्रोल सिस्टम" बनाया। इस सिस्टम को ठीक से 729 अलग-अलग सेटिंग्स वाले एक विशाल, जादुई स्विचबोर्ड के रूप में समझें। प्रत्येक सेटिंग निर्देशों का एक विशिष्ट संयोजन है:

• प्रॉम्प्ट स्टाइल (Prompt Style): क्या एआई को सीधा, संरचित या चिंतनशील होना चाहिए?
• टूल पॉलिसी (Tool Policy): क्या इसे केवल आवश्यकता होने पर औजारों का उपयोग करना चाहिए, या हमेशा?
• मेमोरी (Memory): क्या इसे पिछली सफलताओं को याद रखना चाहिए, या सफलताओं और विफलताओं दोनों को?
• प्लानिंग (Planning): क्या इसे सीधे काम में जुट जाना चाहिए, एक संक्षिप्त योजना बनानी चाहिए, या योजना बनाकर उसमें सुधार करना चाहिए?
• वेरिफिकेशन (Verification): क्या इसे अंत में अपने काम की दोबारा जांच करनी चाहिए, या चरण-दर-चरण?
• स्टेप बजट (Step Budget): रुकने से पहले इसे कितने कदम उठाने चाहिए?

शोधकर्ताओं ने यह देखने के लिए कि क्या वे हर कार्य के लिए एकदम सही रेसिपी खोजने के लिए इन स्विचों को वास्तविक समय में बदलने के लिए एक स्मार्ट, सीखने वाली प्रणाली (जिसे रीइन्फोर्समेंट लर्निंग कहा जाता है) का उपयोग कर सकते हैं, इस पर प्रयोग किया। उन्होंने इसे तीन अलग-अलग "रसोइयों" (kitchens) पर परखा:

1. टूल-यूज़ (Tool-Use): एआई को एक नकली ग्राहक डेटाबेस (जैसे CRM) प्रबंधित करने के लिए कहना।
2. कोडिंग (Coding): एआई से ऐसा कोड लिखने के लिए कहना जो विशिष्ट परीक्षणों को पास करे (HumanEval बेंचमार्क का उपयोग करके)।
3. रिट्रीवल (Retrieval): एआई को दस्तावेजों के ढेर में खोज करके कठिन प्रश्नों के उत्तर देने के लिए कहना (HotpotQA का उपयोग करके)।

उन्होंने यह प्रयोग दो अलग-अलग "शेफ" पर चलाया: एक स्थानीय ओपन-सोर्स मॉडल (Ollama) और एक शक्तिशाली क्लाउड मॉडल (AWS Bedrock)। उन्होंने अपने स्मार्ट, सीखने वाले स्विचबोर्ड की तुलना दो अन्य विधियों से की: एक रैंडम गेसर (जो सेटिंग्स को बेतरतीब ढंग से चुनता है) और एक "स्टैटिक बेसलाइन" (एक एकल, पूर्व-अनुकूलित रेसिपी जिसे DSPy नामक टूल द्वारा बनाया गया है)।

बड़ा आश्चर्य: "स्टैटिक" रेसिपी जीत गई

यहाँ वह मोड़ आया जिसकी लेखकों ने उम्मीद नहीं की थी: स्मार्ट, सीखने वाला स्विचबोर्ड नहीं जीता।

लगभग हर परीक्षण में, "स्टैटिक बेसलाइन"—वह एकल, पूर्व-निर्मित रेसिपी जिसे एक बार सावधानीपूर्वक तैयार किया गया था और फिर छोड़ दिया गया था—उस सिस्टम से भी बेहतर या उसके बराबर प्रदर्शन करती है जो लगातार सीखने और अनुकूलित होने की कोशिश कर रहा था।

• टूल-यूज़ डोमेन में, बेडरॉक मॉडल पर स्टैटिक रेसिपी ने 96% कार्यों को सही ढंग से पूरा किया, जबकि लर्निंग सिस्टम केवल लगभग 62% ही सही कर पाया।
• कोडिंग में, स्टैटिक रेसिपी लर्निंग सिस्टम के समान ही अच्छी थी, लेकिन इसने बहुत कम "टोकन" (डिजिटल सामग्री जिसे एआई खाता है) का उपयोग किया, जिससे यह बहुत सस्ता और तेज़ हो गया।
• यहाँ तक कि रिट्रीवल डोमेन में भी, जहाँ सभी के लिए चीजें कठिन थीं, स्टैटिक रेसिपी ने अपनी पकड़ बनाए रखी।

लेखकों को समझ आया कि ऐसा क्यों हुआ। "लर्निंग" सिस्टम 729 संभावनाओं में से सबसे अच्छा सेटिंग खोजने की कोशिश कर रहा था, लेकिन इसके पास सीखने के लिए पर्याप्त समय या प्रयास नहीं थे। यह एक विशाल भूलभुलैया में सबसे अच्छा रास्ता खोजने की कोशिश करने जैसा है जिसमें आपके पास केवल 25 प्रयास हैं; आप संभवतः एक गलत रास्ते में फंस जाएंगे। हालाँकि, स्टैटिक रेसिपी को एक ऐसी विधि का उपयोग करके बनाया गया था जो शुरुआत से ही केवल प्रशंसनीय, उच्च-गुणवत्ता वाले विकल्पों को देखती है, इसलिए उसने खराब रास्तों को खोजने में समय बर्बाद नहीं किया।

भविष्य के लिए इसका क्या अर्थ है

यह शोध पत्र निष्कर्ष निकालता है कि अधिकांश व्यावहारिक, वास्तविक दुनिया की स्थितियों के लिए, आपको एक जटिल, स्व-शिक्षण प्रणाली के साथ शुरुआत नहीं करनी चाहिए जो सब कुछ शून्य से समझने की कोशिश करती है। इसके बजाय, आपको:

1. एक मजबूत, स्टैटिक रेसिपी के साथ शुरुआत करनी चाहिए (जैसे कि DSPy द्वारा बनाई गई रेसिपी)।
2. सीखने वाली प्रणाली को बाद में ही जोड़ना चाहिए, और केवल तभी जब कार्य इतने बदल जाएं कि पुरानी रेसिपी काम करना बंद कर दे।

लेखकों ने एक "रेसिपी" (एक मार्गदर्शिका जिसे RECIPE.md कहा जाता है) भी साझा की है जो उन अन्य टीमों के लिए है जो ये सिस्टम बनाना चाहते हैं। वे इस बात पर जोर देते हैं कि यदि आप सीखने वाली प्रणाली का उपयोग करते हैं, तो आपको "कोल्ड स्टार्ट" (जहाँ सिस्टम गलती से एक खराब सेटिंग चुन लेता है) के बारे में सावधान रहना चाहिए और आपको उन क्रैशों पर भी नज़र रखनी चाहिए जहाँ एक गलत प्रयास पूरे बैच को खराब कर देता है।

संक्षेप में, यह शोध पत्र सुझाव देता है कि हालांकि एक ऐसा एआई का विचार जो लगातार अपने निर्देशों को फिर से लिखता है, सुनने में कूल और भविष्यवादी लगता है, लेकिन वास्तविक दुनिया में, एक अच्छी तरह से लिखी गई, निश्चित निर्देश पुस्तिका अक्सर उस प्रणाली से बेहतर, तेज़ और सस्ती होती है जो काम करते समय मैनुअल लिखना सीखने की कोशिश कर रही है। "लर्निंग" वाला हिस्सा उपयोगी है, लेकिन केवल तभी जब आप पहले से ही एक अच्छा शुरुआती बिंदु पा चुके हों।