Supplement Generation Training for Enhancing Agentic Task Performance
यह शोध पत्र सप्लीमेंट जनरेशन ट्रेनिंग (SGT) का प्रस्ताव करता है, जो एक लागत प्रभावी रणनीति है जो एक छोटे भाषा मॉडल को बड़े फाउंडेशन मॉडल्स के लिए गतिशील पूरक पाठ (supplemental text) उत्पन्न करने के लिए प्रशिक्षित करती है, जिससे महंगे पोस्ट-ट्रेनिंग या मॉडल संशोधन की आवश्यकता के बिना एजेंटिक कार्य प्रदर्शन में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
बड़ी समस्या: "अत्यधिक व्यस्त जीनियस" (The Overworked Genius)
कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय विशेषज्ञ है (मान लीजिए कि वे द एग्जीक्यूटिव हैं)। यह व्यक्ति सब कुछ जानता है, जटिल गणित की समस्याओं को हल कर सकता है, कोड लिख सकता है और गहरे दार्शनिक प्रश्नों के उत्तर दे सकता है। हालाँकि, इसमें दो बड़ी शर्तें हैं:
- वे महंगे हैं: आप उन्हें हर छोटी समस्या पर काम करने के लिए काम पर नहीं रख सकते।
- वे बंधे हुए हैं: आप उन्हें हर नए काम के लिए नए तरीके नहीं सिखा सकते या उन्हें फिर से प्रशिक्षित (retrain) नहीं कर सकते क्योंकि वे एक "क्लोज्ड-सोर्स" सिस्टम हैं (एक ब्लैक बॉक्स की तरह)।
वर्तमान में, यदि आप इस एग्जीक्यूटिव का किसी नए कार्य के लिए उपयोग करना चाहते हैं, तो आपको उन्हें निर्देशों का एक आदर्श सेट (प्रॉम्प्ट) लिखना होगा। लेकिन सटीक निर्देश लिखना कठिन है, और यदि कार्य बदल जाता है, तो आपको फिर से शुरुआत करनी पड़ती है।
समाधान: "सुपर असिस्टेंट" (The Super Assistant)
इस शोध पत्र के लेखक एक चतुर समाधान प्रस्तावित करते हैं। महंगे एग्जीक्यूटिव को फिर से प्रशिक्षित करने के बजाय, वे एक छोटा, सस्ता और तेज़ असिस्टेंट (एक छोटा AI मॉडल) प्रशिक्षित करते हैं।
असिस्टेंट का काम समस्या को स्वयं हल करना नहीं है। इसका काम एग्जीक्यूटिव को काम के लिए तैयार करना है।
इसे इस प्रकार समझें:
- पुराना तरीका: आप एक जटिल कानूनी मामला सीधे वकील (द एग्जीक्यूटिव) को सौंप देते हैं और कहते हैं, "इसे हल करें।" वकील एक विवरण चूक सकता है क्योंकि उसके पास सही संदर्भ (context) नहीं था।
- नया तरीका (SGT): आप मामला पहले अपने लीगल असिस्टेंट को सौंपते हैं। असिस्टेंट फ़ाइल को पढ़ता है, उसे एहसास होता है कि वकील को सबूतों के विशिष्ट सारांश, सामान्य गलतियों के बारे में चेतावनी, या एक चरण-दर-चरण योजना की आवश्यकता है। असिस्टेंट ये नोट्स लिखता है, उन्हें फ़ाइल के साथ संलग्न करता है, और फिर पूरा पैकेज वकील को सौंप देता है।
वकील मामले को बहुत बेहतर तरीके से हल करता है क्योंकि उसे उस एक विशेष मामले के लिए तैयार की गई सटीक "चीट शीट" (cheat sheet) दी गई थी।
असिस्टेंट कैसे सीखता है? (प्रशिक्षण)
यह शोध पत्र सप्लीमेंट जनरेशन ट्रेनिंग (SGT) नामक एक विधि पेश करता है। यहाँ बताया गया है कि वे असिस्टेंट को कैसे सिखाते हैं:
- "वॉर्म-अप" (SFT): सबसे पहले, वे असिस्टेंट को अलग-अलग प्रकार के नोट्स के उदाहरण दिखाते हैं जो वह लिख सकता है (जैसे, "यह एक सारांश है," "यह बचने योग्य गलतियों की सूची है," "यह एक चरण-दर-चरण योजना है")। यह असिस्टेंट को मददगार होने का फॉर्मेट सिखाता है।
- "ट्रायल एंड एरल" (DPO): यही असली जादू है। असिस्टेंट एक समस्या के लिए नोट्स लिखने की कोशिश करता है। एग्जीक्यूटिव उसे हल करने की कोशिश करता है।
- यदि एग्जीक्यूटिव सफलतापूर्वक इसे हल कर लेता है, तो असिस्टेंट को "गोल्ड स्टार" (इनाम) मिलता है।
- यदि एग्जीक्यूटिव विफल रहता है, तो असिस्टेंट को "रेड फ्लैग" (चेतावनी) मिलता है।
- समय के साथ, असिस्टेंट सीख जाता है: "ओह, जब समस्या कोडिंग के बारे में हो, तो 'गलतियों की सूची' लिखना सबसे अच्छा काम करता है। जब यह गणित के बारे में हो, तो 'चरण-दर-चरण योजना' सबसे अच्छी होती है।"
असिस्टेंट हर चीज़ के लिए एक ही तरह का नोट इस्तेमाल करने के बजाय, विशिष्ट समस्या के लिए सही प्रकार का नोट गतिशील रूप से (dynamically) चुनना सीख जाता है।
परिणाम: यह क्यों महत्वपूर्ण है
शोधकर्ताओं ने इसका परीक्षण पांच अलग-अलग कठिन कार्यों (जैसे डेटाबेस क्वेरी लिखना, कोडिंग और जटिल ट्रिविया के उत्तर देना) पर किया।
- परिणाम: इस "सुपर असिस्टेंट" का उपयोग करके "एग्जीक्यूटिव" को तैयार करने से, सिस्टम सीधे एग्जीक्यूटिव से पूछने की तुलना में समस्याओं को हल करने में 21% बेहतर रहा।
- दक्षता (Efficiency): उन्होंने इस तैयारी का काम करने के लिए एक बहुत छोटे मॉडल (1.7 बिलियन पैरामीटर्स) को प्रशिक्षित किया। यह विशाल मॉडल (जो सैकड़ों अरबों पैरामीटर्स का हो सकता है) को फिर से प्रशिक्षित करने की तुलना में बहुत सस्ता और तेज़ है।
"खोज और ध्यान केंद्रित करने" की रणनीति (The "Search and Focus" Strategy)
सबसे दिलचस्प खोज यह थी कि असिस्टेंट ने कैसे सीखा।
- शुरुआत में: असिस्टेंट ने सब कुछ आज़माया। उसने सारांश, सूचियाँ, योजनाएँ और प्रश्नों को फिर से लिखने की कोशिश की। यह एक शेफ द्वारा हर मसाले को चखने जैसा था।
- बाद में: असिस्टेंट ने "ध्यान केंद्रित" किया। उसे एहसास हुआ कि कोडिंग कार्यों के लिए, "गलतियों की चेतावनी" (Mistake Warnings) सबसे अच्छा मसाला है। तर्क पहेलियों (logic puzzles) के लिए, "सही बनाम गलत उत्तरों की तुलना करना" सबसे अच्छा मसाला है।
उसने अनुमान लगाना बंद कर दिया और एग्जीक्यूटिव को तैयार करने में एक विशेषज्ञ बन गया।
सारांश
सप्लीमेंट जनरेशन ट्रेनिंग (SGT) बड़े, महंगे AI मॉडल को बदले बिना उन्हें स्मार्ट बनाने का एक तरीका है। आप एक छोटे, सस्ते AI को "कॉन्टेक्स्ट कोच" के रूप में प्रशिक्षित करते हैं। यह कोच उपयोगकर्ता के प्रश्न को पढ़ता है, यह पता लगाता है कि बड़े AI को अतिरिक्त मदद (जैसे सारांश, चेतावनी या योजना) की ठीक क्या आवश्यकता है, उसे लिखता है, और आगे भेज देता है। बड़ा AI फिर उस अतिरिक्त मदद का उपयोग करके एक बहुत बेहतर उत्तर देता है।
यह एक जनरल (सेनापति) को एक अस्पष्ट मानचित्र के साथ युद्ध में भेजने बनाम उसे एक विशेष खुफिया अधिकारी द्वारा लिखित विस्तृत, अद्यतित सामरिक ब्रीफिंग के साथ भेजने के बीच का अंतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।