PROOF-Gen: From Optimized Data to Better Distillation
यह शोध पत्र PROOF-Gen को प्रस्तुत करता है, जो एक ऐसी विधि है जो शिक्षक मॉडल की विफलताओं से सफल प्रक्षेपवक्र (trajectories) को पुनः प्राप्त करने के लिए प्रति-परिदृश्य प्रॉम्प्ट अनुकूलन (per-scenario prompt optimization) का उपयोग करती है, जिससे बेंचमार्क और तैनात पाइपलाइनों में डिस्टिल्ड टूल-कॉलिंग एजेंटों के प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक छोटे और तेज़ कंप्यूटर प्रोग्राम को जटिल कार्य करने के लिए सिखाने का एक सामान्य तरीका यह है कि एक बहुत बड़े, अधिक बुद्धिमान प्रोग्राम को उसे करके दिखाने के लिए कहा जाए। डिस्टिलेशन (distillation) के रूप में जानी जाने वाली यह प्रक्रिया, एक उस्ताद शिल्पकार द्वारा एक प्रशिक्षु को एक सटीक तकनीक दिखाने की तरह काम करती है। प्रशिक्षु उस्ताद के सफल प्रयासों को देखता है और उनकी नकल करना सीखता है। हालाँकि, इस पद्धति की एक कमी है। यदि उस्ताद कोई गलती करता है, तो प्रशिक्षु उस प्रयास को अनदेखा कर देता है और अगले सफल प्रदर्शन की प्रतीक्षा करता है। टूल-कॉलिंग (tool-calling) के विशिष्ट क्षेत्र में—जहाँ एक AI को यह तय करना होता है कि समस्या को हल करने के लिए किन डिजिटल उपकरणों का उपयोग किया जाए, जैसे कि डेटाबेस की जाँच करना या संदेश भेजना—यह एक बड़ा अंतर पैदा करता है। सबसे कठिन समस्याएँ अक्सर वे होती हैं जहाँ उस्ताद लगभग सफल होने वाला होता है लेकिन अंतिम चरण में विफल हो जाता है। चूँकि मानक शिक्षण पद्धति इन 'निकट-विफलताओं' (near-misses) को हटा देती है, इसलिए प्रशिक्षु उस विशिष्ट निर्णय बिंदु को समझने में सक्षम नहीं हो पाता जो विफलता का कारण बना था, जिससे AI सबसे कठिन परिदृश्यों को हल करने में असमर्थ रह जाता है।
एप्पल (Apple) के शोधकर्ताओं ने इस अंतर को भरने के लिए PROOF-Gen नामक एक नई विधि विकसित की है। विफल प्रयासों को फेंक देने के बजाय, वे उन्हें मूल्यवान सीखने के अवसरों के रूप में देखते हैं। जब मास्टर प्रोग्राम किसी कार्य में विफल होता है, तो एक दूसरा, और भी अधिक उन्नत प्रोग्राम एक 'रिफ्लेक्टिव कोच' (reflective coach) के रूप में कार्य करता है। यह कोच ठीक से विश्लेषण करता है कि मास्टर कहाँ गलत हुआ, वह कार्यों के क्रम और अंतिम त्रुटि को देखता है। फिर यह निर्देशों का एक विशिष्ट सेट, या एक "गाइड" लिखता है, जिसे मास्टर को उसी सटीक समस्या के माध्यम से फिर से मार्गदर्शन देने के लिए डिज़ाइन किया गया है। मास्टर प्रोग्राम उस कार्य को एक बार फिर से करता है, इस बार कोच की नई सलाह का पालन करते हुए। यदि वह सफल होता है, तो उस सफल पथ को एक नए सबक के रूप में सहेज लिया जाता है। महत्वपूर्ण बात यह है कि प्रशिक्षु को यह नया सबक दिखाने से पहले, गाइड को हटा दिया जाता है। प्रशिक्षु केवल कार्यों के स्वच्छ और सफल क्रम को सीखता है, न कि उन अतिरिक्त निर्देशों को जिन्होंने इसे बनाने में मदद की। यह सुनिश्चित करता है कि प्रशिक्षु कौशल को सीखता है, न कि संकेतों के एक विशिष्ट सेट को रटता है।
इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। ग्राहक सेवा इंटरैक्शन का अनुकरण करने के लिए डिज़ाइन किए गए एक बेंचमार्क का उपयोग करते हुए परीक्षणों में, विफलताओं को हटाने वाली मानक पद्धति का अर्थ था कि मास्टर प्रोग्राम केवल लगभग 7 प्रतिशत मामलों में ही सफल हुआ। नई पद्धति ने उन 93 प्रतिशत कार्यों के लिए सफल समाधान प्राप्त किए जिनमें मास्टर मूल रूप से विफल रहा था। जब छोटे AI मॉडल को इन विस्तारित पाठों पर प्रशिक्षित किया गया, तो उनकी कार्य पूरा करने की क्षमता में नाटकीय सुधार हुआ। एक मॉडल 13 प्रतिशत कार्य हल करने से बढ़कर 53 प्रतिशत तक पहुँच गया, जबकि दूसरे ने प्रदर्शन में इसी तरह की छलांग लगाई। शोधकर्ताओं ने पुष्टि की कि यह सुधार कठिन निर्णय बिंदुओं के माध्यम से सही पथ सीखने से आया, न कि केवल कार्य के आसान हिस्सों में बेहतर होने से। वास्तव में, केवल आसान, पूर्व-चयनित सफलताओं पर प्रशिक्षण देने से मॉडल की व्यक्तिगत टूल कॉल करने की क्षमता में तो सुधार हुआ, लेकिन इससे उन्हें पूरा कार्य पूरा करने में मदद नहीं मिली। केवल इन सुधारे गए, कठिन उदाहरणों को शामिल करने से ही मॉडल पूरे कार्य को पूरा करना सीख पाए।
यह पद्धति उन कंपनियों के लिए एक व्यावहारिक लाभ भी प्रदान करती है जो अपने AI के बोलने के तरीके या व्यवहार को बदले बिना अपने AI सिस्टम को अपग्रेड करना चाहती हैं। चूंकि अंतिम पाठों से कोचिंग निर्देश हटा दिए जाते हैं, इसलिए AI शक्तिशाली कोच की समस्या-समाधान क्षमता को सीखता है जबकि मूल मास्टर प्रोग्राम की स्वाभाविक आवाज़ और शैली को बनाए रखता है। शोधकर्ताओं ने इसे ग्राहक सेवा के लिए उपयोग किए जाने वाले एक वास्तविक उत्पादन सिस्टम में परखा, जहाँ इस पद्धति ने AI की सफलता दर में 6.3 प्रतिशत अंकों का सुधार किया। ये लाभ दर्जनों अलग-अलग भाषाओं और क्षेत्रों में भी कायम रहे, जिससे पता चला कि विफलता से उबरने की क्षमता एक सार्वभौमिक कौशल है जो किसी विशिष्ट भाषा या सांस्कृतिक संदर्भ पर निर्भर नहीं करती है। विफलताओं को एक संरचित शिक्षण प्रक्रिया में बदलकर, शोधकर्ताओं ने दिखाया है कि एक स्मार्ट AI का मार्ग केवल अधिक पूर्ण उदाहरण खोजने में नहीं, बल्कि अपूर्ण उदाहरणों को समझने और उन्हें सुधारने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।