Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows
यह शोध पत्र एक अवधारणा का प्रमाण (proof of concept) प्रस्तुत करता है जो यह प्रदर्शित करता है कि वेरिफिएबल रिवार्ड्स के साथ सुदृढीकरण लर्निंग (RLVR), सिंथेटिक एटलासियन (जीरा और कॉन्फ्लुएंस) परिवेशों में जटिल, बहु-चरणीय टूल कॉल्स को निष्पादित करने की छोटे भाषा मॉडलों की क्षमता में महत्वपूर्ण सुधार करता है, जो लाइव एपीआई या मानवीय फीडबैक पर निर्भर हुए बिना अधिकांश परिदृश्यों में लगभग पूर्ण सफलता दर प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित लाइब्रेरियन (AI) है जो वाक्य में अगले शब्द की भविष्यवाणी करने में माहिर है। यदि आप उससे पूछते हैं, "आसमान..." तो वह आत्मविश्वास से कहेगा "नीला।" लेकिन यदि आप उससे किसी जटिल ऑफिस सिस्टम में कुछ करने को कहते हैं—जैसे "एक नया प्रोजेक्ट टिकट बनाएं और उसे एक विशिष्ट पेज से लिंक करें"—तो वह अक्सर लड़खड़ा जाता है। हो सकता है कि उसे सही शब्द तो पता हों, लेकिन वह विवरणों (details) में गलती कर देता है, जैसे गलत आईडी नंबर को गलत बॉक्स में डाल देना या यह जांचना भूल जाना कि वह बॉक्स मौजूद भी है या नहीं।
यह पेपर इस बारे में है कि उस लाइब्रेरियन को वास्तव में काम करना कैसे सिखाया जाए, न कि केवल उसके बारे में बात करना, और इसके लिए RLVR (Verifiable Rewards के साथ Reinforcement Learning) नामक एक विशिष्ट प्रशिक्षण पद्धति का उपयोग किया गया है।
यहाँ उनके प्रयोग का रोजमर्रा की भाषा में विवरण दिया गया है:
1. समस्या: "ऑटोपायलट" बनाम "पायलट"
लार्ज लैंग्वेज मॉडल्स (LLMs) को ऑटोपायलट की तरह प्रशिक्षित किया जाता है जो अगले शब्द की भविष्यवाणी करते हैं। वे कहानियाँ या ईमेल लिखने में उत्कृष्ट होते हैं। लेकिन एक कॉर्पोरेट ऑफिस में (विशेष रूप से Jira और Confluence जैसे Atlassian टूल्स का उपयोग करते हुए), सफलता एक सुंदर वाक्य लिखने के बारे में नहीं है; यह सटीक डेटा के साथ, सटीक क्रम में, सटीक बटन दबाने के बारे में है।
- पुराना तरीका: आप AI से कहते हैं "एक सब-टास्क बनाएं।" AI कह सकता है, "ठीक है, मैं एक सब-टास्क बनाऊंगा," लेकिन वह इसे किसी व्यक्ति को असाइन करना भूल जाता है या गलत प्रोजेक्ट कोड का उपयोग करता है। यह सुनने में तो प्रवाहपूर्ण लगता है, लेकिन कार्य विफल हो जाता है।
- लक्ष्य: लेखक यह देखना चाहते थे कि क्या वे AI को केवल "अगले शब्द का अनुमान लगाने" के बजाय "एक पायलट की तरह कार्य करने" के लिए प्रशिक्षित कर सकते हैं, जो उड़ान भरने से पहले अपने उपकरणों की जांच करता है।
2. समाधान: एक "वीडियो गेम" प्रशिक्षण मैदान
वास्तविक, लाइव कंपनी सर्वर पर AI को अभ्यास करने देने के बजाय (जो जोखिम भरा और धीमा है), लेखकों ने Jira और Confluence सिस्टम का एक परफेक्ट डिजिटल ट्विन (एक वीडियो गेम संस्करण) बनाया।
- सिम्युलेटर: यह "गेम" वास्तविक सॉफ़्टवेयर की तरह ही दिखता और काम करता है, लेकिन यह सुरक्षित है। यदि AI कोई गलती करता है, तो कुछ भी टूटता नहीं है।
- रेफरी (रिवॉर्ड सिस्टम): यही असली मंत्र है। आमतौर पर, आपको AI के काम को ग्रेड करने के लिए एक इंसान की आवश्यकता होती है। यहाँ, उन्होंने एक सख्त, स्वचालित रेफरी बनाया।
- यदि AI सही डेटा को सही बॉक्स में डालता है? पॉइंट्स।
- यदि AI किसी पेज को एडिट करने से पहले यह जांचता है कि वह मौजूद है या नहीं? बोनस पॉइंट्स।
- यदि AI ऐसे टूल का उपयोग करने की कोशिश करता है जो मौजूद नहीं है या कोई आवश्यक चरण भूल जाता है? पेनल्टी पॉइंट्स।
- महत्वपूर्ण बात: रेफरी को स्क्रीन देखने के लिए किसी इंसान की जरूरत नहीं है। यह बस गणित और कोड की जांच करता है।
3. प्रशिक्षण: प्रयास और त्रुटि (Trial and Error)
उन्होंने दो संस्करणों वाले एक AI (एक छोटा 1.7B मॉडल और एक बड़ा 4B मॉडल) को लिया और उन्हें इस सिम्युलेटर में हजारों बार खेलने दिया।
- AI एक कार्य पूरा करने की कोशिश करता है (जैसे "एक पेज बनाना")।
- वह विफल होता है, रेफरी से कम स्कोर प्राप्त करता है, और फिर से प्रयास करता है।
- वह धीरे-धीरे सीखता है: "ओह, मुझे पॉइंट्स मिले जब मैंने पहले पैरेंट पेज की जांच की। मैं पॉइंट्स खो देता हूँ जब मैं प्रोजेक्ट कोड भूल जाता हूँ।"
- यह Reinforcement Learning है: AI अच्छे व्यवहार के लिए पुरस्कार और बुरे व्यवहार के लिए दंड प्राप्त करके सीखता है।
4. परिणाम: "ठीक" से "परफेक्ट" तक
उन्होंने इस प्रशिक्षण के पहले और बाद में पांच अलग-अलग ऑफिस कार्यों पर एक AI का परीक्षण किया।
- प्रशिक्षण से पहले: AI सरल कार्यों में अच्छा था लेकिन जटिल कार्यों में बहुत खराब था। उदाहरण के लिए, एक नया Confluence पेज बनाने पर, बिना प्रशिक्षित AI को केवल लगभग 35% अंक मिलते थे। वह छोटी, महंगी गलतियाँ करता रहता था।
- प्रशिक्षण के बाद: प्रशिक्षित AI लगभग परफेक्ट हो गया। उसी पेज-निर्माण कार्य पर, वह 100% तक पहुँच गया।
- बड़ी जीत: प्रशिक्षण सबसे कठिन कार्यों पर सबसे प्रभावी था (वे जिनमें सबसे अधिक नियम और डेटा फील्ड्स थे)। AI ने इन सिस्टमों के लिए आवश्यक सख्त "चेक-देन-डू" (जांचो-फिर-करो) पैटर्न को सीख लिया।
5. कमी (सीमाएं)
लेखक इस बारे में बहुत ईमानदार हैं कि यह अभी क्या नहीं करता है:
- यह हर चीज़ के लिए जादू नहीं है: उन्हें इन विशिष्ट कार्यों के लिए "रेफरी नियम" हाथ से बनाने पड़े थे। आप इसे बिना एक नया रेफरी बनाए दुनिया के किसी भी सॉफ़्टवेयर में सीधे नहीं लगा सकते। यह एक ऐसे कोच की तरह है जो फुटबॉल सिखाने में तो माहिर है लेकिन उसने अभी बास्केटबॉल नहीं सीखा है।
- एक कार्य बहुत आसान था: एक विशिष्ट कार्य (टिकट स्टेटस बदलना) के लिए, AI प्रशिक्षण से पहले ही परफेक्ट था, इसलिए प्रशिक्षण ने वहां कोई मूल्य नहीं जोड़ा।
निचोड़
यह पेपर सिद्ध करता है कि आप एक मानक AI ले सकते हैं, उसे एक सुरक्षित, सिम्युलेटेड ऑफिस वातावरण में रख सकते हैं, और एक सख्त, स्वचालित रेफरी का उपयोग करके उसे जटिल नियमों का पालन करना सिखा सकते हैं। यह AI को एक "बातूनी बॉट" से बदलकर एक "विश्वसनीय कार्यकर्ता" में बदल देता है जो विवरणों में विफल होने के बजाय काम को पूरी तरह से करता है। हालाँकि, इसके लिए हर उस विशिष्ट प्रकार के सॉफ़्टवेयर के लिए एक कस्टम "ट्रेनिंग जिम" बनाने की आवश्यकता होती है जिसे आप चाहते हैं कि वह उपयोग करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।