SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing
SkillAudit एक ग्राउंड-ट्रुथ-मुक्त (ground-truth-free) ढांचा है जो कैंडिडेट स्किल्स के साथ और उनके बिना युग्मित प्रक्षेप पथों (paired trajectories) का पुनरावृत्ति द्वारा ऑडिट करके एजेंट कौशल को विकसित करता है, जिसमें व्यवहार संबंधी विचलन का निदान करने के लिए प्रोसेस-अलाइन्ड कॉन्ट्रास्टिव इवैल्यूएशन (Process-Aligned Contrastive Evaluation) और बाहरी रिवार्ड्स या छिपे हुए टेस्ट परिणामों पर निर्भर किए बिना स्किल डॉक्यूमेंट्स को सुरक्षित रूप से परिष्कृत या मरम्मत करने के लिए एक स्ट्रक्चरल वेरिफायर का उपयोग किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन समय में जमी हुई (frozen-in-time) रोबोटिक सहायक है। आप इसके मस्तिष्क को पुन: प्रोग्राम नहीं कर सकते (इसके "weights" लॉक हैं), लेकिन आप इसे एक निर्देश पुस्तिका (एक "कौशल" या "skill") दे सकते हैं ताकि यह कंप्यूटर बग ठीक करने या वित्तीय डेटा का विश्लेषण करने जैसे विशिष्ट कार्यों को हल करने में मदद कर सके।
समस्या यह है कि ये निर्देश पुस्तिकाएं अक्सर पुरानी हो जाती हैं। शायद कोई टूल बदल गया हो, या किसी नए प्रकार की त्रुटि (error) का सामना करना पड़ा हो। आमतौर पर, एक मैनुअल को ठीक करने के लिए आपको एक "शिक्षक" (एक विशेषज्ञ या एक छिपी हुई उत्तर कुंजी) की आवश्यकता होती है जो आपको बताए, "नहीं, यह चरण गलत है।" लेकिन क्या होगा यदि आपके पास कोई शिक्षक न हो? क्या होगा यदि आपके पास केवल कार्य का विवरण और एक अव्यवस्थित कार्यक्षेत्र हो?
यह पेपर SKILLAUDIT पेश करता है, जो एक ऐसा सिस्टम है जो बिना किसी शिक्षक या उत्तर कुंजी के इन निर्देश पुस्तिकाओं को ठीक कर सकता है।
यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए यहाँ दिया गया है:
1. "स्वाद परीक्षण" (Paired Trajectory Auditing)
कल्पना कीजिए कि आप केक के लिए एक रेसिपी सुधारने की कोशिश कर रहे हैं। आपके पास स्वाद लेने के लिए कोई फूड क्रिटिक नहीं है। इसके बजाय, आप एक ही समय में दो केक बनाते हैं:
- केक A: वर्तमान रेसिपी का उपयोग करके बनाया गया (यह "कौशल" या "Skill" है)।
- केक B: उन्हीं सामग्रियों का उपयोग करके लेकिन उस विशिष्ट रेसिपी के बिना बनाया गया (केवल बेकर के सहज ज्ञान का उपयोग करके)।
फिर आप दोनों केक की आमने-सामने तुलना करते हैं।
- यदि केक A बेहतर है, तो रेसिपी मदद कर रही है (Helping)।
- यदि केक A जला हुआ या चपटा है जबकि केक B ठीक है, तो रेसिपी नुकसान पहुँचा रही है (Hurting)।
- यदि वे बिल्कुल एक जैसे दिखते हैं, तो रेसिपी निष्क्रिय (Inert) है (कुछ भी नहीं कर रही है)।
SKILLAUDIT रोबोट के साथ बिल्कुल यही करता है। यह कार्य को दो बार चलाता है: एक बार कौशल के साथ और एक बार कौशल के बिना। दोनों "ट्रेस" (trace) की तुलना करके कि रोबोट ने क्या किया, यह सटीक रूप से पहचान लेता है कि कौशल ने कहाँ मदद की या कहाँ भ्रमित किया।
2. "जासूसी दस्ता" (PACE)
एक बार जब दोनों रन पूरे हो जाते हैं, तो सिस्टम को यह पता लगाने की आवश्यकता होती है कि मैनुअल का कौन सा विशिष्ट वाक्य समस्या का कारण बना। यह PACE नामक AI जासूसों की एक टीम का उपयोग करता है।
केवल यह कहने के बजाय कि "केक खराब है," PACE दोनों केक को देखता है और रेसिपी की एक विशिष्ट पंक्ति की ओर इशारा करता है:
- "क्योंकि पैराग्राफ 3 के कारण, रोबोट ने ऐसे टूल का उपयोग करने की कोशिश की जो अब अस्तित्व में नहीं है।"
- "क्योंकि पैराग्राफ 7 के कारण, रोबोट ने वह सुरक्षा जांच छोड़ दी जो 'बिना-कौशल' वाले संस्करण ने की थी।"
यह एक अस्पष्ट विफलता को एक विशिष्ट संपादन निर्देश (edit instruction) में बदल देता है।
3. "नियम पुस्तिका" (The Anchor Verifier)
कभी-कभी, AI जासूस भ्रमित हो सकते हैं या गलत जानकारी (hallucinate) दे सकते हैं। सिस्टम को ऐसे बदलाव करने से रोकने के लिए जो कार्य को बिगाड़ सकते हैं, एक नियम पुस्तिका (Rulebook) होती है।
यह कार्य के विवरण से पहले तैयार की गई एक सख्त, अपरिवर्तनीय चेकलिस्ट है। यह ठोस तथ्यों की जाँच करती है:
- "क्या रोबोट ने आवश्यक फ़ाइल बनाई?"
- "क्या फ़ाइल का प्रारूप (format) सही है?"
- "क्या यह क्रैश हुआ?"
यदि मैनुअल का नया संस्करण इस नियम पुस्तिका में विफल रहता है, तो सिस्टम तुरंत परिवर्तनों को वापस (roll back) ले लेता है, चाहे जासूसों ने कुछ भी कहा हो। यह एक सुरक्षा जाल (safety net) के रूप में कार्य करता है।
4. ठीक करने के दो तरीके (Refine बनाम Repair)
"स्वाद परीक्षण" क्या दर्शाता है, इसके आधार पर, सिस्टम दो रणनीतियों में से एक का उपयोग करता है:
- परिष्कृत करना (Refine - द एडिटर): यदि मैनुअल काफी हद तक अच्छा है लेकिन इसमें बहुत अधिक अनावश्यक बातें, भ्रमित करने वाले निर्देश या पुराने सुझाव हैं, तो सिस्टम एक सख्त संपादक की तरह कार्य करता है। यह शोर (noise) को हटा देता है और अच्छे हिस्सों को स्पष्ट करता है।
- मरम्मत करना (Repair - द सर्जन): यदि मैनुअल रोबोट को पूरी तरह से गलत निर्देश दे रहा है (जैसे उसे ऐसे टूल का उपयोग करने के लिए कहना जो अस्तित्व में नहीं है), तो सिस्टम एक सर्जन की तरह कार्य करता है। यह खराब पैराग्राफ को काटकर निकाल देता है और उसे सही चरणों के साथ बदल देता है, अक्सर "बिना-कौशल" वाले रन से सही चरणों को उधार लेकर।
परिणाम
शोधकर्ताओं ने इसका परीक्षण 89 विभिन्न पेशेवर कार्यों (जैसे कोडिंग, डेटा विश्लेषण और साइबर सुरक्षा) पर किया।
- कोई मैनुअल नहीं: रोबोट लगभग 41% कार्यों को सही ढंग से कर पाया।
- स्थिर मैनुअल (पुराना, बिना संपादित मैनुअल): रोबोट लगभग 57% कार्यों को सही ढंग से कर पाया।
- SKILLAUDIT (विकसित मैनुअल): रोबोट ने 74% कार्य सही ढंग से किए।
मुख्य निष्कर्ष:
SKILLAUDIT यह सिद्ध करता है कि AI के निर्देश मैनुअल को बेहतर बनाने के लिए आपको किसी मानव विशेषज्ञ या छिपी हुई उत्तर कुंजी की आवश्यकता नहीं है। केवल "कौशल के साथ" बनाम "कौशल के बिना" रन की तुलना करके, सिस्टम स्वयं को सुधार सकता है, गलत सलाह को हटा सकता है, और अच्छी सलाह को बनाए रख सकता है, जिससे रोबोट काफी अधिक स्मार्ट और विश्वसनीय बन जाता है।
सीमा (Limit):
यह सिस्टम तब सबसे अच्छा काम करता है जब कार्य एक स्पष्ट "पदचिह्न" (footprint) छोड़ता है (जैसे कि एक फ़ाइल का बनना या एक संख्या की गणना करना)। यदि कार्य पूरी तरह से "अच्छे निर्णय" या "रचनात्मक सोच" के बारे में है जहाँ कोई स्पष्ट सही/गलत उत्तर जाँचने के लिए नहीं है, तो सिस्टम को यह समझने में कठिनाई होती है कि उसने मैनुअल में सुधार किया है या नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।