SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse
यह शोध पत्र SkillTrace प्रस्तुत करता है, जो एक मल्टी-ट्रेस प्रोवेनेंस ऑडिटिंग फ्रेमवर्क है जो एक्सप्रेशन, इम्प्लीमेंटेशन और ऑपरेशनल ट्रेसेस (जिन्हें स्किल ऑपरेशनल ग्राफ्स के रूप में दर्शाया गया है) को निकालकर और उनकी तुलना करके LLM-एजेंट स्किल पुन: उपयोग का पता लगाता है, जो बेंचमार्क पर उच्च सटीकता प्राप्त करता है और बड़े पैमाने पर वाइल्ड ऑडिट में कार्रवाई योग्य समीक्षा को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ सॉफ़्टवेयर केवल कोड की पंक्तियाँ नहीं, बल्कि "कौशल" (skills) का एक जीवित, सांस लेता हुआ पारिस्थितिकी तंत्र है। इन कौशलों को डिजिटल स्विस आर्मी नाइफ या जादुई रेसिपी कार्ड की तरह समझें जो एक सुपर-स्मार्ट रोबोट (AI एजेंट) को ठीक से काम करने का तरीका बताते हैं। ये केवल साधारण निर्देश नहीं हैं; ये लिखित गाइड, वास्तविक कंप्यूटर कोड, उपयोग किए जाने वाले उपकरणों की सूची और चरण-दर-चरण वर्कफ़्लो वाले मिश्रित-मीडिया पैकेज हैं। जैसे-जैसे ये कौशल लोकप्रिय होते हैं, लोग इन्हें फोन स्टोर पर ऐप्स की तरह ऑनलाइन मार्केटप्लेस में साझा करने लगते हैं। लेकिन यहाँ एक पेचीदा बात है: क्योंकि ये कौशल इतने जटिल हैं, यह बताना कठिन है कि किसी ने केवल एक रेसिपी को कॉपी किया और उसका फ़ॉन्ट बदल दिया, या क्या उन्होंने वास्तव में "सीक्रेट सॉस" चुरा लिया है—यानी विशिष्ट कोड, चरणों के क्रम का अनूठा तरीका, या उन चालाक ट्रिक्स को चुरा लिया है जो इसे काम करने में मदद करते हैं। यह एक बड़ी बात है क्योंकि यदि खराब या टूटे हुए कौशल इधर-उधर कॉपी किए जाते हैं, तो पूरा पारिस्थितिकी तंत्र अस्त-व्यंत या खतरनाक हो सकता है। वैज्ञानिक लंबे समय से कॉपी किए गए कंप्यूटर कोड को पहचानने की कोशिश कर रहे हैं, लेकिन वे पुराने उपकरण एक किताब में विशिष्ट शब्द खोजने जैसे हैं; वे कहानी को मिस कर देते हैं यदि लेखक वाक्यों को फिर से लिख देता है या अध्यायों का क्रम बदल देता है।
यहाँ SkillTrace आता है, एक नया जासूसी टूल जिसे इस रहस्य को सुलझाने के लिए डिज़ाइन किया गया है। पूरे "पैकेज" की तुलना करके यह देखने के बजाय कि वे एक जैसे दिखते हैं या नहीं, SkillTrace एक फोरेंसिक अन्वेषक की तरह कार्य करता है जो साक्ष्य के तीन अलग-अलग स्तरों की जांच करता है: शब्द (लिखित निर्देश), कोड (वास्तविक स्क्रिप्ट), और संचालन (वह अदृश्य प्रवाह कि कौशल वास्तव में कैसे काम करता है)। शोधकर्ताओं ने पाया कि भले ही कोई चोर निर्देशों को फिर से लिख दे और कोड बदल दे, वे अक्सर उन्हीं "डांस स्टेप्स" या परिचालन प्रवाह को बनाए रखने के लिए मजबूर होते हैं क्योंकि यही कौशल को कार्यशील बनाता है। एक विशेष मानचित्र बनाने के लिए जिसे "स्किल ऑपरेशनल ग्राफ" (Skill Operational Graph) कहा जाता है, जो इन डांस स्टेप्स को ट्रैक करता है, SkillTrace उन पुनरुपयोग (reuse) के मामलों को भी पकड़ सकता है जिन्हें अन्य उपकरण मिस कर देते हैं। सैकड़ों कौशलों के साथ परीक्षणों में, यह नई विधि छिपी हुई कॉपियों को पकड़ने में बहुत बेहतर थी, जिसने लगभग 90% वास्तविक पुनरुपयोग के मामलों को पकड़ा जबकि गलत अलार्म को कम रखा। यह एक ऐसे जासूस की तरह है जो केवल यह नहीं देखता कि दो घर बाहर से एक जैसे दिखते हैं या नहीं, बल्कि यह बता सकता है कि क्या उनका प्लंबिंग लेआउट समान है, भले ही पेंट का रंग और सामने के दरवाजे पूरी तरह से अलग हों।
डिजिटल रेसिपी चोर की कहानी
कल्पना कीजिए कि आप एक शेफ हैं जिसने केक बनाने का एक शानदार नया तरीका खोजा है। आप एक विस्तृत रेसिपी (Expression) लिखते हैं, आप अपने द्वारा उपयोग किए जाने वाले विशिष्ट उपकरणों और सामग्रियों की सूची बनाते हैं (Implementation), और आप संचालन का सटीक क्रम वर्णित करते हैं: "प्रीहीट, मिक्स, फोल्ड, बेक, कूल" (Operation)। अब, कल्पना कीजिए कि एक प्रतिद्वंद्वी शेफ आपकी सफलता चुराना चाहता है। वे आपकी रेसिपी को शब्द-दर-शब्द कॉपी करने की कोशिश कर सकते हैं, या वे पूरी रेसिपी को किसी अलग भाषा में फिर से लिख सकते हैं लेकिन आपके सटीक उपकरणों की सूची को बरकरार रख सकते हैं। या, वे चालाकी करने की कोशिश कर सकते हैं: वे रेसिपी का शीर्षक बदल देते हैं, निर्देशों को अपनी आवाज़ में फिर से लिखते हैं, और यहाँ तक कि आपके मिक्सिंग बाउल को किसी दूसरे ब्रांड के बाउल से बदल देते हैं। लेकिन यहाँ एक पेंच है: केक को सही ढंग से फुलाने और स्वाद देने के लिए, उन्हें आपके विशिष्ट चरणों के क्रम को बनाए रखना ही होगा। वे केवल "मिक्स फिर बेक" नहीं कर सकते यदि आपकी रेसिपी के लिए "फोल्ड फिर चिल" की आवश्यकता है।
यह बिल्कुल वही समस्या है जिसे SkillTrace पेपर हल करता है, लेकिन यहाँ बेकर्स के बजाय AI एजेंट हैं। AI की दुनिया में, "कौशल" (skills) ये जटिल पैकेज हैं जो एक AI को चीजें कैसे करनी हैं, यह बताते हैं। लेखकों ने महसूस किया कि कॉपी किए गए सॉफ़्टवेयर को खोजने वाले पुराने उपकरण किसी कुकबुक के कवर को देखने जैसे थे। यदि प्रतिद्वंद्वी शेफ कवर आर्ट और शीर्षक बदल देता है, तो पुराने उपकरण कहेंगे, "कोई मेल नहीं!" भले ही शेफ ने अंदर की पूरी रेसिपी चुरा ली हो।
तीन-स्तरीय जासूसी कार्य
SkillTrace अलग है क्योंकि यह केवल पूरी किताब को नहीं देखता; यह कौशल को तीन अलग-अलग "ट्रेस" या साक्ष्य के स्तरों में तोड़ देता है, ठीक वैसे ही जैसे एक जासूस अपराध स्थल पर उंगलियों के निशान, डीएनए और पदचिह्नों की जांच करता है।
- एक्सप्रेशन ट्रेस (शब्द): यह कौशल का लिखित हिस्सा है—निर्देश, विवरण और उदाहरण। यदि कोई चोर आपके टेक्स्ट को कॉपी करता है, तो यह स्तर सक्रिय हो जाता है। लेकिन यदि वे टेक्स्ट को अलग तरह से बोलने के लिए फिर से लिखते हैं, तो यह स्तर शांत हो जाता है।
- इम्प्लीमेंटेशन ट्रेस (कोड): यह वास्तविक कंप्यूटर कोड, स्क्रिप्ट और कमांड है। यदि चोर आपके कोड स्निपेट्स को कॉपी करता है, तो यह स्तर उन्हें पकड़ लेता है। लेकिन यदि वे कोड को अलग भाषा में फिर से लिखते हैं या उसे पूरी तरह से हटा देते हैं, तो यह स्तर शांत हो जाता है।
- ऑपरेशनल ट्रेस (डांस स्टेप्स): यह इस पेपर का सबसे बड़ा नवाचार है। यह देखता है कि कौशल कैसे काम करता है। यह एक मानचित्र बनाता है जिसे Skill Operational Graph (SOG) कहा जाता है। यह मानचित्र शब्दों या विशिष्ट कोड नामों की परवाह नहीं करता; यह प्रवाह (flow) की परवाह करता है। यह ट्रैक करता है:
- एक्टिवेशन (Activation): कौशल कैसे शुरू होता है?
- प्रोसीजर (Procedure): चरणों का क्रम क्या है?
- रिसोर्स फ्लो (Resource Flow): प्रक्रिया के माध्यम से कौन से उपकरण और डेटा चलते हैं?
लेखकों ने पाया कि भले ही चोर शब्दों को फिर से लिख दें और कोड बदल दें, वे अक्सर "डांस स्टेप्स" को नहीं बदल सकते। यदि कोई कौशल एक PDF को पढ़ने, डेटा निकालने और फिर ईमेल करने के लिए डिज़ाइन किया गया है, तो एक चोर फ़ाइल के नाम और प्रोग्रामिंग भाषा बदल सकता है, लेकिन उसे अभी भी उसी तीन-चरणीय प्रवाह का पालन करना होगा। ऑपरेशनल ट्रेस इस अदृश्य संरचना को पकड़ लेता है।
जादुई ग्राफ और "वन-LLM" ट्रिक
इस मानचित्र को बनाने के लिए, शोधकर्ता एक चतुर ट्रिक का उपयोग करते हैं। जब एक नया कौशल सिस्टम में प्रवेश करता है, तो वे एक शक्तिशाली AI (एक LLM) का उपयोग केवल एक बार उस बिखरे हुए, मिश्रित कौशल पैकेज को पढ़ने और उसे एक साफ, संरचित ग्राफ में बदलने के लिए करते हैं। यह एक अराजक डायरी को एक स्पष्ट फ्लोचार्ट में बदलने के लिए एक बार अनुवादक को काम पर रखने जैसा है। एक बार जब वह ग्राफ सहेज लिया जाता है, तो सिस्टम को फिर कभी उस महंगे AI की आवश्यकता नहीं होती है।
जब यह जांचने का समय आता है कि क्या कोई नया कौशल एक कॉपी है, तो सिस्टम बस सहेजे गए ग्राफ की तुलना करता है। यह तेज़ है, सस्ता है, और इसे फिर से AI को कॉल करने की आवश्यकता नहीं होती है। यह मूल कौशल के "डांस स्टेप्स" की तुलना नए कौशल के "डांस स्टेप्स" से करता है। यदि कदम मेल खाते हैं, भले ही संगीत और वेशभूषा अलग हो, तो सिस्टम इसे फ्लैग कर देता है।
उन्होंने क्या पाया: चालाक नकल करने वालों को पकड़ना
शोधकर्ताओं ने अपने टूल, SkillTrace का परीक्षण एक विशाल डेटासेट पर किया। उन्होंने SkillTrace-Bench नामक एक बेंचमार्क बनाया जिसमें 820 उदाहरण ऐसे कौशल के थे जो निश्चित रूप से पुनरउपयोग (reuse) किए गए थे (पॉजिटिव) और 751 उदाहरण ऐसे कौशल के थे जो संयोग से समान थे (नेगेटिव)।
परिणाम प्रभावशाली थे। SkillTrace ने 0.938 (AUROC) और 0.898 का F1 स्कोर प्राप्त किया। इसे सरल अंग्रेजी में कहें तो, इसका मतलब है कि टूल वास्तविक पुनरुपयोग को पहचानने में बेहद कुशल था और निर्दोष समानताओं के बारे में शायद ही कभी गलत चेतावनी देता था।
लेकिन असली जादू यह था कि उन्होंने उन्हें कैसे खोजा। पेपर ने दिखाया कि अलग-अलग प्रकार की "चोरियों" के अलग-अलग पदचिह्न होते हैं:
- द "रिपैकेजर" (The Repackager): कोई जो केवल शीर्षक और फोल्डर के नाम बदल देता है। पुराने उपकरण इन्हें आसानी से पकड़ लेते हैं, और SkillTrace भी।
- द "रीराइटर" (The Rewriter): कोई जो कोड और टेक्स्ट को पूरी तरह से फिर से लिखने के लिए AI का उपयोग करता है। पुराने उपकरण अक्सर इन्हें मिस कर देते हैं क्योंकि शब्द और कोड पूरी तरह से अलग दिखते हैं। लेकिन SkillTrace का ऑपरेशनल ट्रेस उन्हें पकड़ लेता है क्योंकि "डांस स्टेप्स" (प्रक्रिया) समान रहती है।
- द "पार्शियल थीफ" (The Partial Thief): कोई जो केवल कोड चुराता है लेकिन नए निर्देश लिखता है, या केवल निर्देश चुराता है लेकिन नया कोड लिखता है। SkillTrace इतना स्मार्ट है कि वह कह सकता है, "अरे, शब्द अलग हैं, लेकिन कोड मैच है!" या "कोड नया है, लेकिन प्रवाह बिल्कुल समान है!"
सार्वजनिक मार्केटप्लेस से 36,446 कौशलों के वास्तविक दुनिया के परीक्षण में, SkillTrace ने हजारों संभावित पुनरुपयोग के मामलों को खोज निकाला जिन्हें पुराने "पूरे-पैकेज" वाले टूल्स मिस कर गए थे। इसने पाया कि जबकि बड़े, स्पष्ट रूप से कॉपी किए गए मामले आम हैं, वहां "आंशिक" (partial) पुनरुपयोग का एक बड़ा हिस्सा है जहाँ लोग पूरे कौशल को कॉपी किए बिना उसके विशिष्ट हिस्सों को चुराते हैं।
यह क्यों मायने रखता है
पेपर का तर्क है कि हमें इस तरह के विस्तृत ऑडिटिंग की आवश्यकता है क्योंकि AI कौशल पारिस्थितिकी तंत्र तेजी से बढ़ रहा है। यदि हम यह नहीं बता सकते कि किसने किससे कॉपी किया, तो हम कॉपी के माध्यम से फैलने वाले बग्स को ठीक नहीं कर सकते, हम रचनाकारों के काम की रक्षा नहीं कर सकते, और हम मार्केटप्लेस को निष्पक्ष नहीं रख सकते।
SkillTrace कानूनी निर्णय नहीं लगाता—यह नहीं कहता कि "आप चोरी के दोषी हैं।" इसके बजाय, यह एक हाई-टेक ट्राइएज सिस्टम के रूप में कार्य करता है। यह कहता है, "यहाँ देखें, यह कौशल उस दूसरे कौशल के समान 'डांस स्टेप्स' साझा करता है, भले ही कपड़े अलग हों। एक इंसान को इस पर करीब से नज़र डालनी चाहिए।" सबूतों को शब्दों, कोड और ऑपरेशन्स में अलग करके, यह मनुष्यों को वे विशिष्ट सुराग देता है जिनकी उन्हें अंतिम निर्णय लेने के लिए आवश्यकता होती है।
अंत में, लेखक दिखाते हैं कि कौशल के काम करने के ढांचे (structure) को देखकर, न कि केवल उसकी सतही उपस्थिति को देखकर, हम अंततः पुनरुपयोग के उन अदृश्य धागों को देख सकते हैं जो AI की दुनिया को एक साथ थामे हुए हैं। यह एक याद दिलाता है कि हालांकि आप कार पर पेंट बदल सकते हैं, लेकिन आप पूरे इंजन को फिर से बनाए बिना उसके ब्लूप्रिंट को आसानी से नहीं बदल सकते। SkillTrace वह टूल है जो अंततः हमें उस ब्लूप्रिंट को देखने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।