SkillConsist: Detecting Inconsistencies in Agent Skills via Bidirectional Graph Alignment
SkillConsist एक नवीन ढांचा है जो द्विदिश व्यवहार ग्राफ (bidirectional behavior graphs) का निर्माण करके और ग्राफ संरेखण (graph alignment) एवं अंतर निर्धारण (differencing) करके घोषित और कार्यान्वित एजेंट कौशल के बीच विसंगतियों का पता लगाता है, जो कि नवनिर्मित 633-कौशल बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका कंप्यूटर केवल आदेशों का पालन ही नहीं करता, बल्कि एक सहायक की तरह काम करता है, एक डिजिटल बटलर जो वेब ब्राउज़ कर सकता है, आपकी फाइलों को प्रबंधित कर सकता है, या यहाँ तक कि आपकी छुट्टियाँ भी बुक कर सकता है। ऐसा करने के लिए, यह "एजेंट स्किल्स" (Agent Skills) का उपयोग करता है—पहले से बने उपकरण या रेसिपी जो कंप्यूटर को बताते हैं कि किसी विशिष्ट कार्य को ठीक से कैसे करना है। इन स्किल्स को एक कुकबुक के निर्देशों की तरह समझें: "डिक्लेरेशन" (declaration) मेनू पर दी गई उस स्वादिष्ट विवरण की तरह है जो "स्पाइसी टैकोस" डिश का वादा करती है, जबकि "इम्प्लीमेंटेशन" (implementation) रसोई में होने वाली वास्तविक कुकिंग है।
समस्या तब आती है जब मेनू झूठ बोलता है। हो सकता है कि शेफ (कोड) ने गलती से एक गुप्त सामग्री डाल दी हो जिससे टैकोस जहरीले हो गए हों, या शायद वे साल्सा डालना ही भूल गए हों, भले ही मेनू ने इसका वादा किया था। डिजिटल दुनिया में, ये बेमेल स्थितियाँ खतरनाक होती हैं। यदि कोई कंप्यूटर एजेंट एक झूठे वादे के आधार पर किसी स्किल को चुनता है, तो वह अनजाने में आपकी फाइलें डिलीट कर सकता है, आपका निजी डेटा लीक कर सकता है, या किसी हैकर द्वारा ठगा जा सकता है। वैज्ञानिक एक "फूड क्रिटिक" (खाद्य समीक्षक) बनाने की कोशिश कर रहे हैं जो डिश को चख सके और उसे मेनू से मिला सके ताकि एजेंट द्वारा उन्हें परोसने से पहले ही इन झूठों को पकड़ा जा सके। यह जाँचने की चुनौती है कि क्या कोई स्किल जो कहती है कि वह क्या करती है, वास्तव में वही करती है जो वह वास्तव में करती है।
यहाँ SkillConsist आता है, एक नया डिजिटल जासूस जिसे इसी रहस्य को सुलझाने के लिए डिज़ाइन किया गया है। इस टूल के पीछे के शोधकर्ताओं ने महसूस किया कि पिछले तरीके एक वाक्य के मेनू विवरण की तुलना 50 पन्नों की रेसिपी बुक से करने जैसे थे, बिना किसी स्पष्ट मिलान के। मेनू कह सकता है "टैकोस बनाएं," जबकि रेसिपी में प्याज काटना, मांस ग्रिल करना, टॉर्टिला गर्म करना और साल्सा मिलाना शामिल है। एक साधारण शब्द-दर-शब्द जाँच विफल हो जाएगी क्योंकि "टैकोस बनाएं" का वादा एक बड़ा विचार है, लेकिन रसोई का काम कई छोटे चरणों की एक श्रृंखला है।
SkillConsist इसे दो अलग-अलग मानचित्र (maps) बनाकर हल करता है: एक मेनू के वादों के लिए और एक रसोई के कार्यों के लिए। सबसे पहले, यह टेक्स्ट और कोड के उलझे हुए मिश्रण को छाँटने के लिए एक स्मार्ट AI का उपयोग करता है, जिससे "हम क्या वादा करते हैं" को "हम वास्तव में क्या करते हैं" से अलग किया जा सके। फिर, यह इन्हें ग्राफ (graphs) के रूप में खींचता है—सोचिए कि ये फ्लोचार्ट की तरह हैं जहाँ हर चरण एक नोड है और हर कनेक्शन एक रेखा है।
असली जादू अगले चरण में होता है: द्विदिश ग्राफ संरेखण (Bidirectional Graph Alignment)। कल्पना करें कि आप मेनू मैप पर एक बड़े "टैकोस बनाएं" वाले बुलबुले को रसोई के मैप पर जुड़े हुए बुलबुलों के एक पूरे समूह से मिलाने की कोशिश कर रहे हैं। SkillConsist केवल एक एकल मिलान नहीं देखता; यह बाहर की ओर फैलता है, रसोई के मैप में रेखाओं का पीछा करता है ताकि यह देख सके कि क्या चरणों का एक पूरा समूह (काटना, ग्रिल करना, मिलाना) अकेले मेनू के वादे को पूरी तरह से समझाने के लिए एक साथ जोड़ा जा सकता है। यह दोनों दिशाओं में ऐसा करता है, यह जाँचता है कि क्या प्रत्येक रसोई चरण का एक मेनू वादा है और क्या प्रत्येक मेनू वादे की एक रसोई योजना है।
एक बार जब मानचित्र संरेखित हो जाते हैं, तो जासूस विसंगतियों (inconsistencies) की तलाश करता है। यह तीन प्रकार की समस्याओं को चिह्नित करता है:
- संघर्ष (Conflicts): मेनू कहता है "स्पाइसी," लेकिन रसोई का कोड "स्वीट" जोड़ देता है।
- अपूर्ण कार्यान्वयन (Unimplemented): मेनू साल्सा का वादा करता है, लेकिन रसोई में साल्सा की कोई सामग्री ही नहीं है।
- अघोषित (Undeclared): रसोई चुपके से मिश्रण में "जहर" मिला रही है, लेकिन मेनू ने इसका कभी उल्लेख नहीं किया।
शोधकर्ताओं ने 633 वास्तविक दुनिया के एजेंट स्किल्स के एक विशाल बेंचमार्क पर SkillConsest का परीक्षण किया, जिसमें कुछ स्किल्स भी शामिल थीं जिन्हें ट्रिकी या दुर्भावनापूर्ण (malicious) माना जाता था। परिणाम प्रभावशाली थे: टूल ने 87.93% बार (एक स्कोर जिसे F1 कहा जाता है) असंगत स्किल्स की सही पहचान की, जो पिछले सर्वोत्तम तरीकों की तुलना में 20 प्रतिशत अंक से अधिक की बड़ी छलांग थी। इसने लगभग 62% बार यह भी सटीक रूप से बताया कि कोड में झूठ कहाँ छिपा है।
शायद सबसे महत्वपूर्ण बात यह है कि यह पेपर दिखाता है कि यह केवल टाइपो (typos) को ठीक करने के बारे में नहीं है; यह सुरक्षा के बारे में है। जब शोधकर्ताओं ने दुर्भावनापूर्ण स्किल्स की जांच करने के लिए SkillConsist का उपयोग किया, तो इसने जोखिम भरे वातावरण में पहले चलाए बिना ही अधिक खतरनाक उपकरणों को पकड़ने में मदद की। वादा और वास्तविकता के बीच के अंतर को पकड़कर, SkillConsist हमें अपने डिजिटल सहायकों पर थोड़ा अधिक भरोसा करने का एक तरीका देता है, यह सुनिश्चित करता है कि जब कंप्यूटर कहता है कि वह टैकोस बना रहा है, तो वह वास्तव में कुछ खतरनाक परोस नहीं रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।