IDRAAK: From Multi-Agent NLP to Few-Shot Prompting for Semantic Drift Detection in Technical Requirements
यह शोध पत्र IDRAAK को प्रस्तुत करता है, जो विभिन्न भाषाओं में तकनीकी आवश्यकताओं में सिमेंटिक ड्रिफ्ट (semantic drift) का पता लगाने के लिए एक व्याख्या योग्य ढांचा है, जो यह प्रदर्शित करता है कि एक एकल LLM कॉल के साथ एक सरल फ्यू-शॉट प्रॉम्पटिंग दृष्टिकोण अधिक जटिल मल्टी-एजेंट और संरचित विकल्पों से बेहतर प्रदर्शन करता है और साथ ही उच्च सटीकता और दक्षता भी प्राप्त करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के लिए एक बहुत ही गंभीर मैनुअल पर काम करने वाले अनुवादक हैं। मूल निर्देश कहते हैं, "इंजन को 50 मिलीसेकंड के भीतर शुरू होना चाहिए।" यदि आप इसका दूसरी भाषा में अनुवाद करते हैं और गलती से इसे बदलकर "इंजन को 50 माइक्रोसेकंड के भीतर शुरू होना चाहिए" कर देते हैं, तो आपने केवल एक टाइपो नहीं किया है; आपने मिशन के भौतिक विज्ञान (physics) को ही बदल दिया है। कंप्यूटर विज्ञान की दुनिया में, इस चालाक समस्या को सिमेंटिक ड्रिफ्ट (semantic drift) कहा जाता है। यह तब होता है जब अनुवाद एकदम सही लगता है और सुचारू रूप से बहता है, लेकिन छिपा हुआ अर्थ—संख्याएँ, नियम, और "अनिवार्यता" बनाम "संभावना"—कहीं खो जाता है। यह उन इंजीनियरों के लिए एक बहुत बड़ी बात है जो मेडिकल डिवाइस या सेल्फ-ड्राइविंग कारों जैसे सुरक्षा-महत्वपूर्ण सिस्टम बना रहे हैं, जहाँ अर्थ का एक छोटा सा बदलाव भी आपदा का कारण बन सकता है। इन भूतों को पकड़ने के लिए, वैज्ञानिक आमतौर पर उन उपकरणों का उपयोग करते हैं जो यह गिनते हैं कि कितने शब्द मेल खाते हैं या बड़े AI मॉडल से पूछते हैं कि क्या अर्थ बदल गया है। लेकिन क्या होगा यदि AI अपनी ही जटिलता के कारण भ्रमित हो जाए, या शब्द-गिनती वाले उपकरण पूरी तरह से सूक्ष्म बदलावों को पकड़ने में विफल रहे?
यह एक पहेली है जिसे IDRAK (इंटरप्रिटेबल ड्रिफ्ट रिकग्निशन विद एजेंट-ऑगमेंटेड नॉलेज) नामक एक नए फ्रेमवर्क द्वारा हल किया गया है। शोधकर्ता यह पता लगाना चाहते थे कि विभिन्न भाषाओं में तकनीकी आवश्यकताओं में इन खतरनाक अर्थ परिवर्तनों को पहचानने का सबसे अच्छा तरीका क्या है। उन्होंने तरीकों के एक पूरे 'चिड़ियाघर' का परीक्षण किया: कुछ जो वाक्यों को कठोर, गणितीय भागों में तोड़ते थे, और अन्य जो बहस करने के लिए AI एजेंटों की टीमों का उपयोग करते थे। उन्होंने एक "बैक-ट्रांसलेशन" ट्रिक भी आजमाई, जहाँ वे टेक्स्ट को वापस मूल भाषा में अनुवाद करते हैं ताकि यह देखा जा सके कि क्या वह मेल खाता है। लेकिन सबसे आश्चर्यजनक खोज यह थी कि सबसे जटिल सेटअप विजेता नहीं थे। इसके बजाय, एक सरल, एकल AI कॉल—जो केवल छह चतुर उदाहरणों से लैस था कि एक "ड्रिफ्ट" कैसा दिखता है—ने सबसे अच्छा काम किया। 890 नकली अनुवाद त्रुटियों के परीक्षण में, इस सरल दृष्टिकोण ने 0.888 के सटीकता स्कोर (MCC) के साथ ड्रिफ्ट को पकड़ा, जिसने फैंसी मल्टी-एजेंट टीमों और कठोर नियम-आधारित प्रणालियों को पीछे छोड़ दिया। पेपर सुझाव देता है कि इस विशिष्ट कार्य के लिए, जटिलता की अधिक परतें जोड़ने से AI स्मार्ट नहीं होता; यह केवल इसे धीमा और गलतियों के प्रति अधिक संवेदनशील बनाता है।
IDRAAK का मूल आधार तकनीकी वाक्यों को देखने का एक विशेष तरीका है, जिसे सिमेंटिक रिक्वायरमेंट रिप्रेजेंटेशन (SRR) कहा जाता है। इसे इस तरह समझें जैसे आप एक वाक्य को उसके हिस्सों में तोड़ रहे हैं और उसके टुकड़ों को लेबल किए गए बक्सों में व्यवस्थित कर रहे हैं: "एक्टर" (जो इसे कर रहा है) के लिए एक बॉक्स, "एक्शन" (क्रिया) के लिए एक, "नंबरों" (जैसे 50 मिलीसेकंड) के लिए एक, और "नियमों" (जैसे "must" या "should") के लिए एक। वाक्य को इन संरचित बक्सों में बदलकर, सिस्टम मूल और अनुवाद के बॉक्स-दर-बॉक्स मिलान कर सकता है। यदि अनुवाद के "नंबर" बॉक्स में "मिलीसेकंड" के बजाय "माइक्रोसेकंड" लिखा है, तो सिस्टम तुरंत जान जाता है कि कुछ गलत है। यह तरीका तकनीकी मैनुअल्स के लिए बेहतरीन है क्योंकि यह कठोर तथ्यों पर ध्यान केंद्रित करता है, लेकिन शोधकर्ताओं ने पाया कि यह सामान्य टेक्स्ट, जैसे समाचार लेखों के साथ संघर्ष करता है, जहाँ वे कठोर बॉक्स मौजूद नहीं होते।
जब टीम ने अपने तरीकों को परीक्षण में डाला, तो उन्होंने एक बड़ा प्रयोग किया। उन्होंने 10 अलग-अलग इंजीनियरिंग क्षेत्रों (जैसे एयरोस्पेस और हेल्थकेयर) से 300 तकनीकी आवश्यकताएं बनाईं, और फिर एक कंप्यूटर का उपयोग करके उनके 890 रूपांतर (variations) बनाए। कुछ रूपांतर सटीक अनुवाद थे, जबकि अन्य में सूक्ष्म "ड्रिफ्ट" थे जैसे कि संख्या बदलना, एक सकारात्मक नियम को नकारात्मक में बदलना, या किसी मुख्य वस्तु को बदल देना। उन्होंने यह देखने के लिए छह अलग-अलग वर्कफ़्लो चलाए कि कौन सा ड्रिफ्ट को सबसे अच्छी तरह पहचान सकता है।
परिणाम थोड़े चौंकाने वाले थे। सबसे जटिल तरीका, जिसमें आठ विशिष्ट AI एजेंटों की एक टीम थी जो टेक्स्ट को एक 'हॉट पोटैटो' की तरह पास करती थी—अनुवाद करना, बॉक्स निकालना, अंतरों पर बहस करना और फिर अंतिम निर्णय देना—वह विजेता नहीं बना। वास्तव में, इसका प्रदर्शन उस सबसे सरल, कठोर तरीके से बेहतर नहीं था जो केवल नंबरों को खोजने के लिए कंप्यूटर पैटर्न का उपयोग करता था। असली चैंपियन "डायरेक्ट जज" (Direct Judge) था। यह एक एकल AI मॉडल था जिसे मूल टेक्स्ट, अनुवाद, और छह छोटे उदाहरण दिए गए थे जो दिखाते थे कि एक ड्रिफ्ट कैसा दिखता है (एक "फ्यू-शॉट" प्रॉम्प्ट की तरह)। बस उस सरल संकेत के साथ, इसने 0.983 के शानदार F1 स्कोर (त्रुटियों को पकड़ने और बिना वजह शोर मचाने के बीच संतुलन का एक माप) और 0.888 के MCC स्कोर के साथ काम किया।
पेपर ने यह भी देखा कि उनके तरीके सामान्य टेक्स्ट पर कितनी अच्छी तरह काम करते हैं, न कि केवल तकनीकी मैनुअल्स पर। उन्होंने दो प्रसिद्ध बेंचमार्क, PAWS-X और XNLI का उपयोग किया, जिनमें समाचार और सामान्य बातचीत से कठिन वाक्य शामिल हैं। यहाँ, कहानी पलट गई। कठोर, बॉक्स-सॉर्टिंग वाला तरीका लगभग पूरी तरह से विफल रहा क्योंकि सामान्य वाक्यों में वे स्पष्ट "नंबर" और "यूनिट्स" नहीं होते जिन्हें बॉक्स तलाशते हैं। हालाँकि, वह AI जिसने संरचित बक्सों का उपयोग एक संकेत के रूप में किया था ("एन्सेम्बल" विधि), वह इन कठिन, प्रतिकूल वाक्यों पर साधारण AI की तुलना में थोड़ा बेहतर प्रदर्शन कर गया। यह सुझाव देता है कि जबकि एक सरल AI तकनीकी नियमों के लिए महान है, कभी-कभी उसे एक संरचित चेकलिस्ट से थोड़ी मदद देना उसे सामान्य भाषा में छिपी चालों को पहचानने में मदद करता है।
एक अंतिम, महत्वपूर्ण निष्कर्ष विश्वास (trust) के बारे में था। जब AI कहता है, "मैं 99% आश्वस्त हूँ कि यह एक ड्रिफ्ट है," तो वह हमेशा सही नहीं होता। शोधकर्ताओं ने पाया कि AI का आत्मविश्वास अक्सर बहुत गलत होता है, जैसे कोई मौसम विज्ञानी धूप वाले दिन "बारिश की 100% संभावना" कह रहा हो। उन्होंने इन कॉन्फिडेंस स्कोर को पुनर्गठित करने के लिए "प्लैट स्केलिंग" (Platt scaling) नामक एक गणितीय ट्रिक का उपयोग किया। इस समायोजन के बाद, AI का आत्मविश्वास वास्तविकता से लगभग पूरी तरह मेल खा गया, जिससे इसकी त्रुटि दर 0.452 के अव्यवस्थित स्तर से गिरकर 0.013 के मामूली स्तर पर आ गई। यह सुरक्षा-महत्वपूर्ण कार्यों के लिए अत्यंत महत्वपूर्ण है, जहाँ आपको यह जानने की आवश्यकता होती है कि मानव इंजीनियर से काम दोबारा चेक करवाने से पहले मशीन पर कितना भरोसा किया जा सकता है।
अंत में, IDRAAK हमें दिखाता है कि 'सिमेंटिक ड्रिफ्ट' का पता लगाने की दौड़ में, कछुआ खरगोश को हरा देता है। एक सरल, अच्छी तरह से प्रॉम्प्ट किया गया AI, कुछ अच्छे उदाहरणों के मार्गदर्शन में, एजेंटों की एक विशाल और जटिल टीम से बेहतर प्रदर्शन कर सकता है। यह सुझाव देता है कि तकनीकी अनुवादों की जाँच के लिए, हमें बड़े, अधिक जटिल मशीन बनाने की आवश्यकता नहीं है; हमें बस सही तरीके से सही सवाल पूछने की आवश्यकता है। पेपर निष्कर्ष निकालता है कि जबकि जटिल मल्टी-एजेंट सिस्टम बहुत प्रभावशाली लग सकते हैं, वे आवश्यक रूप से हमें अधिक सुरक्षित या अधिक सटीक नहीं बनाते हैं, और कभी-कभी, सबसे सरल उपकरण ही सबसे तेज होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।