From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लगातार इस बात का परीक्षण कर रहे हैं कि कंप्यूटर प्रोग्राम कितनी अच्छी तरह अपने आप कार्य कर सकते हैं। इन प्रोग्रामों को 'एजेंट' कहा जाता है, जिन्हें कार्यों को पूरा करने के लिए उपकरणों का उपयोग करने, निर्णय लेने और डिजिटल वातावरण के साथ बातचीत करने के लिए डिज़ाइन किया गया है। यह जानने के लिए कि क्या ये एजेंट वास्तव में सक्षम हैं या वे आसानी से धोखा खा सकते हैं, वैज्ञानिक उन्हें कठोर बेंचमार्क के माध्यम से परखते हैं, जो एक मानकीकृत परीक्षण की तरह होते हैं। ऐसा ही एक परीक्षण, जिसे 'एजेंटडोजो' (AgentDojo) कहा जाता है, विशेष रूप से यह देखता है कि एजेंट कठिन स्थितियों को कितनी अच्छी तरह संभालते हैं, जैसे कि जब कोई छिपे हुए निर्देशों के साथ उन्हें छलने की कोशिश करता है। हालाँकि, एक बड़ी समस्या उभर कर आई है: जबकि ये परीक्षण एक अंतिम स्कोर प्रदान करते हैं, उस स्कोर तक पहुँचने का मार्ग अक्सर एक 'ब्लैक बॉक्स' (अस्पष्ट प्रक्रिया) होता है। यह सत्यापित करना कठिन है कि वास्तव में किन प्रयासों को गिना गया था, अंतिम संख्याओं की गणना कैसे की गई थी, या क्या शोध पत्र में रिपोर्ट किए गए परिणाम वास्तव में उस डेटा से मेल खाते हैं जो कंप्यूटर ने उत्पन्न किया था। एक स्पष्ट मार्ग के बिना, यह जानना कठिन है कि एक उच्च स्कोर वास्तविक कौशल का परिणाम है या केवल परिणामों की गणना करने के तरीके में हुई किसी गलती का।

यह अनिश्चितता स्वतंत्र शोधकर्ता अब्दुल्ला अलहरबी द्वारा विकसित एक नए सॉफ़्टवेयर टूल का केंद्र है। उनका कार्य, जिसका शीर्षक "एजेंटडोजो ट्रेस ऑडिट" (AgentDojo Trace audit) है, कोई नया परीक्षण या बेहतर एजेंट नहीं बनाता है। इसके बजाय, यह सत्यापन की एक पारदर्शी परत बनाता है जो एजेंटडोजो परीक्षण के कच्चे डेटा और शोधकर्ताओं द्वारा किए गए अंतिम दावों के बीच स्थित होती है। इसका लक्ष्य एक स्थिर रिपोर्ट को एक 'ऑडिट योग्य कहानी' में बदलना है। यह टूल एजेंटडोजो परीक्षण के एक विशिष्ट, स्थिर संस्करण को लेता है और प्रक्रिया के हर एक चरण की जांच करता है। यह सत्यापित करता है कि उपयोग की गई फाइलें बिल्कुल वही हैं जो इरादा की गई थीं, डेटा को शामिल करने या बाहर करने के नियम पूरी तरह से पालन किए गए थे, और रिपोर्ट की अंतिम संख्याएँ अंतर्निहित रिकॉर्ड से मेल खाती हैं। यह प्रयोग के लिए एक कठोर लेखाकार (accountant) के रूप में कार्य करता है, यह सुनिश्चित करता है कि संख्याएँ सही हैं और डेटा द्वारा बताई गई कहानी शुरू से अंत तक सुसंगत है।

इसे करने के लिए, सॉफ़्टवेयर को सबसे पहले यह आवश्यकता होती है कि उपयोगकर्ता के पास आधिकारिक एजेंटडोजो सोर्स कोड की वैध प्रति हो। यह परीक्षण डेटा को स्वयं पुनर्वितरित नहीं करता है, जो इस प्रक्रिया को कानूनी रखता है और डेटा संग्रह के बजाय सत्यापन पर केंद्रित रखता है। एक बार सही स्रोत मौजूद होने के बाद, टूल प्रत्येक फ़ाइल के 'डिजिटल फिंगरप्रिंट' की जांच करके अपना काम शुरू करता है। यह प्रत्येक फ़ाइल के लिए उसकी सामग्री के आधार पर एक अद्वितीय कोड की गणना करता है, जिससे यह सुनिश्चित होता है कि एक छोटा सा बदलाव, जैसे कि एक बदला हुआ अक्षर या अलग फ़ाइल नाम भी, तुरंत पकड़ा जा जाएगा। यह चरण पुष्टि करता है कि शोधकर्ता ठीक उसी डिजिटल सामग्री के साथ काम कर रहे हैं जिसका उपयोग मूल अध्ययन में किया गया था, जिससे मूल सामग्री के साथ किसी भी आकस्मिक या जानबूझकर की गई छेड़छाड़ को रोका जा सके।

स्रोत के सत्यापित होने के बाद, सॉफ़्टवेयर ऑडिट के मुख्य भाग की ओर बढ़ता है: गिनती और वर्गीकरण। मूल परीक्षण ने हजारों रिकॉर्ड उत्पन्न किए, लेकिन उनमें से सभी को अंतिम विश्लेषण का हिस्सा नहीं बनाया जाना था। टूल यह तय करने के लिए नियमों का एक सख्त सेट लागू करता है कि किन रिकॉर्ड्स को रखना है और किन्हें हटाना है। उदाहरण के लिए, इसने पाया कि लगभग 11,800 संभावित फाइलों में से 140 सहायक मामले थे जो मुख्य समूह में फिट नहीं बैठते थे, और एक फ़ाइल अधूरी थी क्योंकि उसमें प्रमुख डेटा क्षेत्र गायब थे। इन नियमों को लागू करके, सॉफ़्टवेयर ने उन 11,624 रिकॉर्ड्स की सटीक आबादी का पुनर्निर्माण किया जिनका मूल अध्ययन ने विश्लेषण करने का दावा किया था। इसके बाद इसने जांचा कि इन रिकॉर्ड्स का विभिन्न श्रेणियों में विभाजन—जैसे कि कोई हमला सफल रहा या विफल—आधिकारिक रिपोर्ट से पूरी तरह मेल खाता है या नहीं। इस विशिष्ट परीक्षण में, टूल ने पुष्टि की कि प्रत्येक एक के 11,624 रिकॉर्ड्स को उसके स्रोत से सही ढंग से जोड़ा गया था और सफलता, विफलता तथा हमले के परिणामों के अंतिम आंकड़े सटीक थे।

हालाँकि, इस टूल की असली शक्ति केवल सही परिणामों की पुष्टि करने में नहीं, बल्कि त्रुटियों को खोजने की इसकी क्षमता में निहित है। इसकी विश्वसनीयता का परीक्षण करने के लिए, शोधकर्ताओं ने चुनौतियों की एक श्रृंखला बनाई जहाँ उन्होंने जानबूझकर डेटा में गलतियाँ डालीं, जैसे कि फाइलों को बदलना, रिकॉर्ड के बीच के लिंक को हटाना, या किसी परिणाम का अर्थ बदलना। 408 अलग-अलग परिदृश्यों वाले एक परीक्षण सेट में, टूल ने प्रत्येक त्रुटि का सफलतापूर्वक पता लगाया और उसे वर्गीकृत किया। हालाँकि, वह केवल 336 मामलों में ही समस्या के सटीक स्थान का पता लगा सका। शेष 72 विफलताएं टूल द्वारा त्रुटि को पहचानने में चूक के कारण नहीं थीं, बल्कि इसलिए थीं क्योंकि त्रुटि का वर्णन करने का उसका तरीका पर्याप्त विस्तृत नहीं था। शोधकर्ताओं ने फिर सॉफ़्टवेयर के डिज़ाइन में इस विशिष्ट समस्या को ठीक किया।

इस मरम्मत के बाद, उन्होंने एक नया, अधिक कठोर परीक्षण 360 नए परिदृश्यों के साथ चलाया। इस बार, टूल एकदम सटीक था। इसने बिना किसी चूक के सभी 360 त्रुटियों का पता लगाया, उन्हें वर्गीकृत किया और उनका स्थान निर्धारित किया। यह सुनिश्चित करने के लिए कि टूल बहुत अधिक संवेदनशील नहीं है और यह न तो मामूली बदलावों को त्रुटि के रूप में चिह्नित कर रहा है, उन्होंने इसे 120 सौम्य (benign) मामलों के विरुद्ध भी चलाया, जैसे कि ऐसी फाइलें जिन्हें केवल नाम दिया गया था या अलग तरह से संकुचित (compress) किया गया था। टूल ने इन सभी को सही ढंग से अनदेखा कर दिया, जिससे शून्य गलत अलार्म (false alarms) मिले। परीक्षणों का यह क्रम प्रदर्शित करता है कि सॉफ़्टवेयर फ़ाइल के भंडारण के तरीके में एक हानिरहित बदलाव और एक वास्तविक वैज्ञानिक सामग्री के बीच अंतर करने में विश्वसनीय है।

इस कार्य का महत्व यह है कि यह एक जटिल, अपारदर्शी प्रयोग को ऐसी चीज़ में बदलने का तरीका प्रदान करता है जिसकी लाइन-दर-लाइन जांच की जा सकती है। इस टूल से पहले, यदि कोई शोधकर्ता एक निश्चित सफलता दर का दावा करता था, तो दूसरों को केवल उनके शब्दों पर विश्वास करना होता था या पूरे प्रयोग को मैन्युअल रूप से फिर से चलाना पड़ता था, जो अक्सर असंभव होता है। अब, जिसके पास भी मूल स्रोत डेटा है, वह यह देखने के लिए यह ऑडिट चला सकता है कि संख्याओं को कैसे निकाला गया। यह हमें यह नहीं बताता कि एजेंट वास्तविक दुनिया में कितने सुरक्षित हैं, और न ही यह सिद्ध करता है कि मूल परीक्षण डिजाइन पूर्ण था। इसके बजाय, यह गारंटी देता है कि शोध पत्र में रिपोर्ट की गई संख्याएं उस डेटा के अनुरूप हैं जिस पर वे आधारित हैं। यह सुनिश्चित करता है कि डेटा द्वारा बताई गई कहानी वही कहानी है जिसका डेटा वास्तव में समर्थन करता है।

शोधकर्ता उनके कार्य की सीमाओं को स्पष्ट रूप से नोट करते हैं। यह टूल एजेंटडोजो के एक विशिष्ट संस्करण के लिए डिज़ाइन किया गया है और महत्वपूर्ण पुनर्गठन के बिना इसे अन्य बेंचमार्क या भविष्य के संस्करणों पर स्वचालित रूप से लागू नहीं किया जा सकता है। यह भी पता नहीं लगा सकता कि मूल डेटा तथ्यात्मक रूप से गलत था या परीक्षण स्वयं दोषपूर्ण था; यह केवल निरंतरता और आंतरिक तर्क की जांच करता है। इसके अलावा, चूंकि टूल को उसी टीम द्वारा विकसित किया गया है जिसने परीक्षण और सत्यापन तर्क बनाया है, इसलिए यह एक स्वतंत्र बाहरी समीक्षा नहीं है, बल्कि एक स्व-जांच (self-check) है जिसे कड़ाई से तनाव-परीक्षण (stress-tested) किया गया है। इन सीमाओं के बावजूद, यह कार्य वैज्ञानिक पारदर्शिता के लिए एक स्पष्ट मार्ग प्रदान करता है। यह दिखाता है कि एक ऐसा सिस्टम बनाना संभव है जहाँ शोध में किए गए दावे केवल बयान नहीं, बल्कि सत्यापन योग्य तथ्य हैं जिन्हें एक-एक बाइट के साथ उनके स्रोत तक ट्रैक किया जा सकता है।