Automating the Open Data Maturity Index with a Multi-Agent LLM System
यह शोध प्रबंध एक मल्टी-एजेंट एलएलएम (LLM) प्रणाली प्रस्तुत करता है जो एक सहयोगात्मक अनुसंधान, सत्यापन और अधिनिर्णय कार्यप्रवाह के माध्यम से आधिकारिक 2025 की प्रतिक्रियाओं के विरुद्ध 70.1% सटीकता प्राप्त करके ओपन डेटा मैच्योरिटी इंडेक्स मूल्यांकन को स्वचालित करता है, साथ ही ओपन-वेब डेटा की सीमाओं को दूर करने के लिए स्व-रिपोर्ट किए गए अभ्यासों के बजाय खोज योग्य साक्ष्यों को प्राथमिकता देने हेतु प्रश्नावली को पुनर्गठित करने की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर साल, ब्रसेल्स में विशेषज्ञों की एक टीम इस बात का आकलन करने के लिए बैठती है कि छत्तीस यूरोपीय देश अपने सार्वजनिक डेटा को कितनी अच्छी तरह साझा कर रहे हैं। वे सवालों की एक लंबी सूची पूछते हैं: क्या सरकार के पास ओपन डेटा के लिए कोई योजना है? क्या राष्ट्रीय वेबसाइट उपयोग करने में आसान है? क्या डेटासेट वास्तव में काम करते हैं? प्रत्येक देश के लिए, राष्ट्रीय टीम इन सवालों के जवाब स्वयं देती है, और फिर एक मानव परीक्षक यह सुनिश्चित करने के लिए उत्तरों की समीक्षा करता है कि वे सत्य हैं। यह प्रक्रिया धीमी, महंगी और काफी हद तक भरोसे पर निर्भर है। किंग कॉलेज लंदन के शोधकर्ताओं ने जो सवाल पूछा वह सरल था: क्या आर्टिफिशियल इंटेलिजेंस (AI) एजेंटों की एक टीम यह काम कर सकती है? वे जानना चाहते थे कि क्या मशीनें खुले इंटरनेट को खंगाल सकती हैं, प्रमाण खोज सकती हैं और बिना मानवीय सहायता के देशों को ग्रेड दे सकती हैं, और क्या वे इतना निष्पक्ष और सटीक हो सकते हैं कि उन पर भरोसा किया जा सके।
शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो तीन डिजिटल एजेंटों की एक छोटी समिति की तरह काम करता है। पहला एजेंट, 'रिसर्चर' (शोधकर्ता), प्रश्न पढ़ता है और साक्ष्य के लिए वेब खोजता है। यदि उसे कोई ऐसा दस्तावेज़ मिलता है जो एक उत्तर जैसा दिखता है, तो वह एक स्कोर प्रस्तावित करता है। दूसरा एजेंट, 'वेरिफायर' (सत्यापनकर्ता), एक संशयवादी के रूप में कार्य करता है। इसका एकमात्र काम दावे को गलत साबित करने की कोशिश करना है, यानी ऐसे साक्ष्य खोजना जो दावे का खंडन करते हों। यदि दोनों एजेंटों के बीच सहमति नहीं बन पाती, तो तीसरा एजेंट, 'एडजुडिकेटर' (न्यायाधीश), अंतिम निर्णय लेने के लिए आगे आता है। महत्वपूर्ण रूप से, इस सिस्टम के पास "मुझे नहीं पता" कहने का एक तरीका है। यदि एजेंटों को सार्वजनिक वेब पर पर्याप्त प्रमाण नहीं मिलते, तो उन्हें अनुमान लगाने के बजाय प्रश्न को अस्वीकार करने के लिए प्रोग्राम किया गया है। यह अत्यंत महत्वपूर्ण है क्योंकि इंटरनेट अंतराल से भरा है; केवल इसलिए कि किसी वेबसाइट पर किसी प्रथा का उल्लेख नहीं है, इसका मतलब यह नहीं है कि वह प्रथा मौजूद नहीं है।
जब टीम ने आठ देशों के एक नमूने पर इस सिस्टम का परीक्षण किया, जिसमें एक हजार से अधिक प्रश्न शामिल थे, तो उन्होंने पाया कि मशीनें अच्छा काम कर सकती हैं, लेकिन केवल विशिष्ट परिस्थितियों में। सिस्टम ने सफलतापूर्वक लगभग आधे प्रश्नों के उत्तर दिए, और जिन प्रश्नों का उसने चयन किया, उनमें दस में से लगभग सात बार मानव विशेषज्ञों के उत्तरों से मेल खाया। हालांकि, इसने शेष आधे प्रश्नों का उत्तर देने से इनकार कर दिया। इस इनकार का कारण बुद्धि की कमी नहीं, बल्कि साक्ष्य की कमी थी। सिस्टम किसी चीज़ के अस्तित्व का प्रमाण खोजने में बहुत अच्छा था। यदि किसी देश की कोई नीति या वेबसाइट पर कोई विशेषता थी, तो एजेंट उस दस्तावेज़ को खोज सकते थे और उसका उद्धरण दे सकते थे। लेकिन सिस्टम उन सवालों के साथ बुरी तरह संघर्ष करता था जिनमें पूछा जाता था कि क्या कुछ गायब है। यदि किसी देश के पास कोई विशेष प्रथा नहीं थी, तो अक्सर ऐसा कोई सार्वजनिक दस्तावेज़ नहीं होता था जो कहता हो कि "हम यह नहीं करते हैं।" एजेंट यह अंतर नहीं कर सके कि किसी देश के पास ऐसी प्रथा नहीं है या किसी देश ने बस यह प्रकाशित नहीं किया है कि उसके पास वह प्रथा है।
इस सीमा ने वर्तमान मूल्यांकन के डिजाइन के साथ जुड़ी एक गहरी समस्या को उजागर किया। शोधकर्ताओं ने पाया कि सिस्टम की सटीकता हर देश के लिए एक समान नहीं थी। इसने उन देशों पर सबसे अच्छा प्रदर्शन किया जो पहले से ही डेटा साझा करने के लिए सबसे अधिक प्रयास कर रहे थे। इन राष्ट्रों की वेबसाइटें विस्तृत थीं और कई सार्वजनिक दस्तावेज़ थे, जिससे AI को काम करने के लिए पर्याप्त सामग्री मिली। कम ओपन डेटा वाले देश, जिनके पास कम वेबसाइटें और कम दस्तावेज़ थे, वे थे जिनके साथ सिस्टम सबसे अधिक संघर्ष करता था। वास्तव में, सिस्टम कम ओपन डेटा वाले देशों के बारे में इतना अनिश्चित था कि वह अक्सर उत्तर देने से मना कर देता था, या इससे भी बुरा, गलत अनुमान लगा लेता था क्योंकि वह असंबंधित जानकारी को प्रमाण समझ लेता था। अध्ययन ने दिखाया कि एक देश जितना अधिक खुला (open) था, मशीन के लिए उसे ग्रेड देना उतना ही आसान था, जिससे एक चक्र बन गया जहाँ सिस्टम उन देशों के लिए सबसे सटीक था जो पहले से ही अच्छा कर रहे थे।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या एक "संशयवादी" एजेंट का होना आवश्यक था। उन्होंने वेरिफायर की भूमिका को उत्तर को गलत साबित करने के बजाय उसे पुष्ट करने में बदल दिया। आश्चर्यजनक रूप से, इस बदलाव से अंतिम स्कोर पर लगभग कोई प्रभाव नहीं पड़ा। सिस्टम न तो अधिक सटीक हुआ, न ही कम सटीक। एजेंटों के बीच कई एजेंट होने का लाभ उनके विपरीत विचारों से नहीं आया, बल्कि केवल इस तथ्य से आया कि उन्होंने वेब को कई बार खोजा और अधिक साक्ष्य एकत्र किए। एजेंटों के बीच की बहस ने मूल समस्या को हल नहीं किया: इंटरनेट में वास्तव में वह साक्ष्य नहीं है जो यह सिद्ध करने के लिए आवश्यक है कि कोई प्रथा अनुपस्थित है।
अंत में, अध्ययन सुझाव देता है कि पूरे प्रश्नावली के लिए पूरी तरह से स्वचालित मूल्यांकन अभी संभव नहीं है, लेकिन एक हाइब्रिड (मिश्रित) दृष्टिकोण काम कर सकता है। शोधकर्ता प्रश्नों को फिर से लिखने का प्रस्ताव देते हैं ताकि वे आंतरिक वादों के बजाय सार्वजनिक प्रमाण मांग सकें। यह पूछने के बजाय कि सरकारी टीम से "क्या आप सर्च टर्म्स की निगरानी करते हैं?", नए प्रश्न यह पूछेंगे "उस रिपोर्ट को दिखाएं जो आपने सर्च टर्म्स की निगरानी से जो आपने सीखा उसके बारे में प्रकाशित की है।" यह बदलाव साक्ष्य को खुले वेब पर मौजूद होने के लिए मजबूर करेगा, जिससे मशीनों के लिए उसे सत्यापित करना संभव हो जाएगा। उन हिस्सों के लिए जो अभी भी आंतरिक ज्ञान पर निर्भर हैं, मानव विशेषज्ञों की आवश्यकता बनी रहेगी। मशीन उस आधे हिस्से को संभाल सकती है जिसे सार्वजनिक दस्तावेजों के साथ उत्तर दिया जा सकता है, और बाकी के लिए मानव समीक्षा के लिए संकेत दे सकती है। यह न केवल प्रक्रिया को तेज करेगा बल्कि मूल्यांकन को अधिक ईमानदार भी बनाएगा, यह सुनिश्चित करते हुए कि किसी देश का स्कोर उसके द्वारा किए गए दावों पर नहीं, बल्कि उसके द्वारा वास्तव में प्रकाशित की गई सामग्री पर आधारित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।