ClaimDB: A Fact Verification Benchmark over Large Structured Data
यह शोधपत्र ClaimDB प्रस्तुत करता है, जो 80 वास्तविक जीवन के डेटाबेसों से बना एक बड़े पैमाने का तथ्य-सत्यापन बेंचमार्क है जो वर्तमान LLMs को केवल साक्ष्य पढ़ने से आगे बढ़कर निष्पादन योग्य प्रोग्राम तर्क (executable program reasoning) की ओर बढ़ने की चुनौती देता है, जिससे मौजूदा मॉडलों में महत्वपूर्ण सटीकता और परहेज (abstention) संबंधी सीमाएं प्रकट होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं। आमतौर पर, जब हम यह जाँचते हैं कि कोई कथन सत्य है या असत्य (तथ्य-जाँच), तो हम कुछ वाक्यों, एक छोटे समाचार लेख या एक छोटे चार्ट को देखते हैं। यह एक किताब का एक पन्ना पढ़ने जैसा है ताकि उत्तर मिल सके।
लेकिन वास्तविक दुनिया में, बड़े निर्णय एकल पृष्ठों पर नहीं लिए जाते। वे डेटा के पूरे पुस्तकालयों को देखकर लिए जाते हैं।
यह शोध पत्र CLAIMDB पेश करता है, जो आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक नया "प्रशिक्षण जिम" (training gym) है, ताकि वह इन विशाल, जटिल डेटा रहस्यों की तथ्य-जाँच करना सीख सके।
यहाँ उन्होंने क्या किया, इसका विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "पुस्तकालय बनाम पृष्ठ"
अधिकांश वर्तमान AI तथ्य-जांचकर्ता उन छात्रों की तरह हैं जो पाठ्यपुस्तक का एक एकल पृष्ठ पढ़ने में तो माहिर हैं, लेकिन यदि आप उन्हें एक पूरा पुस्तकालय थमा दें, तो वे खो जाते हैं।
- पुराना तरीका: यदि कोई राजनेता कहता है, "हमारे शहर में अपराध दर सबसे कम है," तो वर्तमान AI एक विकिपीडिया टेबल की जाँच कर सकता है।
- वास्तविक दुनिया: वास्तव में, वह दावा पुलिस के लाखों रिकॉर्ड्स पर आधारित है, जो दर्जों (arrests), अदालती मामलों, गवाहों की रिपोर्टों जैसे दर्जनों अलग-अलग डेटाबेस में फैले हुए हैं।
- समस्या: यदि आप उन लाखों रिकॉर्ड्स को AI के "मस्तिष्क" (उसके कॉन्टेक्स्ट विंडो) में डालने की कोशिश करते हैं, तो यह समुद्र को स्ट्रॉ के माध्यम से पीने की कोशिश करने जैसा है। AI घुटने लगता है, चीजें भूल जाता है, या बस अनुमान लगाने लगता है।
2. समाधान: CLAIMDB ("बिग डेटा जिम")
शोधकर्ताओं ने CLAIMDB नामक एक विशाल प्रशिक्षण मैदान बनाया।
- पैमाना (Scale): उन्होंने 80 वास्तविक दुनिया के डेटाबेस एकत्र किए (जैसे किसी शहर के स्कूल रिकॉर्ड, किसी देश का टैक्स डेटा, या अस्पताल के लॉग)।
- आकार: प्रत्येक डेटाबेस बहुत बड़ा है। इस बेंचमार्क में औसतन, एक एकल दावा 4.5 मिलियन रिकॉर्ड्स द्वारा समर्थित है। यदि आप उस पूरे डेटा को टेक्स्ट में बदल दें, तो यह 11 करोड़ शब्द लंबा होगा। यह कांग्रेस के पूरे पुस्तकालय से भी लंबा है!
- लक्ष्य: AI केवल उत्तर को "पढ़" नहीं सकता। उसे एक स्मार्ट लाइब्रेरियन की तरह कार्य करना होगा जिसे कैटलॉग सिस्टम (SQL) का उपयोग करना आता हो, ताकि वह घास के ढेर में से विशिष्ट सुई को ढूंढ सके।
3. उन्होंने इसे कैसे बनाया (द "रेसिपी")
उन्होंने केवल काल्पनिक प्रश्न नहीं बनाए। उन्होंने एक चतुर रेसिपी का उपयोग किया:
- प्रश्नों से शुरुआत: उन्होंने इन डेटाबेस के बारे में लोगों द्वारा पूछे गए मौजूदा प्रश्नों को लिया (जैसे, "किस शहर में सबसे अधिक 5-स्टार रेस्तरां हैं?")।
- गणित चलाना: उन्होंने कंप्यूटर को वास्तविक उत्तर प्राप्त करने के लिए गणित चलाने दिया।
- दावे बनाना: उन्होंने एक अत्यंत बुद्धिमान AI (GPT-5) से उस उत्तर के आधार पर तीन प्रकार के कथन लिखने के लिए कहा:
- सत्य (True): "शहर X में सबसे अधिक 5-स्टार रेस्तरां हैं।" (डेटा द्वारा समर्थित)।
- असत्य (False): "शहर Y में सबसे अधिक 5-स्टार रेस्तरां हैं।" (डेटा द्वारा खंडित)।
- अज्ञात (Unknown/NEI): "शहर X के वेटर सबसे मिलनसार हैं।" (डेटा में "मिलनसारिता" के बारे में कोई जानकारी नहीं है, इसलिए AI को यह स्वीकार करना चाहिए कि वह नहीं जानता)।
4. परीक्षण: क्या AI "सोचता" है या सिर्फ "अनुमान" लगाता है?
उन्होंने इस जिम पर 30 अलग-अलग AI मॉडल (दोनों प्रसिद्ध सशुल्क मॉडल जैसे GPT-4/5 और मुफ्त ओपन-सोर्स मॉडल) का परीक्षण किया।
परिणाम आश्चर्यजनक थे:
- "पढ़ने" की रणनीति विफल रही: अधिकांश AI डेटा को केवल "पढ़ने" की कोशिश करते रहे और बुरी तरह विफल रहे। उनकी सटीकता अक्सर 55% से नीचे थी (सिक्का उछालकर जीतने से मुश्किल से बेहतर)।
- "टूल-यूज़र" रणनीति सफल रही: सर्वश्रेष्ठ AI ने पूरा पुस्तकालय नहीं पढ़ा। इसके बजाय, उन्होंने डेटाबेस से विशिष्ट प्रश्न पूछने के लिए कोड (SQL क्वेरी) लिखा, जैसे एक जासूस गवाह से पूछता है, "मुझे शहर X के सभी रिकॉर्ड दिखाओ।"
- "ईमानदारी" की समस्या: सबसे बड़ी विफलता गणित गलत करना नहीं थी; बल्कि अज्ञानता को स्वीकार करना था।
- मालिकाना (Proprietary) AI (सशुल्क): बहुत अधिक आत्मविश्वासी थे। भले ही उनके पास डेटा नहीं था, फिर भी उन्होंने अनुमान लगाया।
- ओपन-सोर्स AI: बहुत अधिक शर्मीले थे। जब उत्तर उनके सामने ही था, तब भी उन्होंने अनुमान लगाया कि "मैं नहीं जानता।"
- सबक: उच्च-जोखिम वाली स्थितियों (जैसे चिकित्सा या कानूनी निर्णयों) में, एक ऐसा AI जो नहीं जानने पर अनुमान लगाने के बजाय यह कहना पसंद करता है कि वह नहीं जानता, वह अधिक विश्वसनीय है।
5. यह क्यों महत्वपूर्ण है
इसे एक पर्यटक और एक स्थानीय विशेषज्ञ के बीच के अंतर के रूप में सोचें।
- एक पर्यटक (वर्तमान AI) मानचित्र देखता है और अनुमान लगाता है कि सबसे अच्छी कॉफी शॉप कहाँ है।
- एक स्थानीय विशेषज्ञ (CLAIMDB-प्रशिक्षित AI) जानता है कि शहर में लाखों सड़कें हैं। वह अनुमान नहीं लगाता; वह डेटा को नेविगेट करने के लिए GPS (SQL) का उपयोग करता है, सटीक स्थान ढूंढता है, और आपको सच बताता है।
मुख्य निष्कर्ष:
CLAIMDB यह सिद्ध करता है कि वास्तविक दुनिया के तथ्यों को संभालने के लिए, AI को सब कुछ "पढ़ने" की कोशिश करना बंद करना होगा और बड़े डेटाबेस को क्वेरी करने के लिए टूल्स (उपकरणों) का उपयोग करना सीखना होगा। यह यह भी दिखाता है कि हम अभी भी बहुत दूर हैं, इससे पहले कि AI को बिना 'हैलुसिनेशन' (मनगढ़ंत बातें बनाने) के उच्च-जोखिम वाले निर्णय लेने के लिए भरोसेमंद बनाया जा सके।
शोधकर्ताओं ने इस "जिम" को मुफ्त में जारी किया है, ताकि अन्य वैज्ञानिक अपने AI को बेहतर जासूस बनने के लिए प्रशिक्षित कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।