The Chronicles of RiDiC: Generating Datasets with Controlled Popularity Distribution for Long-form Factuality Evaluation
यह शोध पत्र RiDiC को प्रस्तुत करता है, जो विभिन्न लोकप्रियता स्तरों के across 3,000 संस्थाओं (entities) का एक कॉन्फ़िगर करने योग्य बहुभाषी डेटासेट है, जिसे फ्रंटियर LLMs द्वारा लंबी-फॉर्म तथ्यात्मकता पीढ़ी (long-form factuality generation) में मतिभ्रम (hallucinations) का मूल्यांकन करने और उन्हें प्रकट करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन (एक AI) है जो आपसे पूछे गए किसी भी प्रश्न का उत्तर दे सकता है। यदि आप पूछते हैं, "संयुक्त राज्य अमेरिका का राष्ट्रपति कौन है?" या "फ्रांस की राजधानी क्या है?", तो लाइब्रेरियन तुरंत और सही उत्तर देता है। ये "प्रसिद्ध" प्रश्न हैं, जिन्हें हर कोई जानता है।
लेकिन क्या होता है यदि आप पूछते हैं, "मुझे पेरू की एक दूरस्थ घाटी में स्थित 'लिटिल रिवर ऑफ ग्लूम' के बारे में सब कुछ बताएं," या "1998 के एक कार मॉडल की विशिष्ट विशेषताओं का वर्णन करें जिसे केवल 50 लोगों ने कभी खरीदा था"?
यहीं से RIDIC की कहानी शुरू होती है।
समस्या: लाइब्रेरियन का "प्रसिद्ध व्यक्ति" पूर्वाग्रह (Bias)
इस शोधपत्र के पीछे के शोधकर्ताओं ने AI के बारे में एक पेचीदा बात देखी। जब एक AI प्रसिद्ध चीजों (जैसे नील नदी या टोयोटा कैमरी) के बारे में बात करता है, तो वह आमतौर पर सटीक होता है। लेकिन जब वह अस्पष्ट, "लॉन्ग-टेल" (long-tail) चीजों (जैसे एक छोटी नदी या एक दुर्लभ कार) के बारे में बात करता है, तो वह चीजें बनाने लगता है। वह मतिभ्रम (hallucinate) करने लगता है। वह आत्मविश्वास से भरा हुआ लगता है, लेकिन वह झूठ बोल रहा होता है।
अधिकांश परीक्षण केवल यह जांचते हैं कि क्या AI को प्रसिद्ध चीजों का ज्ञान है। यह एक शेफ का परीक्षण करने जैसा है कि वह ग्रिल्ड चीज़ सैंडविच कितनी अच्छी तरह बना सकता है। आपको कभी पता नहीं चलेगा कि क्या वह वास्तव में एक जटिल, दुर्लभ व्यंजन बना सकता है जब तक कि आप उनसे उसे बनाने के लिए न कहें।
समाधान: एक "लोकप्रियता मेनू" बनाना
लेखकों ने एक विशेष टूल (एक पाइपलाइन) बनाया ताकि एक नया परीक्षण मैदान बनाया जा सके जिसे RIDIC कहा जाता है। इसे एक मेनू के रूप में सोचें जिसे विशेष रूप से लोकप्रियता के पूरे स्पेक्ट्रम में AI के ज्ञान का परीक्षण करने के लिए डिज़ाइन किया गया है।
उन्होंने केवल यादृच्छिक (random) चीजें नहीं चुनीं। उन्होंने तीन विशिष्ट श्रेणियों से सावधानीपूर्वक 3,000 आइटम चुने:
- नदियाँ (प्रकृति के राजमार्ग)
- प्राकृतिक आपदाएँ (पृथ्वी के नखरे)
- कार मॉडल (मानव इंजीनियरिंग)
प्रत्यට श्रेणी के लिए, उन्होंने प्रसिद्धि के तीन "स्तरों" (tiers) में आइटम चुने:
- द हेड (सितारे): प्रसिद्ध चीजें जिन्हें हर कोई जानता है (जैसे द अमेज़न नदी, तूफान कैटरीना, होंडा सिविक)।
- द टोरसो (मध्य वर्ग): मध्यम रूप से ज्ञात चीजें (जैसे मिशिगन की एक विशिष्ट नदी, स्पेन में एक बाढ़, एक विशिष्ट कैडिलैक मॉडल)।
- द टेल (भूत/साये): अत्यंत अस्पष्ट चीजें जिन्हें बहुत कम लोग जानते हैं (जैसे रूस में एक छोटी सी जलधारा, 1977 में एक मामूली भूस्खलन, एक दुर्लभ फ्रांसीसी कार)।
उन्होंने इसे दो भाषाओं में किया: अंग्रेजी और चीनी, यह देखने के लिए कि क्या AI एक भाषा में दूसरी की तुलना में अधिक संघर्ष करता है।
प्रयोग: AI को परखना
एक बार जब उन्होंने यह मेनू बना लिया, तो उन्होंने तीन अलग-अलग AI "लाइब्रेरियन" (Llama, Qwen, और GPT-5) से सूची के प्रत्येक आइटम के बारे में एक विस्तृत कहानी लिखने को कहा।
फिर, उन्होंने सख्त तथ्य-जांचकर्ता (fact-checkers) के रूप में कार्य किया। उन्होंने AI की कहानियों की तुलना "सत्य के स्रोत" (विकिपीडिया और अन्य डेटाबेस) से की। उन्होंने कहानियों को छोटे-छोटे तथ्यों में तोड़ दिया और प्रत्येक की जांच की: क्या यह सच है? क्या यह मनगढ़ंत है?
निष्कर्ष: उन्होंने क्या खोजा
परिणाम AI की रिपोर्ट कार्ड की तरह थे, जिन्होंने कुछ आश्चर्यजनक ग्रेड प्रकट किए:
- "लॉन्ग-टेल" का जाल: जैसे-जैसे चीजें कम प्रसिद्ध होती गईं, AI बदतर होता गया। यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में तो टॉप करता है लेकिन इतिहास के टेस्ट में फेल हो जाता है क्योंकि उसने केवल उन्हीं अध्यायों को पढ़ा जो हर कोई पढ़ता है। AI "टेल" (अस्पष्ट) आइटम्स के साथ काफी संघर्ष करता है, अक्सर सन्नाटे को भरने के लिए तथ्य गढ़ देता है।
- भाषा का अंतर: AI अंग्रेजी में चीनी की तुलना में बहुत अधिक सटीक था। यह ऐसा है जैसे लाइब्रेरियन के पास एक विशाल, सुव्यवस्थित अंग्रेजी लाइब्रेरी है लेकिन चीनी में केवल कुछ बिखरे हुए, धूल भरे पर्चे हैं। जब AI ने अस्पष्ट चीनी विषयों के बारे में लिखने की कोशिश की, तो उसने और भी अधिक मतिभ्रम (hallucinate) किया।
- "बड़े दिमाग" का लाभ: सबसे बड़ा AI (GPT-5) सबसे सटीक था, लेकिन वह भी पूर्ण नहीं था। छोटे AI (Llama और Qwen) दुर्लभ वस्तुओं के साथ बहुत अधिक संघर्ष करते हैं, जो यह दर्शाता है कि बड़ा "दिमाग" (अधिक पैरामीटर्स) होने से अस्पष्ट तथ्यों को याद रखने में मदद मिलती है।
- डोमेन का अंतर: AI कारों और आपदाओं के बारे में बात करने में आश्चर्यजनक रूप से अच्छा था लेकिन नदियों के बारे में बात करने में बहुत खराब था। ऐसा लगता है कि AI को नदियों की तुलना में कारों और तूफानों के बारे में अधिक पता है!
यह क्यों महत्वपूर्ण है
यह शोधपत्र AI उद्योग को एक नए प्रकार का दर्पण देने जैसा है। केवल यह देखने के बजाय कि AI अपने "प्रसिद्ध" हैट पहने हुए कैसा दिखता है, अब हम यह देख सकते हैं कि वह अस्पष्ट, दुर्लभ और कठिन चीजों के साथ व्यवहार करते समय कैसा दिखता है।
इस डेटासेट और इसे बनाने के उपकरणों को जारी करके, लेखक कह रहे हैं: "AI को केवल आसान चीजों पर टेस्ट न करें। यदि आप वास्तविक दुनिया की समस्याओं के लिए इस पर भरोसा करना चाहते हैं, तो आपको यह जानने की आवश्यकता है कि क्या यह बिना मनगढ़ंत कहानियाँ बनाए अस्पष्ट चीजों को संभाल सकता है।"
संक्षेप में, RIDIC एक ऐसी स्पॉटलाइट है जो AI के ज्ञान के अंधेरे कोनों पर रोशनी डालती है, यह सुनिश्चित करती है कि जब रोशनी कम हो जाए और प्रसिद्ध विषय ओझल हो जाएं, तो AI अंधेरे में कहानियाँ बनाना शुरू न कर दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।