LLMpedia: A Transparent Framework to Materialize an LLM's Encyclopedic Knowledge at Scale
LLMpedia यह प्रकट करता है कि बड़े भाषा मॉडलों का वास्तविक विश्वकोश ज्ञान मानक बेंचमार्क द्वारा सुझाए गए ज्ञान से काफी कम है, जो दस लाख लेखों का एक पूर्णतः खुला, रिट्रीवल-मुक्त विश्वकोश उत्पन्न करके मॉडल परिवारों के बीच पर्याप्त तथ्यात्मक अंतराल और विषयगत पूर्वाग्रहों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक अत्यंत बुद्धिमान, विश्वकोश जैसा मित्र है जिसने दुनिया की लगभग हर किताब पढ़ रखी है। आप उससे एक विशिष्ट प्रश्न पूछते हैं, जैसे "1998 का विश्व कप किसने जीता?" और वह सटीक उत्तर देता है। आप दूसरा प्रश्न पूछते हैं, "फ्रांस की राजधानी क्या है?" और वह फिर से सही जवाब देता है। इन परीक्षणों के आधार पर, आप यह निष्कर्ष निकाल सकते हैं कि आपका मित्र लगभग पूर्ण सटीकता के साथ सब कुछ जानता है।
लेकिन क्या होता है जब आप उसे किसी यादृच्छिक ऐतिहासिक पात्र की 2,000 शब्दों की पूरी जीवनी लिखने के लिए कहते हैं, या किसी ऐसे जटिल विषय को समझाने के लिए कहते हैं जिसके बारे में उसे सीधे तौर पर कभी पूछा नहीं गया है? क्या वह तब भी सब कुछ जानता है, या वह चीजें बनाना शुरू कर देता है?
यह LLMpedia की कहानी है, एक नए प्रोजेक्ट की जिसने साधारण सामान्य ज्ञान (trivia) के प्रश्न पूछना बंद करने और इसके बजाय AI मॉडल्स को शून्य से अपना स्वयं का विश्वकोश लिखने के लिए कहने का निर्णय लिया।
समस्या: "क्विज़ शो" का जाल
वर्षों से, हम AI मॉडल्स (जैसे वे जो चैटबॉट्स को संचालित करते हैं) का परीक्षण "बेंचमार्क" का उपयोग करके करते आए हैं। इन्हें आप मानक परीक्षणों या क्विज़ शो की तरह समझ सकते हैं। शोधकर्ता प्रश्नों की एक सूची चुनते हैं (जैसे, "सोने का रासायनिक प्रतीक क्या है?") और देखते हैं कि AI उनमें से कितनों का सही उत्तर देता है।
यह शोध पत्र तर्क देता है कि ये परीक्षण भ्रामक हैं। वे "उपलब्धता पूर्वाग्रह" (Availability Bias) से ग्रस्त हैं। यह एक शेफ का केवल एक आदर्श ऑमलेट बनाने की क्षमता पर परीक्षण करने जैसा है। यदि वह ऑमलेट परीक्षण में सफल हो जाता है, तो आप मान लेते हैं कि वह एक मास्टर शेफ है। लेकिन यदि आप उसे बिना किसी रेसिपी के अपनी स्मृति से एक पूरा, जटिल भोज पकाने के लिए कहते हैं, तो शायद वह सूप जला दे या आपको जूता परोस दे।
बेंचमक्स केवल उन्हीं चीज़ों का परीक्षण करते हैं जिन्हें शोधकर्ताओं ने पूछने के लिए सोचा था। वे उस विशाल, अनछुए क्षेत्र को छोड़ देते हैं जो AI वास्तव में जानता है लेकिन जिसे उसे कभी समझाने के लिए नहीं पूछा गया है।
प्रयोग: स्मृति से एक पुस्तकालय का निर्माण
इसे ठीक करने के लिए, शोधकर्ताओं ने LLMpedia बनाया। AI से विशिष्ट प्रश्न पूछने के बजाय, उन्होंने इसे एक 'सीड' (एक शुरुआती विषय, जैसे "वैनर बुश", जो एक वास्तविक जीवन के आविष्कारक हैं) दिया और कहा: "इस व्यक्ति के बारे में एक विश्वकोश लेख लिखें। फिर, अपने लेख के भीतर दिए गए लिंक को देखें, वहां उल्लेखित एक नए व्यक्ति को चुनें, और उनके बारे में एक लेख लिखें। इसे जारी रखें।"
उन्होंने ऐसा बिना AI को इंटरनेट पर उत्तर खोजने की अनुमति दिए किया। उन्होंने AI को पूरी तरह से अपनी आंतरिक स्मृति (इसके "पैरामीट्रिक ज्ञान") पर निर्भर रहने के लिए मजबूर किया।
- पैमाना: उन्होंने तीन अलग-अलग AI मॉडल्स के माध्यम से लगभग 10 लाख लेख उत्पन्न किए।
- विधि: यह "टेलीफोन" के खेल की तरह है जहाँ AI एक विषय से दूसरे विषय तक अपनी बारी पास करता है, एक बढ़ते हुए पेड़ की शाखाओं की तरह विस्तार करता है।
चौंकाने वाले परिणाम
जब उन्होंने इन दस लाख लेखों में तथ्यों की जाँच की, तो तस्वीर उन "90%+ सटीकता" से बहुत अलग थी जो क्विज़ शो में देखी जाती है।
- सटीकता में गिरावट: शीर्ष मॉडल (gpt-5-mini) के लिए, उन विषयों पर जिनकी सटीकता Wikipedia पृष्ठों में थी, अपेक्षित 90%+ से गिरकर केवल 74.7% रह गई। यह एक बहुत बड़ा अंतर है।
- "फ्रंटियर" की समस्या: जब AI ने उन विषयों के बारे में लिखा जो Wikipedia पर मौजूद नहीं थे (जिसे "फ्रंटियर" कहा गया), तो सटीकता गिरकर 63.2% रह गई। AI उन चीजों के बारे में आत्मविश्वास से तथ्य गढ़ रहा था जिन्हें वह वास्तव में नहीं जानता था।
- "कैप्चर ट्रैप" (Capture Trap): शोधकर्ताओं ने अपने खुले, पारदर्शी AI विश्वकोश की तुलना Grokipedia (xAI द्वारा बनाया गया एक प्रसिद्ध AI विश्वकोश) से की।
- Grokipedia Wikipedia के बहुत समान लग रहा था (जैसे कोई छात्र शिक्षक का होमवर्क कॉपी कर रहा हो)। यह शब्दावली में बहुत समान था लेकिन इसमें तथ्यात्मक त्रुटियों की उच्च दर थी।
- LLMpedia अलग और अद्वितीय लगा (जैसे कोई छात्र अपना स्वयं का निबंध लिख रहा हो)। यह Wikipedia से कम समान था लेकिन तथ्यात्मक रूप से बहुत अधिक सटीक था।
- उपमा: Grokipedia उस छात्र की तरह है जो पाठ्यपुस्तक को इतनी अच्छी तरह याद कर लेता है कि वह उसे सुना सकता है, लेकिन यदि आप उससे थोड़ा अलग प्रश्न पूछते हैं, तो वह भ्रमित हो जाता है। LLMpedia उस छात्र की तरह है जो वास्तव में अवधारणाओं को समझता है, भले ही वह उन्हें अपने शब्दों में समझाता हो।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक "कैप्चर ट्रैप" को उजागर करता है। यदि एक AI बहुत अधिक Wikipedia के समान है, तो हो सकता है कि वह केवल Wikipedia की शब्दावली को कॉपी कर रहा हो, न कि अपने स्वयं के ज्ञान का उपयोग कर रहा हो। यह इस तथ्य को छिपा देता है कि AI भ्रमित (hallucinating) हो सकता है या तथ्यों को लेकर उलझन में हो सकता है।
अपनी प्रक्रिया को पूरी तरह से खुला रखकर (प्रत्येक प्रॉम्प्ट, प्रत्येक ड्राफ्ट और प्रत्येक तथ्य-जाँच को दिखाकर), LLMopedia टीम ने सिद्ध किया कि:
- बेंचमार्क झूठ बोलते हैं: क्विज़ में उच्च स्कोर का मतलब यह नहीं है कि AI लंबे, विस्तृत लेखन में विश्वसनीय है।
- स्मृति नाजुक है: AI मॉडल विशिष्ट प्रश्नों के उत्तर देने में उत्कृष्ट हैं लेकिन एक सुसंगत, तथ्यात्मक वृत्तांत बुनने में संघर्ष करते हैं।
- पारदर्शिता महत्वपूर्ण है: हमें यह देखने के लिए कि AI जानकारी कैसे उत्पन्न करता है, न कि केवल यह कि वह क्या कहता है, इसकी आवश्यकता है ताकि हम उस पर भरोसा कर सकें।
निष्कर्ष
LLMpedia को AI स्मृति के लिए एक "स्ट्रेस टेस्ट" के रूप में समझें। इसने हमें दिखाया कि जबकि हमारे AI मित्र सामान्य ज्ञान (trivia) में माहिर हैं, वे एक पूर्ण पुस्तक लिखने के लिए कहे जाने पर कहानियाँ बनाने के प्रति प्रवृत्त होते हैं। यह शोध पत्र AI के परीक्षण के एक नए तरीके का आह्वान करता है: केवल प्रश्न पूछकर नहीं, बल्कि उन्हें ज्ञान का सृजन करते हुए देखकर और यह देखकर कि क्या वे अपने तथ्यों को सही रख पाते हैं जब कोई उनके ऊपर क्विज़ शीट लेकर खड़ा नहीं होता।
संक्षेप में: AI पर केवल इसलिए भरोसा न करें क्योंकि उसने परीक्षा में टॉप किया है। उसे एक कहानी लिखते हुए देखें, और आप पाएंगे कि वह अभी भी सच बोलना सीख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।