GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge
यह शोध पत्र GPTKB v1.5 को प्रस्तुत करता है, जो GPT-4.1 के माध्यम से व्यापक-रिकर्सिव मटेरियलाइजेशन (massive-recursive materialization) द्वारा निर्मित एक लागत प्रभावी, 100-मिलियन-ट्रिपल ज्ञान आधार है, जो तथ्यात्मक LLM ज्ञान के व्यवस्थित अन्वेषण, संरचित क्वेरी और तुलनात्मक विश्लेषण को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आप जानते हैं कि उसे बहुत सारी बातें पता हैं, लेकिन अगर आप उससे पूछें, "आइफेल टॉवर के बारे में तुम क्या जानते हो?" तो वह कुछ बातें बता सकता है। यदि आप पूछते हैं, "लौवर के बारे में क्या?" तो वह और अधिक बताता है। लेकिन आपको इस बात का कोई अंदाज़ा नहीं है कि वह क्या नहीं जानता, या उसका ज्ञान वास्तव में कितना गहरा है, क्योंकि आप उससे एक बार में केवल एक ही सवाल पूछ सकते हैं। यह एक महाद्वीप का मानचित्र बनाने जैसा है जहाँ आप केवल उन स्थानों को देख सकते हैं जहाँ आप संयोग से पहुँच जाते हैं।
GPTKB v1.5 एक ऐसा प्रोजेक्ट है जो खेल बदल देता है। रोबोट से एक-एक करके सवाल पूछने के बजाय, शोधकर्ताओं ने एक विशाल, परस्पर जुड़ा हुआ मानचित्र बनाया है कि रोबोट (विशेष रूप से GPT-4.1) क्या जानता है। इसे एक बिखरे हुए ट्रिविया कार्डों के ढेर को एक विशाल, खोजने योग्य लाइब्रेरी में बदलने के रूप में समझें जहाँ हर तथ्य दूसरे तथ्य से जुड़ा हुआ है।
उन्होंने इसे कैसे किया और उन्हें क्या मिला, इसका सरल विवरण यहाँ दिया गया है:
1. "स्नोबॉल" विधि (उन्होंने इसे कैसे बनाया)
शोधकर्ताओं ने रोबोट से रैंडम तथ्य नहीं पूछे। उन्होंने एक चतुर "स्नोबॉल" तकनीक का उपयोग किया:
- बीज (The Seed): उन्होंने एक विशिष्ट चीज़ से शुरुआत की, जैसे "वनेवर बुश" (एक प्रसिद्ध इंजीनियर)।
- विस्तार (The Expansion): उन्होंने रोबically पूछा, "वनेवर बुश के बारे में तुम जो कुछ भी जानते हो वह मुझे बताओ।" रोबोट ने उन्हें तथ्यों की एक सूची दी, जैसे "उन्होंने X पर काम किया" या "उन्होंने Y का आविष्कार किया।"
- श्रृंखला प्रतिक्रिया (The Chain Reaction): रोबोट ने उन जवाबों में नए नाम (जैसे "X" और "Y") का उल्लेख किया। शोधकर्ताओं ने तुरंत उन नए नामों के बारे में रोबोट से पूछा।
- परिणाम: वे इसे 10 परतों तक गहराई तक, एक श्रृंखला प्रतिक्रिया की तरह, पुनरावर्ती रूप से करते रहे। इससे 6.1 मिलियन अलग-अलग चीजों को जोड़ने वाले 100 मिलियन तथ्यों (जिन्हें "ट्रिपल्स" कहा जाता है) का एक विशाल जाल बन गया।
इस पूरे पुस्तकालय को बनाने में कंप्यूटर समय के रूप में लगभग $14,000 खर्च हुए, जिसे पूरा करने में लगभग 18 दिन लगे।
2. गंदगी की सफाई (समेकन - The Consolidation)
जब आप रोबोट से एक ही सवाल अलग-अलग तरीकों से पूछते हैं, तो वह कभी-कभी आपको थोड़े अलग उत्तर देता है या एक ही चीज़ के लिए अलग शब्दों का उपयोग करता है (जैसे एक वाक्य में किसी व्यक्ति को "मानव" कहना और दूसरे में "व्यक्ति" कहना)।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक "सफाई" प्रक्रिया चलाई। उन्होंने समान शब्दों को एक साथ समूहबद्ध किया और डुप्लिकेट तथ्यों को मिला दिया। इसने डेटा के एक अस्त-व्यst, दोहराव वाले ढेर को एक साफ, व्यवस्थित डेटाबेस में बदल दिया जिसमें स्पष्ट श्रेणियाँ थीं।
3. आप इस मानचित्र के साथ क्या कर सकते हैं?
यह पेपर एक वेबसाइट पेश करता है जहाँ कोई भी तीन मुख्य तरीकों से इस विशाल ज्ञान आधार को एक्सप्लोर कर सकता है:
- "विकिपीडिया" शैली का एक्सप्लोरर: आप किसी भी आइटम (जैसे सिंगापुर में "मरलियन स्टैच्यू") पर क्लिक कर सकते हैं और उन तथ्यों की सूची देख सकते हैं जो रोबोट उसके बारे में जानता है। फिर आप उन लोगों या स्थानों पर क्लिक कर सकते हैं जिनका उल्लेख उन तथ्यों में किया गया है ताकि उनके पेजों पर जा सकें, और रोबोट के दिमाग को एक संग्रहालय की तरह घूम सकें।
- "डिटेक्टिव" क्वेरी टूल: आप SPARQL नामक एक विशेष भाषा का उपयोग करके जटिल प्रश्न पूछ सकते हैं। उदाहरण के लिए, आप पूछ सकते हैं, "मुझे इस रोबोट के बारे में ज्ञात सबसे सामान्य 100 प्रकार की चीजें दिखाएं।" रोबोट के मानचित्र से पता चला कि वह सबसे अधिक लोगों के बारे में जानता है, उसके बाद फिल्में, कंपनियाँ और पुस्तकें आती हैं।
- एक मज़ेदार खोज: शोधकर्ताओं ने जाँच की कि क्या रोबोट का ज्ञान निष्पक्ष है। उन्होंने पूछा, "यदि रोबोट जानता है कि 'A, B का पति है', तो क्या वह यह भी जानता है कि 'B, A की पत्नी है'?" उन्होंने पाया कि 84% मामलों में, वह ऐसा नहीं करता है। रोबोट का ज्ञान अक्सर एकतरफा होता है, जो एक संबंध के एक पक्ष को याद रखता है लेकिन दूसरे को भूल जाता है।
- "टेस्ट ऑफ टेस्ट" (तुलना): आप विभिन्न AI मॉडलों को एक-दूसरे के सामने रख सकते हैं। शोधकर्ताओं ने GPT-4.1 की तुलना अन्य मॉडलों (जैसे Llama और DeepSeek) से की।
- उदाहरण: प्रसिद्ध AI शोधकर्ता इल्या सुत्केवर के बारे में पूछे जाने पर, GPT मॉडल ने 40 तथ्य दिए, जबकि Llama मॉडल ने केवल 14 दिए।
- सावधानी: दोनों मॉडलों ने उनकी जन्म तिथि गलत बताई! यह दर्शाता है कि भले ही एक मॉडल के पास अधिक तथ्य हों, वे दोनों एक ही तरह की मूर्खतापूर्ण गलतियाँ कर सकते हैं।
4. यह कितना सटीक है?
शोधकर्ताओं ने केवल रोबोट पर भरोसा नहीं किया; उन्होंने इसके काम की जाँच की।
- उन्होंने यादृच्छिक रूप से 1,000 तथ्यों को चुना और वास्तविक दुनिया (वेब खोजों का उपयोग करके) के साथ उनकी जाँच की।
- स्कोर: लगभग 75.5% तथ्य सत्य थे।
- समस्या: लगभग 19.5% तथ्य गलत थे, और कुछ इतने भ्रमित करने वाले थे कि उनकी पुष्टि करना कठिन था।
- पूर्वाग्रह (Bias): क्योंकि उन्होंने विशिष्ट "सीड" नामों से शुरुआत की थी, इसलिए मानचित्र उन चीजों की ओर भारी रूप से झुका हुआ है जिनके बारे में शोधकर्ताओं को लगा कि उन्हें पूछना चाहिए। यह एक विशाल मानचित्र है, लेकिन यह पूरे ब्रह्मांड के ज्ञान का पूर्ण मानचित्र नहीं है।
निष्कर्ष
GPTKB v1.5 एक विशाल, $14,000 का प्रयोग है जिसने एक "ब्लैक बॉक्स" AI को एक पारदर्शी, खोजने योग्य लाइब्रेरी में बदल दिया है। यह साबित करता है कि हम व्यवस्थित रूप से मानचित्र बना सकते हैं कि एक AI क्या जानता है, जिससे यह पता चलता है कि जहाँ ये मॉडल अविश्वसनीय रूप से जानकार हैं (100 मिलियन तथ्यों को धारण करते हैं), वहीं वे एकतरफा सोच और विशिष्ट त्रुटियों के प्रति भी प्रवृत्त हैं। यह शोधकर्ताओं के लिए एक उपकरण है ताकि वे यह अनुमान लगाना बंद कर सकें कि AI क्या जानता है और वास्तव में उसे देखना शुरू कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।