REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
REAP सिस्टम, जो बिना फाइन-ट्यूनिंग के 24B-पैरामीटर वाले मिस्ट्रल (Mistral) मॉडल पर आधारित है, स्ट्रक्चर्ड चेन-ऑफ-थॉट रीजनिंग, रिलेशन-स्पेसिफिक क्वेरीज और पैरामीट्रिक नॉलेज को वैध JSON एरेज़ में निकालने और पार्स करने के लिए एक रीजनिंग-आधारित एम्प्टी-सेट गेट का उपयोग करके AKBC शेयर्ड टास्क 2026 में 0.62 का मैक्रो-F1 स्कोर प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक मित्र है जिसने दुनिया की लगभग हर किताब पढ़ ली है और तथ्यों की एक विशाल मात्रा याद कर ली है, जैसे फ्रांस की राजधानी से लेकर किसी विशिष्ट आकाशगंगा में सितारों की संख्या तक। यह मित्र एक "लार्ज लैंग्वेज मॉडल" (LLM) है। आमतौर पर, जब आप उनसे "नोबेल पुरस्कार किसने जीता?" जैसा सरल प्रश्न पूछते हैं, तो वे एक त्वरित उत्तर देते हैं। लेकिन क्या होगा यदि आपने उनसे उस व्यक्ति की सूची बनाने को कहा जो वास्तव में उस पुरस्कार को जीत चुका है, या उन्हें यह बताने को कहा कि किन देशों की भूमि सीमा एक छोटे से द्वीप राष्ट्र के साथ साझा होती है? अचानक, कार्य बहुत कठिन हो जाता है। वह मित्र कुछ नाम भूल सकता है, एक फर्जी विजेता बना सकता है, या इस बात को लेकर भ्रमित हो सकता है कि क्या किसी द्वीप का कोई पड़ोसी भी है।
यह "नॉलेज बेस कंस्ट्रक्शन" (ज्ञान आधार निर्माण) की चुनौती है। वैज्ञानिक इन विशाल, तथ्य-भरे दिमागों को व्यवस्थित डेटाबेस में बदलना चाहते हैं जिसे कंप्यूटर विश्वसनीय रूप से उपयोग कर सकें। पेचीदा हिस्सा यह है कि मित्र (AI) के पास देखने के लिए कोई लाइब्रेरी नहीं है; उन्हें पूरी तरह से अपने दिमाग (उनके "पैरामीटर्स") पर निर्भर रहना पड़ता है। यदि उत्तर "कोई नहीं" है, तो मित्र को अनुमान लगाने के बजाय "खाली" कहना जानना चाहिए। यदि उत्तर एक लंबी सूची है, तो उन्हें बिना किसी चीज़ को छोड़े या गलत हुए हर एक आइटम को सही ढंग से प्राप्त करना होगा। यह शोध पत्र इस समस्या पर काम करता है कि कैसे इन AI मित्रों से सही प्रश्न पूछे जाएं ताकि वे बिना भ्रमित हुए या मनगढ़ंत बातें किए (hallucinate) सटीक, व्यवस्थित सूचियाँ प्राप्त की जा सकें।
REAP सिस्टम: AI स्मृति के लिए एक जासूसी गाइड
मिलिए REAP (रिलेशन-अवेयर एलिसिटेशन एंड पार्सिंग) से। REAP को केवल एक प्रश्न पूछने वाले के रूप में नहीं, बल्कि एक चतुर जासूसी टीम के रूप में देखें जो एक बहुत ही बुद्धिमान, लेकिन कभी-कभी बिखरे हुए दिमाग वाले गवाह (AI मॉडल) के साथ काम कर रही है। लक्ष्य क्या है? गवाह की स्मृति से तथ्यों की एक पूर्ण, व्यवस्थित सूची बनाना बिना उन्हें कुछ भी मनगढ़ंत बनाने दिए।
शोधकर्ताओं ने पाया कि यदि आप बस AI से पूछते हैं, "X से सटे सभी देशों की सूची बनाएं," तो वह अभिभूत हो सकता है, कुछ भूल सकता है, या गलती से एक ऐसा सीमा क्षेत्र बना सकता है जो मौजूद ही नहीं है। यह एक छात्र को एक ही सांस में पाठ्यपुस्तक का पूरा अध्याय सुनाने के लिए कहने जैसा है; वे लड़खड़ा सकते हैं। इसके बजाय, REAP इस कार्य को दो अलग-अलग चरणों में विभाजित करता है, जैसे कि दो-चरणीय साक्षात्कार प्रक्रिया।
चरण 1: जासूस की पूछताछ (रीज़निंग/तर्क)
पहले चरण में, REAP केवल उत्तर नहीं मांगता। यह AI को बोलने से पहले सोचने के लिए कहता है। प्रश्न के प्रकार के आधार पर, जासूस एक विशेष रणनीति का उपयोग करता है:
- सीमाओं के लिए: यह पूछने के बजाय कि "कौन सीमा साझा करता है?", AI को एक भूगोल विशेषज्ञ की तरह व्यवहार करने और यह सुनिश्चित करने के लिए चार दिशाओं (उत्तर, दक्षिण, पूर्व, पश्चिम) में मानचित्र को स्कैन करने के लिए कहा जाता है कि कोई छोटा पड़ोसी छूट न जाए।
- पुरस्कारों के लिए: यदि AI को पुरस्कार विजेताओं की सूची बनानी है, तो वह केवल अनुमान नहीं लगाता। यह समय को दशकों में तोड़ देता है, जैसे, "1970 के दशक में किसने जीता? 1980 के दशक में किसने जीता?" यह सुनिश्चित करता है कि AI एक पूरा युग न छोड़ दे।
- "एम्प्टी सेट" गेट: यह एक महत्वपूर्ण सुरक्षा जाल है। कभी-कभी उत्तर "कोई नहीं" होता है (जैसे कि एक जीवित व्यक्ति जो अभी तक मरा नहीं है, या एक निजी कंपनी जो शेयर बाजार में व्यापार नहीं करती है)। REAP AI को यह पहचानने के लिए सिखाता है कि कब कोई गुण मौजूद नहीं है और आत्मविश्वास के साथ यह कहने के लिए कि, "सूची खाली है," बजाय इसके कि वह कोई फर्जी नाम बना ले।
चरण 2: लिपिक की सफाई (पार्सिंग)
एक बार जब AI ने अपनी सोच पूरी कर ली है और तथ्यों की एक अव्यवस्थित सूची बना ली है, तो चरण 2 शुरू होता है। यह वह लिपिक (scribe) है जो नोट्स को साफ करता है। सिस्टम जवाबों को पकड़ने और उन्हें पूरी तरह से एक JSON सूची (एक मानक कंप्यूटर प्रारूप) में व्यवस्थित करने के लिए सख्त नियमों का उपयोग करता है। यदि AI भ्रमित हो जाता है और सूची के बजाय एक वाक्य लिख देता है, तो सिस्टम उसे ठीक करने का प्रयास करता है। यदि इसे ठीक नहीं किया जा सकता है, तो सिस्टम एक सरल प्रॉम्प्ट के साथ प्रश्न को फिर से आज़माता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस प्रणाली का परीक्षण Mistral-Small-24B-Instruct-2501 नामक एक विशिष्ट AI मॉडल का उपयोग करके किया, जिसमें लगभग 24 बिलियन "मस्तिष्क कोशिकाएं" (पैरामीटर्स) हैं। वे सख्त नियमों के तहत काम कर रहे थे: इंटरनेट पर जानकारी खोजना नहीं, AI के दिमाग को बदलना नहीं (कोई फाइन-ट्यूनिंग नहीं), और 32 बिलियन से अधिक पैरामीटर्स वाले मॉडल का उपयोग नहीं करना।
परिणाम काफी उत्साहजनक थे। कठिन प्रश्नों के एक परीक्षण सेट पर, REAP सिस्टम ने 0.62 का मैक्रो-F1 स्कोर प्राप्त किया। इसे समझने के लिए, यह आयोजकों के बेसलाइन सिस्टम (जिसने 0.30 स्कोर किया था) की तुलना में काफी बेहतर था और समान विधि के साथ Llama या Gemma जैसे अन्य लोकप्रिय AI मॉडलों से भी बेहतर था।
यह सिस्टम विशिष्ट प्रकार के प्रश्नों पर सबसे अधिक चमका:
- देशों की सीमाएं: इसने 0.95 का स्कोर प्राप्त किया, जिसका अर्थ है कि यह पड़ोसी देशों की सूची बनाने में लगभग पूर्ण था।
- स्टॉक एक्सचेंज: इसने कंपनियां कहाँ ट्रेड की जाती हैं, यह खोजने के लिए 0.73 का स्कोर प्राप्त किया।
- क्षेत्र (Area): इसने भौगोलिक क्षेत्रों के आकार की गणना करने के लिए 0.77 का स्कोर प्राप्त किया।
हालाँकि, यह प्रणाली हर जगह पूर्ण नहीं थी। यह वेन्यू कैपेसिटी (स्थान क्षमता) में थोड़ा संघर्ष करती रही (स्कोर 0.23), अक्सर एक समान नाम वाले प्रसिद्ध स्टेडियम के बजाय एक छोटे स्थानीय स्टेडियम को समझ लेती थी। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए है क्योंकि AI की आंतरिक स्मृति बहुत विशिष्ट संख्याओं या दुर्लभ, 'लॉन्ग-टेल' तथ्यों के लिए हमेशा सटीक नहीं होती है।
इसका क्या अर्थ है (और क्या नहीं)
यह शोध पत्र सुझाव देता है कि AI से बेहतर उत्तर प्राप्त करने की कुंजी केवल एक बड़ा दिमाग होना नहीं है, बल्कि सही तरीके से सही प्रश्न पूछना है। AI को "चरण-दर-चरण सोचने" (चेन-ऑफ-थॉट रीज़निंग का उपयोग करके) के लिए मजबूर करके और इसे विभिन्न प्रकार के तथ्यों के लिए विशिष्ट रणनीतियाँ देकर, सिस्टम अधिक सटीक जानकारी निकाल सकता है।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई समाधान नहीं है। यह सिस्टम पूरी तरह से इस बात पर निर्भर करता है कि AI ने क्या याद किया है। यदि AI के पास किसी बहुत दुर्लभ इकाई (जैसे छोटा द्वीप या मामूली पुरस्कार) के बारे में तथ्य नहीं है, तो सिस्टम उसे बना नहीं सकता। इसके अलावा, क्योंकि AI विशिष्ट कंप्यूटर चिप्स (TPUs) पर चल रहा है, परिणामों में थोड़ी सी अनिश्चितता (randomness) है, हालांकि यह इतनी कम है कि बड़े चित्र को नहीं बदलती।
संक्षेप में, REAP दिखाता है कि थोड़ी सी संरचना और बहुत धैर्य के साथ, हम अपने AI मित्रों से बहुत अधिक विश्वसनीय तथ्य प्राप्त कर सकते हैं, जिससे उनकी अराजक स्मृतियों को व्यवस्थित, उपयोगी सूचियों में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।