Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction
यह शोध पत्र एक इंटरैक्टिव एजेंटिक फ्रेमवर्क को प्रस्तावित करता है जिसमें एडेप्टिव एक्सप्लोरेशन पॉलिसीज़ और एक कठोर प्रोसेसिंग पाइपलाइन है ताकि लार्ज लैंग्वेज मॉडल्स की नॉलेज बाउंड्रीज़ को व्यवस्थित रूप से निकाला और मापा जा सके, जो विशिष्ट नॉलेज स्केलिंग लॉज़, स्पेशलाइज्ड और जनरल मॉडल्स के बीच परफॉरमेंस ट्रेड-ऑफ्स, और ट्रेनिंग डेटा कंपोजिशन द्वारा संचालित नॉलेज प्रोफाइल्स के मापने योग्य अंतरों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) विशाल, सीलबंद पुस्तकालयों की तरह हैं। हम जानते हैं कि उनमें बहुत सारी किताबें (ज्ञान) हैं, लेकिन हमें यह ठीक-खाली नहीं पता कि अलमारियों में कितनी किताबें हैं, कौन सी असली हैं, और अलमारियाँ कहाँ समाप्त होती हैं। आमतौर पर, हम इन पुस्तकालयों का परीक्षण एक पूर्व-लिखित सूची से कुछ यादृच्छिक (random) प्रश्न पूछकर करते हैं। लेकिन यह शोध पत्र तर्क देता है कि यह तरीका त्रुटिपूर्ण है: यह एक पुस्तकालय को चाबी के छेद से झाँककर देखने जैसा है। आप संग्रह के विशाल बहुमत को मिस कर सकते हैं, और आप यह भी नहीं बता सकते कि लाइब्रेरियन मनगढ़ंत बातें बना रहा है या बस वही दोहरा रहा है जो उसने हज़ार बार सुना है।
लेखक इन पुस्तकालयों को खोजने का एक नया तरीका प्रस्तावित करते हैं: द इंटरएक्टिव एजेंटिक फ्रेमवर्क (The Interactive Agentic Framework)। इसे केवल एक लाइब्रेरियन के रूप में न देखें, बल्कि खोजकर्ताओं (explorers) की एक टीम के रूप में देखें जिन्हें एक विशिष्ट मिशन पर भेजा गया है: हर एक अद्वितीय तथ्य (unique fact) को खोजने के लिए, चाहे वह कितना भी दुर्लभ क्यों न हो।
यहाँ उनका सिस्टम सरल अवधारणाओं में विभाजित है:
1. चार अन्वेषण रणनीतियाँ (The Explorers)
टीम ने मॉडल से जानकारी माँगने के चार अलग-अलग तरीकों को आज़माया ताकि यह देखा जा सके कि कौन सा तरीका सबसे गहराई तक खुदाई करता है:
- "बस पूछते रहना" वाला दृष्टिकोण (Sequential): यह एक दोस्त से पूछने जैसा है, "मुझे बिल्लियों के बारे में बताओ," फिर "मुझे और बताओ," फिर "मुझे और भी ज़्यादा बताओ।" लेखकों ने पाया कि यह जल्दी ही एक दीवार से टकरा जाता है। मॉडल ऊब जाता है या एक लूप में फंस जाता है, और वही स्पष्ट तथ्य दोहराने लगता है।
- "स्व-सुधार" वाला दृष्टिकोण (Reflection): यहाँ, मॉडल को अपने पिछले उत्तरों की समीक्षा करने, अपनी कमियों को खोजने और उन्हें भरने के लिए कहा जाता है। यह एक छात्र की तरह है जो अपना होमवर्क जमा करने से पहले उसे चेक करता है। यह थोड़ा मदद करता है, लेकिन यह अभी भी गहरे, छिपे हुए तथ्यों को खोजने में संघर्ष करता है।
- "विशेषज्ञों का पैनल" वाला दृष्टिकोण (Multi-Perspective): सिस्टम विभिन्न व्यक्तित्व (जैसे एक वकील, एक इंजीनियर, एक इतिहासकार) बनाता है और उन सभी को एक ही विषय पर बात करने के लिए कहता है। यह अलग-अलग कोण लाता है, लेकिन यह अव्यवस्थित और दोहराव वाला हो सकता है।
- "पेड़ पर चढ़ने" वाला दृष्टिकोण (Recursive Taxonomy): यही विजेता रहा। कल्पना कीजिए कि पुस्तकालय एक विशाल पेड़ द्वारा व्यवस्थित है। आप तने (मुख्य विषय) से शुरू करते हैं, फिर एक शाखा (उप-विषय) पर चढ़ते हैं, फिर एक छोटी टहनी (एक विशिष्ट विवरण) पर, और अंत में पत्तियों (सूक्ष्म, विशिष्ट तथ्यों) तक पहुँचते हैं। मॉडल को बड़े विषय को छोटे और छोटे टुकड़ों में तोड़ने के लिए मजबूर करके, आप उसे उसके "कंफर्ट ज़ोन" से बाहर निकलने और उस दुर्लभ, 'लॉन्ग-टेल' ज्ञान को खोद निकालने के लिए मजबूर करते हैं जिसे वह आमतौर पर छिपा कर रखता है।
2. गुणवत्ता नियंत्रण टीम (The Knowledge Processor)
एक बार जब खोजकर्ता सूचनाओं का एक पहाड़ वापस लाते हैं, तो वह एक अव्यवस्था होती है। कुछ तथ्य डुप्लिकेट होते हैं, कुछ बकवास होते हैं, और कुछ बस यह कहते हैं कि "यह महत्वपूर्ण है" बिना वास्तव में यह बताए कि क्या महत्वपूर्ण है। लेखकों ने इसे साफ करने के लिए तीन चरणों वाला फ़िल्टर बनाया है:
- चरण 1: तेज़ स्कैन (Vector Filtering): एक कंप्यूटर प्रोग्राम सूची को तेज़ी से स्कैन करता है और ऐसी किसी भी चीज़ को बाहर निकाल देता है जो पहले से मिले किसी तथ्य से 92% समान दिखती है। यह क्लब के बाहर खड़े बाउंसर की तरह है जो आईडी चेक करता है ताकि स्पष्ट डुप्लिकेट्स को रोका जा सके।
- चरण 2: स्मार्ट जज (LLM Adjudication): कभी-कभी, दो तथ्य अलग दिख सकते हैं लेकिन उनका अर्थ एक ही होता है, या वे समान दिख सकते हैं लेकिन विपरीत अर्थ रखते हैं। एक स्मार्ट AI ("जज") इन पेचीदा जोड़ों को पढ़ता है और तय करता है कि क्या वे वास्तव में अद्वितीय हैं या केवल एक ही तथ्य के दूसरे संस्करण हैं।
- चरण 3: प्रासंगिकता की जाँच (Domain Auditing): अंतिम फ़िल्टर यह जाँचता है: "क्या यह वास्तव में उपयोगी ज्ञान है?" यह "फालतू बातों" (जैसे "डीप लर्निंग बहुत कूल है") को बाहर निकाल देता है और केवल ठोस तथ्यों, सिद्धांतों या चरण-दर-चरण विधियों को रखता है।
3. उन्होंने क्या खोजा (The Findings)
"आकार मायने रखता है" का नियम
उन्होंने अलग-अलग आकार के मॉडलों (छोटे, मध्यम और बहुत बड़े) का परीक्षण किया। उन्होंने एक स्पष्ट पैटर्न पाया: बड़े मॉडल अधिक जानते हैं। जैसे-जैसे मॉडल बड़ा होता गया, वह काफी अधिक अद्वितीय तथ्य प्राप्त करने में सक्षम रहा। हालाँकि, सबसे बड़ा मॉडल केवल अधिक नहीं जानता था; वह उन गहरे तथ्यों को भी जानता था जिन्हें छोटे मॉडल पूरी तरह से मिस कर गए थे।
"स्पेशलिस्ट बनाम जनरलिस्ट" का ट्रेड-ऑफ
उन्होंने एक "जनरल" मॉडल (जो सब कुछ में अच्छा है) की तुलना एक "स्पेशलिस्ट" मॉडल (जिसे विशेष रूप से कोडिंग के लिए प्रशिक्षित किया गया है) से की।
- स्पेशलिस्ट: अपने क्षेत्र में (कोडिंग), वह बहुत सटीक और आत्मविश्वासी था। लेकिन जैसे-जैसे टीम ने और अधिक तथ्यों के लिए पूछना जारी रखा, स्पेशलिस्ट का प्रदर्शन गिर गया। उसके पास कहने के लिए शब्द खत्म हो गए और वह खुद को दोहराने लगा या गलतियाँ करने लगा।
- जनरलिस्ट: इसने थोड़ी कम आत्मविश्वास के साथ शुरुआत की लेकिन एक स्थिर गति बनाए रखी। इसके पास खत्म होने के लिए शब्द नहीं थे और यह लंबे समय तक नए तथ्य खोदता रहा।
- सबक: मॉडल को विशेषज्ञ बनाना उसे शुरुआत में महान बनाता है, लेकिन यह उसकी दुनिया को संकुचित कर देता है। यदि आप एक कोडिंग विशेषज्ञ से गणित के बारे में पूछते हैं, तो वह लगभग सब कुछ भूल जाता है।
"ट्रेनिंग डेटा" के फिंगरप्रिंट्स
अंत में, उन्होंने अलग-अलग कंपनियों (Meta, Alibaba, DeepSeek) के मॉडलों को देखा जो लगभग एक ही आकार के थे। भले ही वे एक ही आकार के थे, उनके "ज्ञान प्रोफाइल" बहुत अलग थे।
- एक मॉडल इंजीनियरिंग और कोड में बहुत अच्छा था लेकिन सिद्धांत (theory) में कमजोर था।
- दूसरा सिद्धांत का उस्ताद था लेकिन व्यावहारिक रूप से कम था।
- टेकअवे: यह केवल इस बारे में नहीं है कि दिमाग कितना बड़ा है; यह इस बारे में है कि प्रशिक्षण के दौरान उसमें कौन सी किताबें डाली गई थीं। ट्रेनिंग डेटा मॉडल के ज्ञान और उसके काम करने के तरीके पर एक स्थायी छाप छोड़ता है।
सारांश
यह शोध पत्र AI के भीतर के ज्ञान को "मैप" करने का एक नया तरीका पेश करता है। केवल कुछ प्रश्न पूछने के बजाय, वे एक स्मार्ट, रिकर्सिव ट्री-क्लाइंबिंग रणनीति का उपयोग करते हैं ताकि तथ्यों को थका देने वाली गहराई तक खोदा जा सके, और फिर केवल वास्तविक, अद्वितीय ज्ञान को गिनने के लिए एक सख्त तीन-चरणीय फ़िल्टर का उपयोग करते हैं। उन्होंने पाया कि संरचना यादृच्छिकता (randomness) से बेहतर है, बड़े मॉडल अधिक जानते हैं, और मॉडल को विशेषज्ञ बनाना उसे नाजुक (brittle) बना सकता है, जबकि इसके प्रशिक्षण के लिए उपयोग किया गया विशिष्ट डेटा इसके पूरे व्यक्तित्व को आकार देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।