💬 NLP

Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

यह शोध पत्र यह स्थापित करता है कि लार्ज लैंग्वेज मॉडल्स में तथ्यात्मक रिकॉल (factual recall), मॉडल पैरामीटर संख्या और प्रशिक्षण डेटा में विषय की आवृत्ति के संयुक्त प्रभावों द्वारा संचालित एक पूर्वानुमेय सिग्मॉइड स्केलिंग लॉ (sigmoid scaling law) का अनुसरण करता है, जो विशिष्ट मॉडल परिवारों के भीतर प्रदर्शन भिन्नता के 94% तक की व्याख्या करता है।

मूल लेखक: Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक रोबट के मस्तिष्क के भीतर एक विशाल पुस्तकालय है। यह रोबट एक AI है, और इसका काम तथ्यों को उस पुस्तकालय से निकालकर उत्तर देना है। कभी-कभी यह सही होता है। अन्य समय में, यह ऐसे तथ्य बना देता है जो सुनने में वास्तविक लगते हैं लेकिन सच नहीं होते। इस शोध पत्र के लेखक इन मनगढ़ंत तथ्यों को "कन्फैबुलेशन" (confabulations) कहते हैं।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या चीज़ रोबट को अधिक बार सच बोलने के लिए प्रेरित करती है?

शोधकर्ताओं ने 38 अलग-अलग AI मॉडल का परीक्षण किया (छोटे से लेकर विशाल तक) और उनसे 24 विभिन्न विषयों के लिए 10 वास्तविक शैक्षणिक शोध पत्रों (academic papers) की सूची मांगी। कुछ विषय बहुत लोकप्रिय थे (जैसे "जलवायु परिवर्तन"), जबकि कुछ बहुत ही विशिष्ट थे (जैसे "ग्रामीण क्षेत्रों में स्कूल छोड़ने की रोकथाम")। इसके बाद उन्होंने जांचा कि क्या रोबोटों द्वारा सूचीबद्ध किए गए शोध पत्र वास्तव में अस्तित्व में थे।

यहाँ उन्हें क्या मिला, जिसे रोजमर्रा के उदाहरणों के साथ समझाया गया है:

1. सत्य के दो घटक

शोध पत्र ने पाया कि सही उत्तर प्राप्त करना दो मुख्य चीजों पर निर्भर करता है, जो एक रेसिपी की तरह मिलकर काम करती हैं:

मस्तिष्क का आकार (मॉडल का आकार): AI कितना बड़ा है। इसे लाइब्रेरी की अलमारियों के आकार के रूप में सोचें। एक बड़ी लाइब्रेरी अधिक पुस्तकों को बिना कुचले या आपस में मिले रखे रख सकती है।
विषय की प्रसिद्धि (विषय की आवृत्ति): वह विशिष्ट विषय कितनी बार उन पुस्तकों में दिखाई देता है जिन्हें AI ने सीखने के दौरान पढ़ा था। इसे लाइब्रेरी में उस विशिष्ट पुस्तक की प्रतियों की संख्या के रूप में सोचें। यदि किसी विषय का उल्लेख हजारों पुस्तकों में किया जाता है, तो AI उसे अच्छी तरह जानता है। यदि इसका उल्लेख केवल कुछ ही स्थानों पर किया जाता है, तो AI संघर्ष कर सकता है।

2. "सिग्नल बनाम नॉइज़" का युद्ध

लेखक इस प्रक्रिया को समझाने के लिए "सिग्नल-टू-नॉइज़ रेशियो" (Signal-to-Noise Ratio) की अवधारणा का उपयोग करते हैं। कल्पना कीजिए कि आप एक भीड़भाड़ वाले शोर वाले कमरे में अपने दोस्त की फुसफुसाहट सुनने की कोशिश कर रहे हैं।

सिग्नल (Signal): यह किसी विषय के बारे में "सत्य" है। यदि विषय प्रशिक्षण डेटा (training data) में बहुत सामान्य है (जैसे "जलवायु परिवर्तन"), तो सिग्नल तेज और स्पष्ट है।
नॉइज़ (Noise): यह AI की सीमित स्मृति के कारण होने वाला हस्तक्षेप है। यदि AI छोटा है, तो उसका "कमरा" अन्य तथ्यों से बहुत भरा हुआ होगा, जिससे बहुत अधिक 'स्टैटिक' (शोर) पैदा होगा।
परिणाम: सत्य को सुनने के लिए (एक तथ्य को याद करने के लिए), सिग्नल (विषय कितना प्रसिद्ध है) को नॉइज़ (AI की स्मृति कितनी छोटी है) को काटने के लिए पर्याप्त तेज होना चाहिए।

3. सफलता का "S-कर्व" (S-Curve)

सबसे दिलचस्प खोज यह है कि संबंध एक सीधी रेखा नहीं है। यह एक S-आकार का वक्र (sigmoid) है। एक रैंप की कल्पना करें जिसमें एक सपाट निचला हिस्सा, एक तीव्र मध्य भाग और एक सपाट ऊपरी हिस्सा है।

सपाट निचला हिस्सा (The Floor): जब AI बहुत छोटा होता है या विषय बहुत दुर्लभ होता है, तो "नॉइज़" बहुत अधिक होता है। AI सत्य को बिल्कुल नहीं सुन पाता है। अनुमान लगाने के बजाय, वह टेम्पलेट्स (templates) बनाने लगता है। वह बार-बार कह सकता है कि "स्मिथ (1990) ने X के बारे में लिखा है", खाली जगह भरने के लिए "स्मिथ" जैसे सामान्य नामों का उपयोग करता है। वह झूठ बोलने की कोशिश नहीं कर रहा है; वह बस वास्तविक डेटा की कमी का सामना कर रहा है।
तीव्र मध्य भाग (The Ramp): जैसे-जैसे AI बड़ा होता है या विषय अधिक लोकप्रिय होता है, सिग्नल शोर को भेदना शुरू कर देता है। यहीं पर AI बहुत तेज़ी से बेहतर होता है। आकार या डेटा आवृत्ति में मामूली वृद्धि से सच्चाई में बड़ा उछाल आता है।
सपाट ऊपरी हिस्सा (The Ceiling): अंततः, AI इतना बड़ा हो जाता है और विषय इतना सामान्य हो जाता है कि वह एक सीमा तक पहुँच जाता है। वह उस विषय के बारे में लगभग सब कुछ याद कर चुका होता है। AI को और बड़ा बनाने से ज्यादा मदद नहीं मिलती क्योंकि खोजने के लिए अब और तथ्य नहीं बचे हैं।

4. "लॉन्ग टेल" (Long Tail) की समस्या

शोध पत्र एक प्रमुख असमानता को उजागर करता है। AI लोकप्रिय चीजों (वक्र के "हेड") को याद रखने में बहुत अच्छा है, लेकिन दुर्लभ चीजों (पूंछ/टेल) को याद रखने में बहुत खराब है।

उदाहरण: कल्पना कीजिए कि एक रेडियो स्टेशन लगातार 'टॉप 40' हिट गाने बजाता है। आप हमेशा हिट गानों को स्पष्ट रूप से सुनेंगे। लेकिन यदि आप उस गाने को सुनने की कोशिश करते जो 1995 में केवल एक बार बजा था, तो स्टेटिक (शोर) उसे दबा देगा।
निष्कर्ष: यहाँ तक कि परीक्षण किए गए सबसे बड़े AI मॉडल (खरबों पैरामीटर्स वाले भी) दुर्लभ विषयों को याद रखने में संघर्ष करते रहे। किसी बहुत दुर्लभ तथ्य को लोकप्रिय तथ्य की तरह याद रखने के लिए, आपको AI को परीक्षण किए गए सबसे बड़े AI से 30 गुना बड़ा बनाना होगा। यह एक बहुत बड़ा उछाल है!

5. भविष्य के लिए इसका क्या अर्थ है (शोध पत्र के अनुसार)

लेखक निष्कर्ष निकालते हैं कि "हैलुसिनेशन" (मनगढ़ंत बातें बनाना) यादृच्छिक गलतियाँ नहीं हैं। वे एक सीमित स्मृति में सूचनाओं की एक विशाल, असमान दुनिया को समाहित करने का एक अनुमानित परिणाम हैं।

यह यादृच्छिक नहीं है: यदि कोई विषय दुर्लभ है और AI छोटा है, तो वह गलतियाँ करेगा ही।
यह संरचनात्मक है: AI "झूठ" नहीं बोल रहा है; बात यह है कि उस तथ्य के लिए सिग्नल इतना कमजोर है कि वह उसकी सीमित स्मृति के शोर को पार न कर सके।
समाधान: दुर्लभ विषयों के लिए इसे ठीक करने के लिए, या तो आपको AI को बहुत बड़ा बनाना होगा (जो महंगा है) या, जैसा कि शोध पत्र सुझाव देता है, एक अलग रणनीति का उपयोग करना होगा जैसे "रिट्रीवल ऑग्मेंटेशन" (AI को अपनी स्मृति पर भरोसा करने के बजाय उत्तर खोजने के लिए एक सर्च इंजन देना)।

संक्षेप में: शोध पत्र यह सिद्ध करता है कि एक AI की सच बोलने की क्षमता वह कितना बड़ा है और विषय कितना लोकप्रिय है का एक गणितीय रूप से अनुमानित मिश्रण है। यदि विषय बहुत दुर्लभ है और AI छोटा है, तो उम्मीद करें कि वह मनगढ़ंत बातें बनाएगा। यदि विषय प्रसिद्ध है और AI विशाल है, तो वह संभवतः सही होगा।

तकनीकी सारांश: अनुमानित भ्रम (Predictable Confabulations)

समस्या विवरण
तथ्यात्मक स्मरण त्रुटियाँ, या कन्फैबुलेशन (confabulations), लार्ज लैंग्वेज मॉडल्स (LLMs) में एक महत्वपूर्ण विफलता मोड बनी हुई हैं। जबकि पूर्व शोध ने यह स्थापित किया है कि समग्र मॉडल प्रदर्शन मॉडल के आकार, डेटासेट के आकार और कंप्यूट से संबंधित स्केलिंग लॉ (scaling laws) का पालन करता है, कोई भी एकल ढांचा तथ्यात्मक स्मरण की गुणवत्ता को मॉडल के आकार और प्रशिक्षण डेटा की संरचना (विशेष रूप से, विषय आवृत्ति) दोनों से जोड़ने में सक्षम नहीं रहा है। मौजूदा कार्य मॉडल के पैमाने (scale) और ज्ञान की आवृत्ति (knowledge frequency) को स्वतंत्र चालक मानते हैं, लेकिन उनके बीच एक एकीकृत भविष्य कहनेवाला कार्यात्मक रूप (predictive functional form) का अभाव है।

कार्यप्रणाली (Methodology)
लेखकों ने 24 विद्वानों के विषयों (scholarly topics) में 38 LLMs (1B से 1.6T पैरामीटर्स तक, जिसमें डेंस, मिक्स्चर-ऑफ-एक्सपर्ट्स और क्लोज्ड-सोर्स मॉडल शामिल हैं) का मूल्यांकन किया। इन विषयों को ओपनएलेक्स (OpenAlex) विद्वान कार्य गणनाओं ( $S$ ) द्वारा मापे गए प्रशिक्षण-डेटा प्रतिनिधित्व के पांच ऑर्डर ऑफ मैग्नीट्यूड (orders of magnitude) में फैला हुआ चुना गया था।

डेटा जनरेशन: प्रत्येक मॉडल को एक मानकीकृत प्रॉम्प्ट का उपयोग करके प्रत्येक विषय के लिए 10 विद्वान संदर्भ (scholarly references) उत्पन्न करने के लिए प्रॉम्प्ट किया गया।
सत्यापन पाइपलाइन: एक स्वचालित प्रणाली, सोर्सवेरिफाई (SourceVerify), ने जेनरेट किए गए संदर्भों को ओपनएलेक्स, गूगल स्कॉलर और DOI रजिस्ट्री के विरुद्ध प्रमाणित किया। इसने क्षेत्र-स्तरीय मिलान (शीर्षक, लेखक, वर्ष, वेन्यू, पहचानकर्ता) के आधार पर एक निरंतर प्रामाणिकता स्कोर (authenticity score) प्रदान किया।
गुणवत्ता मीट्रिक: अंतिम रिकॉल गुणवत्ता को प्रामाणिकता (जो सोर्सवेरिफाई द्वारा सत्यापित है) और प्रासंगिकता (जिसे एक स्वचालित एजेंट द्वारा आंका गया और मानव रेटर्स द्वारा मान्य किया गया) के उत्पाद के रूप में परिभाषित किया गया।
सांख्यिकीय विश्लेषण: लेखकों ने डेटा को एक सिग्मॉइड फंक्शन (sigmoid function) पर फिट किया, जो मॉडल पैरामीटर काउंट ( $P$ ) और विषय प्रतिनिधित्व आवृत्ति ( $S$ ) के लॉग-लीनियर संयोजन के रूप में गुणवत्ता को मॉडल करता है:
$\text{quality} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$
जहाँ $\sigma$ एक लॉजिस्टिक फंक्शन है।

सैद्धांतिक ढांचा (Theoretical Framework)
अध्ययन एक "सुपरपोजिशन-प्रेरित" सिग्नल-टू-नॉइज़ रेशियो (SNR) मॉडल प्रस्तावित करता है।

सिग्नल (Signal): किसी अवधारणा का प्रतिनिधित्व की शक्ति उसके प्रशिक्षण डेटा में आवृत्ति ( $S$ ) के साथ स्केल होती है।
नॉइज़ (Noise): इंटरफेरेंस फ्लोर (interference floor) मॉडल क्षमता ( $P$ ) द्वारा निर्धारित होता है। सुपरपोजिशन के सिद्धांत के तहत, जहाँ मॉडल आयामों (dimensions) की तुलना में अधिक फीचर्स को एनकोड करते हैं, वहां एक अवधारणा को पुनः प्राप्त करने में अन्य ओवरलैपिंग रिप्रेजेंटेशन से होने वाला इंटरफेरेंस शामिल होता है। जैसे-जैसे मॉडल क्षमता बढ़ती है, यह इंटरफेरेंस फ्लोर कम हो जाता है।
सिग्मॉइड (The Sigmoid): रिकॉल तब होता है जब सिग्नल, नॉइज़ फ्लोर से अधिक हो जाता है। लेखक तर्क देते हैं कि रिकॉल क्वालिटी इन कारकों के लॉग-सम के सिग्मॉइड फंक्शन का अनुसरण करती है।

मुख्य परिणाम

सिग्मॉइड स्केलिंग: प्रस्तावित सिग्मॉइड मॉडल चार स्वतंत्र परिवारों (Llama, Gemma, Mistral, Qwen) के 16 डेंस मॉडल्स पर $R^2$ के 0.599 के साथ फिट बैठता है। जब व्यक्तिगत परिवारों के भीतर विश्लेषण किया जाता है, तो फिट काफी बेहतर हो जाता है ( $R^2$ का परास 0.74 से 0.94 तक)।
स्वतंत्र चालक: मॉडल का आकार ( $P$ ) और विषय की आवृत्ति ( $S$ ) दोनों स्वतंत्र रूप से रिकॉल गुणवत्ता में योगदान करते हैं। मॉडल का आकार अकेले 42.1% विचरण (variance) की व्याख्या करता है, जबकि विषय की आवृत्ति अतिरिक्त 17.8% जोड़ती है।
तीन शासन (Three Regimes): सिग्मॉइड कर्व तीन अलग-अलग परिचालन क्षेत्रों (operational regimes) को प्रकट करता है:
- फ्लोर (Floor): छोटे मॉडल या दुर्लभ विषय "टेम्प्लेटेड फैब्रिकेशन" (templated fabrication) का परिणाम देते हैं, जहाँ मॉडल विशिष्ट तथ्यों को याद करने के बजाय उच्च-आवृत्ति वाले उपनामों या जेनेरिक टेम्पलेट्स को रीसायकल करते हैं।
- रैंप (Ramp): एक लॉग-लीनियर सुधार का क्षेत्र जहाँ क्षमता या आवृत्ति बढ़ाने से रिकॉल में आनुपातिक लाभ होता है।
- सीलिंग (Ceiling): संतृप्ति (saturation) तब होती है जब क्षमता अवधारणा सूची (concept inventory) से अधिक हो जाती है, और गुणवत्ता स्थिर हो जाती है।
साइटेशन ग्रेडिएंट (Citation Gradient): बड़े मॉडल कम साइटेशन वाले संदर्भों (लॉन्ग-टेल नॉलेज) को याद करते हैं, जबकि छोटे मॉडल अत्यधिक उद्धृत (उच्च-आवृत्ति) पेपर्स तक सीमित होते हैं। यह इस परिकल्पना का समर्थन करता है कि बड़े मॉडल कमजोर सिग्नल को प्राप्त करने के लिए नॉइज़ फ्लोर को कम कर देते हैं।
फैमिली ऑफसेट्स (Family Offsets): मॉडल परिवारों के बीच व्यवस्थित ऑफसेट्स मौजूद हैं (उदाहरण के लिए, Llama मॉडल समान पैरामीटर काउंट पर Gemma और Qwen की तुलना में बेहतर प्रदर्शन करते हैं), जो यह सुझाव देते हैं कि प्रशिक्षण प्रक्रियाएं और डेटा क्यूरेशन इंटरसेप्ट ( $\gamma$ ) को बदल देते हैं बिना स्केलिंग स्लोप को बदले।

महत्व और दावे
यह शोध दावा करता है कि यह मॉडल आकार और प्रशिक्षण डेटा संरचना दोनों को शामिल करने वाला तथ्यात्मक रिकॉल के लिए पहला एकीकृत भविष्य कहनेवाला स्केलिंग लॉ प्रदान करता है। कन्फैब्यूलेशन्स को यादृच्छिक त्रुटियों के बजाय, सीमित रिप्रेसेंटेशनल क्षमता में गैर-समान रूप से वितरित ज्ञान को संकुचित करने के एक अनुमानित परिणाम के रूप में पुनर्गठित करके, लेखक विश्वसनीयता का आकलन करने के लिए एक मात्रात्मक ढांचा प्रदान करते हैं।

लेखक इस बात पर जोर देते हैं कि समग्र बेंचमार्क अक्सर व्यवस्थित असमानताओं को छिपा देते हैं; एक मॉडल उच्च-आवृत्ति वाले विषयों पर अच्छा प्रदर्शन कर सकता है जबकि लॉन्ग-टेल अवधारणाओं पर विफल हो सकता है। ढांचा बताता है कि कम-आवृत्ति वाले विषयों तक विश्वसनीय रिकॉल का विस्तार करने के लिए मॉडल क्षमता में अत्यधिक वृद्धि की आवश्यकता होती है, जबकि रिकॉल थ्रेशोल्ड के पास की अवधारणाओं के लिए डेटा क्यूरेशन और लक्षित प्री-ट्रेनिंग अधिक कुशल हो सकती है। अध्ययन निष्कर्ष निकालता है कि बहुत कम-आवृत्ति वाली अवधारणाओं के लिए, रिट्रीवल ऑग्मेंटेशन (retrieval augmentation) ही आवश्यक विकल्प बना हुआ है।

सीमाएं
लेखक कई बाधाओं का उल्लेख करते हैं: अध्ययन अवलोकन संबंधी (observational/correlational) है न कि कारण संबंधी (causal); प्रशिक्षण डेटा प्रॉक्सी ( $S$ ) अप्रत्यक्ष है; विश्लेषण अंग्रेजी और विद्वान संदर्भों तक सीमित है; और स्केलिंग पैरामीटर्स अन्य तथ्यात्मक डोमेन जैसे कॉमनसेन्स या प्रोसीजरल नॉलेज पर सामान्यीकृत नहीं हो सकते हैं।

1. सत्य के दो घटक

2. "सिग्नल बनाम नॉइज़" का युद्ध

3. सफलता का "S-कर्व" (S-Curve)

4. "लॉन्ग टेल" (Long Tail) की समस्या

5. भविष्य के लिए इसका क्या अर्थ है (शोध पत्र के अनुसार)

इसी तरह के और पेपर