🤖 machine learning

LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study

यह शोध पत्र रेडियल बेसिस फंक्शन (RBF) नेटवर्क पर आधारित एक नवीन LLM आर्किटेक्चर प्रस्तुत करता है जो मानक DNNs की तुलना में बेहतर व्याख्यात्मकता, सटीकता और दक्षता प्रदान करते हुए, बिना किसी डीप न्यूरल नेटवर्क प्रशिक्षण के, एकल क्लोज्ड-फॉर्म इटरेशन में वैश्विक अनुकूलन प्राप्त करता है।

मूल लेखक: Vincent Granville

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vincent Granville

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक "बिना-प्रशिक्षण वाला" AI (No-Training AI)

कल्पना कीजिए कि आप एक ऐसी मशीन बनाना चाहते हैं जो किसी विशिष्ट कंपनी (जैसे NVIDIA) के बारे में सवालों के जवाब दे सके।

पुराना तरीका (मानक AI): आप मशीन को अरबों पन्नों का टेक्स्ट खिलाते हैं। फिर आप उसे उदाहरण दिखाकर और उसकी गलतियों को बार-बार सुधारकर महीनों तक "सिखाने" में बिताते हैं (इसे ट्रेनिंग कहा जाता है)। यह एक कुत्ते को नया करतब सिखाने जैसा है, जहाँ उसे हजारों बार दोहराना पड़ता है जब तक कि वह अंततः उसे सही से न कर ले।
नया तरीका (इस पेपर का मॉडल): लेखक, विन्सेंट ग्रैनविले (Vincent Granville), का दावा है कि उन्होंने एक ऐसी मशीन बनाई है जिसे "सिखाने" की बिल्कुल भी आवश्यकता नहीं है। ट्रायल और एरर (गलती और सुधार) के माध्यम से सीखने के बजाय, यह डेटा को देखता है और एक ही स्टेप में सटीक उत्तर निकाल लेता है। यह कुत्ते को नक्शा और दिशा-सूचक यंत्र (compass) देने जैसा है; उसे रास्ता चलने का अभ्यास करने की आवश्यकता नहीं है क्योंकि वह तुरंत मार्ग की गणना कर सकता है।

यह कैसे काम करता है: "सुपर-इंडेक्स" बनाम "ब्लैक बॉक्स"

मानक AI मॉडल को अक्सर "ब्लैक बॉक्स" कहा जाता है क्योंकि उनके निर्माता भी पूरी तरह से नहीं समझते कि वे किसी उत्तर तक कैसे पहुँचते हैं। वे जटिल गणित पर निर्भर करते हैं जो समय के साथ धीरे-धीरे बदलता रहता है।

यह नया मॉडल व्याख्या योग्य (Explainable) है और एक विशाल, स्मार्ट लाइब्रेरी इंडेक्स की तरह काम करता है:

कोई "न्यूरॉन्स" नहीं: इसमें उन जटिल "डीप न्यूरल नेटवर्क्स" (DNNs) का उपयोग नहीं होता है जिनका उपयोग मानक AI करता है।
रेडियल बेसिस फंक्शन्स (RBF): इसे दो चीजों के बीच की निकटता मापने के तरीके के रूप में समझें। यदि आप कोई प्रश्न पूछते हैं, तो मॉडल अपने टेक्स्ट के पुस्तकालय को देखता है और उन सटीक वाक्यांशों को खोजता है जो आपके प्रश्न के सबसे "करीब" हैं।
वन-शॉट कैलकुलेशन: अनुमान लगाने और सुधारने के बजाय, यह गणित गारंटी देता है कि यदि उत्तर लाइब्रेरी में मौजूद है, तो मॉडल उसे पूरी तरह से ढूंढ लेगा। यह पहेली को एक ही बार में हल कर देता है।

"बेनाइन ओवरफिटिंग" (Benign Overfitting) का जादू

मानक AI में, "ओवरफिटिंग" एक बुरी चीज़ है। यह उस छात्र की तरह है जो पाठ्यपुस्तक को शब्द-दर-शब्द रट लेता है लेकिन परीक्षा में फेल हो जाता है क्योंकि प्रश्न थोड़े अलग होते हैं।

लेखक का दावा है कि उनका मॉडल "बेनाइन ओवरफिटिंग" नामक कार्य करता है।

उपमा (Analogy): एक मौसम मानचित्र की कल्पना करें। मानक मॉडल शहरों के बीच में चिकनी, धुंधली रेखाएं खींच सकते हैं, जिससे वे बीच के तापमान का अनुमान लगाते हैं। यह मॉडल एक ऐसा मानचित्र बनाता है जो हर उस शहर के सटीक तापमान को छूता है जिसे वह जानता है (पूर्ण सटीकता)।
ट्विस्ट: भले ही यह ज्ञात शहरों को पूरी तरह से "रट" रहा है, फिर भी यह ग्रामीण इलाकों के बीच के तापमान का अनुमान लगाने में आश्चर्यजनक रूप से अच्छा है (नया डेटा)। लेखक का दावा है कि यह तब भी काम करता है जब डेटा शोर भरा या अस्त-व्यस्त हो, जो एक फिल्टर की तरह सिग्नल को साफ करता है।

केस स्टडी: NVIDIA टेस्ट

लेखक ने इसका परीक्षण NVIDIA (एक टेक कंपनी) के वास्तविक दुनिया के डेटासेट पर किया।

कार्य: वाक्य में अगले शब्द की भविष्यवाणी करना या संबंधित व्यावसायिक वाक्यांशों को खोजना।
परिणाम: मॉडल ने उस डेटा पर 96% उत्तर सही दिए जिसे उसने पहले कभी नहीं देखा था।
तुलना: लेखक का दावा है कि मानक AI मॉडल आमतौर पर इसी तरह के विशिष्ट कार्यों पर केवल 30% से 55% तक ही सही उत्तर दे पाते हैं।
दक्षता (Efficiency): जबकि मानक मॉडलों को काम करने के लिए अरबों "पैरामीटर्स" (आंतरिक सेटिंग्स) की आवश्यकता हो सकती है, इस मॉडल को दस लाख से भी कम की आवश्यकता थी। यह किसी विशिष्ट गणितीय समस्या को हल करने के लिए सुपरकंप्यूटर के बजाय पॉकेट कैलकुलेटर का उपयोग करने जैसा है।

पेपर में उल्लेखित प्रमुख विशेषताएं

डिटरमिनिस्टिक (दोहराने योग्य): यदि आप एक ही प्रश्न दो बार पूछते हैं, तो आपको हर बार बिल्कुल वही उत्तर मिलेगा। मानक AI अक्सर हर बार थोड़ा अलग उत्तर देता है (जैसे पासा फेंकना)। यह मॉडल एक घड़ी की तरह है; यह सटीक और पूर्वानुमानित है।
कोई "ट्रेनिंग" चरण नहीं: आपको मॉडल को "ट्रेन" करने के लिए हफ्तों या महीनों बिताने की आवश्यकता नहीं है। आप बस डेटा फीड करते हैं, और यह तुरंत उपयोग के लिए तैयार है।
विशेषज्ञ फोकस: यह कविता लिखने या सामान्य गणित समस्याओं को हल करने के लिए डिज़ाइन नहीं किया गया है। यह स्पेशलाइज्ड स्मॉल लैंग्वेज मॉडल्स (SLMs) के लिए बनाया गया है। इसे एक विशेषज्ञ डॉक्टर के रूप में समझें जो एक विशिष्ट बीमारी के बारे में सब कुछ जानता है, न कि एक जनरल प्रैक्टिशनर के रूप में जो सब कुछ के बारे में थोड़ा-थोड़ा जानता है।
थ्री-वे ट्यूनिंग (Three-Way Tuning): चूंकि मॉडल पहले से ही अपने ज्ञात डेटा पर 100% सटीक है, इसलिए आप इसे सुधारने के लिए मानक "टेस्ट" विधि का उपयोग नहीं कर सकते। इसके बजाय, लेखक सेटिंग्स को बदलने के लिए एक विशेष "मिडल स्टेप" (ऑप्टिमाइजेशन सेट) का उपयोग करते हैं, जो बिल्कुल वैसा ही है जैसे एक शेफ खाना परोसने का इंतज़ार करने के बजाय खाना बनाते समय सॉस को चखता है।

यह क्या नहीं है (पेपर के आधार पर)

यह एक सामान्य AI नहीं है जो कोड लिख सके या इंटरनेट पर किसी भी विषय पर चैट कर सके। यह विशिष्ट कॉर्पोरेट दस्तावेजों पर केंद्रित है।
यह लंबी कहानियों को पढ़ने के लिए "अटेंशन" मैकेनिज्म (मानक AI के जटिल स्तर) का उपयोग नहीं करता है। यह सही व्यावसायिक उत्तर खोजने के लिए छोटे, विशिष्ट खंडों (मल्टी-टोकन्स) पर ध्यान केंद्रित करता है।
पेपर यह दावा नहीं करता है कि यह चिकित्सा निदान, क्लिनिकल ट्रायल, या रियल-टाइम इमेज रिकग्निशन के लिए काम करता है; यह एक विशिष्ट व्यावसायिक संदर्भ के भीतर टेक्स्ट प्रेडिक्शन और संख्यात्मक डेटा पर केंद्रित है।

सारांश

पेपर का तर्क है कि हमें विशिष्ट व्यावसायिक कार्यों के लिए शक्तिशाली AI बनाने के लिए विशाल, महंगे, "ब्लैक बॉक्स" न्यूरल नेटवर्क की आवश्यकता नहीं है। रेडियल बेसिस फंक्शन्स नामक गणितीय दृष्टिकोण का उपयोग करके, हम एक ऐसा सिस्टम बना सकते हैं जो तेज़, सस्ता, ज्ञात डेटा पर पूरी तरह से सटीक और नए डेटा का अनुमान लगाने में आश्चर्यजनक रूप से सक्षम है—और यह सब बिना उस थकाऊ "ट्रेनिंग" प्रक्रिया के, जिसकी मानक AI को आवश्यकता होती है।

तकनीकी सारांश: बिना डीप न्यूरल नेटवर्क के LLMs

समस्या विवरण

यह शोध पत्र मानक लार्ज लैंग्वेज मॉडल्स (LLMs) की सीमाओं को संबोधित करता है जो डीप न्यूरल नेटवर्क (DNNs) पर आधारित हैं, विशेष रूप से "ब्लैक बॉक्स" मापदंडों (parameters) पर उनकी निर्भरता, ग्रेडिएंट डिसेंट के माध्यम से प्रशिक्षण की कम्प्यूटेशनल लागत, और व्याख्यात्मकता (explainability) का अभाव। जबकि हालिया शोध ने रेडियल बेसिस फंक्शन (RBF) नेटवर्क को विकल्पों के रूप में तलाशने के लिए अन्वेषण किया है, कई मौजूदा कार्यान्वयन अभी भी वेट्स (weights) को अनुकूलित करने के लिए DNNs पर निर्भर करते हैं या पुनरावृत्ति प्रशिक्षण (iterative training) की आवश्यकता रखते हैं। लेखक एक ऐसे आर्किटेक्चर की आवश्यकता पर बल देता है जो जनरिक्स, इंटरनेट-स्केल मॉडल के बजाय विशिष्ट, डोमेन-विशिष्ट अनुप्रयोगों (स्मॉल लैंग्वेज मॉडल्स या SLMs) के लिए उच्च सटीकता और व्याख्यात्मकता प्राप्त कर सके, और इसमें एपोक (epochs) और ग्रेडिएंट डिसेंट के "थकाऊ प्रशिक्षण चरण" की आवश्यकता न हो।

कार्यप्रणाली (Methodology)

प्रस्तावित आर्किटेक्चर एक मानक सटीक RBF इंटरपोलेटर (interpolator) है जो एक क्लोज्ड-फॉर्म समाधान के रूप में कार्य करता है, जिससे DNNs की आवश्यकता पूरी तरह समाप्त हो जाती है।

मुख्य गणितीय सूत्र (Core Mathematical Formulation)

मॉडल प्रशिक्षण नोड्स $\beta_k$ पर ज्ञात मानों का एक भारित योग (weighted sum) उपयोग करके $f(x)$ का अनुमान लगाता है:
$f_{pred}(x) = \sum_{k=1}^{n} \omega_k(x) f(\beta_k) \exp[-\tau K(x, \beta_k)]$

मुख्य तकनीकी विभेदक निम्नलिखित हैं:

क्लोज्ड-फॉर्म वेट्स (Closed-Form Weights): वेट्स $\omega_k(x)$ सामान्यीकृत (summing to 1) होते हैं और इनपुट $x$ तथा कर्नेल $K$ पर निर्भर करते हैं। DNNs के विपरीत, ये बैकप्रोपैगेशन के माध्यम से सीखे नहीं जाते, बल्कि गणितीय रूप से व्युत्पन्न किए जाते हैं।
सटीक इंटरपोलेशन (Exact Interpolation): $\tau \to \infty$ सेट करके, मॉडल प्रशिक्षण सेट पर सटीक भविष्यवाणियां (exact predictions) प्राप्त करता है ( $f_{pred}(\beta_k) = f(\beta_k)$ ), चाहे अन्य पैरामीटर कुछ भी हों। यह थ्योरम 2.1 पर आधारित है, जो संख्यात्मक और टेक्स्ट डेटा दोनों के लिए पॉइंटवाइज कन्वर्जेंस (pointwise convergence) को सिद्ध करता है।
टेक्स्ट के लिए कर्नेल अनुकूलन (Kernel Adaptation for Text):
- संख्यात्मक डेटा के लिए, एक मल्टीवेरिएट गौसियन कर्नेल का उपयोग किया जाता है।
- टेक्स्ट डेटा के लिए, कर्नेल $K(x, \beta_k)$ टेक्स्ट सेगमेंट के बीच एक एसोसिएशन मेजर (जैसे, एन्हांस्ड PMI) का उपयोग करता है। इनपुट $x$ (प्रॉम्ट) और $\beta_k$ (कॉर्पस) को स्टैंडर्ड वेक्टर एम्बेडिंग्स के बजाय मल्टी-टोकन्स (स्टेम्ड शब्द या संक्षिप्त नाम) के अनुक्रम के रूप में माना जाता है।
- मॉडल एक भारित योग (weighted sum) का उपयोग करता है जहाँ पैरामीटर्स $\theta_j$ टोकन अनुक्रम में विशिष्ट स्थितियों को महत्व प्रदान करते हैं, जो प्रभावी रूप से एक अटेंशन मैकेनिज्म (attention mechanism) को लागू करता है।

कार्यान्वयन विशेषताएं (Implementation Features)

कोई प्रशिक्षण चरण नहीं (No Training Phase): मॉडल के लिए किसी पुनरावृत्ति प्रशिक्षण लूप (iterative training loop) की आवश्यकता नहीं होती है। यह एक "थ्री-वे" विभाजन पर निर्भर करता है: एक प्रशिक्षण सेट (सटीक मिलान के लिए), एक ऑप्टिमाइजेशन सेट (हाइपरपैरामीटर्स जैसे $\tau$ और $\gamma$ को ट्यून करने के लिए), और एक वैलिडेशन सेट।
बेनाइन ओवरफिटिंग (Benign Overfitting): मॉडल प्रशिक्षण डेटा पर 100% सटीक है (परिभाषा के अनुसार ओवरफिटिंग) फिर भी यह अनदेखे डेटा पर अच्छा सामान्यीकरण (generalize) करता है। लेखक इसका श्रेय इस बात को देता है कि मॉडल एक हाई-पास फिल्टर या डिब्लरिंग मैकेनिज्म के रूप में कार्य करता है, जो क्रिगिंग (kriging) के समान है (2D स्पेशियल इंटरपोलेशन में), जो मानक स्मूथिंग मॉडल्स की तुलना में स्थानीय विविधताओं को बेहतर ढंग से संरक्षित करता है।
दक्षता तंत्र (Efficiency Mechanisms):
- ऑटो-डिस्टिलेशन (Auto-Distillation): सिस्टम उस समेशन (summation) में उन शब्दों को पहचान कर हटा देता है जहाँ इनपुट $x$ और नोड $\beta_k$ कभी भी निकटतम पड़ोसी नहीं होते, जिससे कम्प्यूटेशनल लोड काफी कम हो जाता है।
- हैशिंग बनाम वेक्टर्स (Hashing vs. Vectors): उच्च-आयामी फ्लोटिंग-पॉइंट एम्बेडिंग्स के बजाय, सिस्टम टेक्स्ट स्ट्रिंग्स के लिए नेस्टेड हैश का उपयोग करता है, जिससे मेमोरी ओवरहेड कम हो जाता है।
- नियतिवाद (Determinism): मॉडल पूरी तरह से डिटर्मिनिस्टिक और रिप्लिकेबल है, जो नियंत्रित रैंडमनेस (टेम्परेचर) के लिए कस्टम NPG रैंडम जेनरेटर का उपयोग करता है, जिससे मानक PRNGs की अनिश्चितता से बचा जा सके।

मुख्य योगदान (Key Contributions)

DNN-मुक्त आर्किटेक्चर: पेपर का दावा है कि यह वेट गणना के लिए DNNs का उपयोग करने वाले RBF-आधारित LLM का पहला कार्यान्वयन है, जो एक ही इटरेशन में ग्लोबल ऑप्टिमा प्राप्त करता है।
सटीक प्रशिक्षण सेट प्रदर्शन: थ्योरम 2.1 और अनुभवजन्य प्रदर्शन द्वारा सिद्ध किया गया है कि मॉडल पुनरावृत्ति अनुकूलन के बिना प्रशिक्षण डेटा पर 100% सटीकता प्राप्त करता है।
विशेषीकृत SLM दक्षता: मॉडल को विशेष कॉर्पोरेट कॉर्पस के लिए डिज़ाइन किया गया है, जो जेनेरिक LLMs के अरबों पैरामीटर्स की तुलना में 1 मिलियन से कम पैरामीटर्स (विशेष रूप से केस स्टडी में ~15,000 अद्वितीय मल्टी-टोकन) का उपयोग करता है, जिससे लगभग 10,000x की दक्षता वृद्धि प्राप्त होती है।
व्याख्यात्मकता (Explainability): DNNs के विपरीत, इसके पैरामीटर्स (लोकेशंस और स्केल्स) व्याख्या योग्य हैं, और भविष्यवाणी तंत्र पारदर्शी है, जो निकटतम-पड़ोसी तर्क (nearest-neighbor logic) और स्पष्ट कर्नेल फंक्शन पर निर्भर करता है।

परिणाम (Results)

पेपर दो प्राथमिक केस स्टडी प्रस्तुत करता है:

संख्यात्मक सिंथेटिक डेटा (Numerical Synthetic Data):
- सेटअप: $n=10^4$ ऑब्जर्वेशन के साथ एक ट्रेनिंग सेट जिसमें $m=10^3$ डाइमेंशन थे, जिसे महत्वपूर्ण शोर (noise) के साथ दूषित किया गया था। टेस्टिंग के लिए 70% ट्रेनिंग डेटा को हटा दिया गया था।
- परिणाम: हालांकि शोर वाले ट्रेनिंग डेटा पर R-squared घटकर 50% रह गया, लेकिन मॉडल ने शोर-मुक्त वैलिडेशन सेट पर 97% सटीकता दर प्राप्त की, जो उच्च आयामों में मजबूत सिग्नल रिकवरी का प्रदर्शन करता है।
NVIDIA टेक्स्ट कॉर्पस (LLM टास्क):
- सेटअप: $n=15,000$ अद्वितीय मल्टी-टोकन के आकार $m=4$ के साथ NVIDIA दस्तावेजों का एक कॉर्पस। कार्यों में नेक्स्ट-टोकन प्रेडिक्शन और संबंधित मल्टी-टोकन खोजना शामिल था।
- परिणाम:
  - नेक्स्ट-टोकन प्रेडिक्शन: ट्रेनिंग सेट के बाहर 96% सही भविष्यवाणी दर प्राप्त की, जो समान विशेष कार्यों पर मानक ट्रांसफार्मर-आधारित मॉडल्स द्वारा दर्ज 30-55% की रेंज से काफी बेहतर है।
  - स्पर्सिटी (Sparsity): विश्लेषण से पता चला कि 9,000 क्वेरीज़ के लिए, प्रति क्वेरी 20 से कम नोड्स (15,000 में से) ट्रिगर हुए, जो कम्प्यूटेशनल जटिलता को कम करने के लिए ऑटो-डिस्टिलेशन की क्षमता को प्रमाणित करता है।
  - प्रासंगिकता (Relevance): जिन मामलों में सटीक अगला टोकन प्रेडिक्ट नहीं हुआ, वहां मॉडल के वैकल्पिक सुझाव भी सिमेंटिक रूप से प्रासंगिक थे (जैसे, वित्तीय संदर्भ में "2021" के बजाय "2022" प्रेडिक्ट करना)।

महत्व और दावे (Significance and Claims)

पेपर इस आर्किटेक्चर को वर्तमान DNN-प्रधान प्रतिमान (paradigm) के एक प्रमाणित विकल्प के रूप में प्रस्तुत करता है, विशेष रूप से स्मॉल लैंग्वेज मॉडल्स (SLMs) के लिए जो जेनेरिक निबंध लेखन के बजाय संरचित, डोमेन-विशिष्ट उत्तरों पर केंद्रित हैं।

दक्षता: लेखक का दावा है कि यह विधि महंगे ट्रेनिंग एपोक्स की आवश्यकता को समाप्त करती है और विशेष डोमेन में सटीकता बनाए रखते हुए या उससे अधिक होते हुए, पैरामीटर काउंट को कई गुना कम कर देती है।
विश्वसनीयता: मॉडल डिटर्मिनिस्टिक AI प्रदान करता है जो पूर्ण रिप्लिकेबिलिटी सुनिश्चित करता है, जो मानक LLMs की स्टोकेस्टिक प्रकृति से जुड़ी चिंताओं को दूर करता है।
अनुसंधान का अभिसरण (Convergence of Research): लेखक नोट करते हैं कि चीनी शोधकर्ताओं ने हाल ही में स्वतंत्र रूप से समान RBF नेटवर्क अवधारणाओं की खोज की है, जो इस दृष्टिकोण को मान्य करती है, हालांकि उनका विशिष्ट कार्यान्वयन वेट गणना के लिए DNNs को पूरी तरह से बाहर करने के मामले में अद्वितीय है।
भविष्य का दायरा: दावा किया गया है कि यह कार्यप्रणाली इमेज क्लासिफिकेशन, टाइम-सीरीज एनालिसिस और नेक्स्ट-टोकन प्रेडिक्शन से परे कार्यों, जैसे सिनोनिम (पर्यायवाची) खोजने और क्वेरी सुझाव के लिए भी लागू की जा सकती है।

पेपर निष्कर्ष निकालता है कि सटीक इंटरपोलेशन और विशेषीकृत कॉर्पस का लाभ उठाकर, स्टैंडर्ड ट्रांसफॉर्मर्स के "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) और कम्प्यूटेशनल बाधाओं को बायपास करना संभव है, जो बिजनेस इंटेलिजेंस और विशेष AI अनुप्रयोगों के लिए एक तेज़, अधिक व्याख्या योग्य और अत्यधिक सटीक विकल्प प्रदान करता है।