🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

यह शोध पत्र "फिजिकल फाउंडेशन मॉडल्स" (PFMs) का प्रस्ताव करता है, जो एक ऐसा प्रतिमान (पैराडाइम) है जहाँ बड़े पैमाने के न्यूरल नेटवर्क को ट्रिलियन-स्केल एआई मॉडल के लिए अभूतपूर्व ऊर्जा दक्षता, गति और पैरामीटर घनत्व प्राप्त करने के लिए प्राकृतिक भौतिक गतिकी का लाभ उठाते हुए सीधे फिक्स्ड हार्डवेयर कार्यान्वयन के रूप में साकार किया जाता है।

मूल लेखक: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

प्रकाशित 2026-05-01

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक स्विस आर्मी नाइफ से एक कस्टम टूल तक

कल्पना कीजिए कि आपके पास एक स्विस आर्मी नाइफ (Swiss Army Knife) है। यह अविश्वसनीय रूप से बहुमुखी है; यह काट सकता है, पेंच कस सकता है, बोतलें खोल सकता है और आरी चला सकता है। लेकिन क्योंकि इसे सब कुछ करना पड़ता है, इसलिए यह किसी भी एक विशेष कार्य के लिए सबसे उत्तम नहीं है। यह भारी भी है और आपकी जेब में काफी जगह भी घेरता है।

वर्तमान AI मॉडल (जैसे कि ChatGPT या Gemini को चलाने वाले मॉडल) उसी स्विस आर्मी नाइफ की तरह हैं। वे विशाल, सामान्य-उद्देश्य वाले "फाउंडेशन मॉडल्स" हैं जिन्हें लगभग कुछ भी करने के लिए प्रशिक्षित किया गया है। उन्हें चलाने के लिए, हम शक्तिशाली, प्रोग्राम करने योग्य कंप्यूटर चिप्स (GPUs) का उपयोग करते हैं जो औजारों से भरी एक वर्कशॉप की तरह काम करते हैं। ये चिप्स लचीले तो हैं, लेकिन वे ऊर्जा-प्यास भी हैं और धीमे भी, क्योंकि उन्हें लगातार निर्देशों और डेटा को लाने-ले जाने के लिए संघर्ष करना पड़ता है, जैसे कोई शेफ फ्रिज और चूल्हे के बीच बार-बार दौड़ रहा हो।

लेखक एक क्रांतिकारी नए विचार का प्रस्ताव करते हैं: एक लचीली वर्कशॉप बनाने के बजाय, क्यों न हर विशिष्ट AI मॉडल के लिए एक कस्टम-मेड, एकल-उद्देश्य वाली मशीन बनाई जाए?

वे इन्हें फिजिकल फाउंडेशन मॉडल्स (Physical Foundation Models - PFMs) कहते हैं।

उपमा: "जमी हुई" मूर्ति (The "Frozen" Sculpture)

एक मानक कंप्यूटर चिप के बारे में सोचें जो मिट्टी की मूर्ति की तरह है। आप इसे जब चाहें ढाल सकते हैं, नया आकार दे सकते हैं और बदल सकते हैं। यह लचीलेपन के लिए तो बहुत अच्छा है, लेकिन जब भी आप कुछ नया करना चाहते हैं, तो इसे नया आकार देने में समय और प्रयास लगता है।

लेखक सुझाव देते हैं कि हम मिट्टी का उपयोग करना बंद कर दें और जमे हुए कांच (frozen glass) का उपयोग करना शुरू करें।

पुराना तरीका: हम सॉफ्टवेयर में एक AI मॉडल को प्रशिक्षित करते हैं, और फिर एक ऐसी चिप बनाने की कोशिश करते हैं जो उस मॉडल का अनुकरण (simulate) कर सके। चिप को उस मॉडल की तरह व्यवहार करने के लिए प्रोग्राम किया जाना पड़ता है।
नया तरीका (PFM): हम अंतिम, प्रशिक्षित AI मॉडल को लेते हैं और चिप बनने से पहले ही उसे सीधे हार्डवेयर में ही तराश (carve) देते हैं। AI का "दिमाग" निर्देशों का एक सेट नहीं है; बल्कि वह सामग्री का भौतिक आकार है।

एक बार जब चिप का निर्माण हो जाता है, तो AI उस डिवाइस के भौतिक विज्ञान (physics) में "हार्ड-वायर्ड" हो जाता है। आप मॉडल को बदले बिना उसे नया रूप नहीं दे सकते। लेकिन चूंकि मॉडल ही हार्डवेयर है, इसलिए इसे "सोचने" या डेटा "खोजने" की आवश्यकता नहीं होती है। यह बस इनपुट को अपने अंदर से बहने देता है, और पदार्थ का भौतिक विज्ञान स्वाभाविक रूप से उत्तर उत्पन्न करता है।

यह कैसे काम करता है: लाइट पाइप (The Light Pipe)

यह पेपर प्रकाश (light) को एक प्राथमिक उदाहरण के रूप में उपयोग करता है। एक लंबे, स्पष्ट ट्यूब की कल्पना करें जो विशेष कांच से बनी है।

इनपुट (The Input): आप ट्यूब के एक छोर पर प्रकाश का एक पैटर्न चमकाते हैं।
"दिमाग" (The "Brain"): ट्यूब के अंदर, कांच चिकना नहीं है। इसमें सूक्ष्म, नैनो-स्केल की ऊबड़-खाबड़ संरचनाएं और घुमाव हैं जिन्हें ठीक उसी तरह तराशा गया है जैसा कि एक विशिष्ट AI मॉडल होता है।
प्रक्रिया (The Process): जैसे ही प्रकाश ट्यूब के माध्यम से यात्रा करता है, वह उन सूक्ष्म उभारों के आधार पर टकराता है, मुड़ता है और खुद के साथ हस्तक्षेप (interfere) करता है। यह कंप्यूटर द्वारा नंबरों की गणना करना नहीं है; यह प्रकाश का वह काम करना है जो प्रकाश स्वाभाविक रूप से करता है।
आउटपुट (The Output): जब प्रकाश दूसरे छोर पर पहुंचता है, तो पैटर्न बदल चुका होता है। वह नया पैटर्न ही आपके प्रश्न का उत्तर है।

चूंकि प्रकाश की गति से गणना होती है और "कंप्यूटेशन" केवल सामग्री के माध्यम से प्रकाश की भौतिक गति है, इसलिए यह प्रक्रिया अविश्वसनीय रूप से तेज है और एक डिजिटल कंप्यूटर की तुलना में बहुत कम बिजली का उपयोग करती है।

ऐसा क्यों करें? (तीन बड़ी जीत)

लेखकों का तर्क है कि यदि हम ये "जमी हुई" मशीनें बना सकते हैं, तो हमें तीन बड़े लाभ मिलेंगे:

ऊर्जा दक्षता (Energy Efficiency): एक डिजिटल कंप्यूटर एक ऐसे व्यक्ति की तरह है जो किताब पढ़ने, नोट लिखने और वापस आने के लिए बार-बार लाइब्रेरी की ओर दौड़ता है। एक PFM उस किताब के सीधे आपके सामने दीवार पर छपे होने जैसा है। आप बस उसे देखते हैं। इससे ऊर्जा की भारी बचत होती है।
गति (Speed): चूंकि "कंप्यूटेशन" केवल सामग्री के माध्यम से प्रकाश या इलेक्ट्रॉनों की भौतिक गति है, इसलिए यह लगभग तुरंत होता है, जो केवल सिग्नल की गति पर निर्भर करता है, न कि प्रोसेसर की गति पर।
आकार और पैमाना (Size and Scale): डिजिटल कंप्यूटरों को डेटा स्टोर करने और उसे इधर-उधर ले जाने के लिए बहुत अधिक स्थान की आवश्यकता होती है। PFMs बहुत कम स्थान में भारी मात्रा में "बौद्धिक शक्ति" (brainpower) को समाहित कर सकते हैं क्योंकि डेटा सामग्री की 3D संरचना में संग्रहीत होता है।

"हमेशा के लिए" वाली समस्या (The "Forever" Problem)

एक कमी है, जिसे पेपर खुले तौर पर स्वीकार करता है। चूंकि ये मशीनें हार्डवेयर में "जमी हुई" हैं, इसलिए ये नई चीजें नहीं सीख सकतीं।

यदि आप AI को कल हुई किसी नई घटना के बारे में जानने के लिए अपडेट करना चाहते हैं, तो आप केवल एक सॉफ्टवेयर अपडेट डाउनलोड नहीं कर सकते। आपको पुराने कांच के ट्यूब को फेंकना होगा और नए डिजाइन को तराशकर एक बिल्कुल नया ट्यूब बनाना होगा।

लेखक सुझाव देते हैं कि यह वास्तव में ठीक है क्योंकि:

फाउंडेशन मॉडल्स (जैसे GPT-5 या Llama 4) साल में केवल एक बार या उसके आसपास अपडेट किए जाते हैं।
हम ऐसी फैक्ट्रियां बना सकते हैं जो इन "AI ट्यूबों" को एक वार्षिक कार्यक्रम पर तैयार करती हैं, ठीक वैसे ही जैसे हम नए फोन मॉडल रिलीज करते हैं।
जिन विशिष्ट कार्यों के लिए उन्हें बनाया गया है, उनके लिए वे आज हमारे पास मौजूद किसी भी चीज़ की तुलना में कहीं अधिक श्रेष्ठ होंगे।

भविष्य की दृष्टि

पेपर एक ऐसे भविष्य की कल्पना करता है जहाँ:

डेटा सेंटर्स पूरी दुनिया के लिए AI चलाने के लिए इन विशाल, निश्चित हार्डवेयर ट्यूबों का उपयोग करेंगे, जिससे वर्तमान बिजली की तुलना में बहुत कम बिजली खर्च होगी।
एज डिवाइसेस (Edge Devices) (जैसे आपका फोन, रोबोट, या कार) में अपना स्वयं का छोटा, कस्टम AI ट्यूब बना हुआ हो सकता है, जिससे वे इंटरनेट से जुड़े बिना भी अविश्वसनीय रूप से स्मार्ट हो सकेंगे।
विशाल मॉडल: हम ट्रिलियन या даже क्वाड्रिलियन (quadrillions) पैरामीटर्स (कनेक्शन) वाले AI मॉडल बना पाएंगे, जिन्हें वर्तमान डिजिटल कंप्यूटरों पर चलाना असंभव है क्योंकि उनके लिए बहुत अधिक बिजली और मेमोरी की आवश्यकता होगी।

सारांश

यह पेपर प्रोग्राम करने योग्य कंप्यूटरों (लचीले लेकिन अक्षम) से भौतिक मशीनों (कठोर लेकिन अविश्वसनीय रूप से कुशल) की ओर एक बदलाव का प्रस्ताव करता है। कांच या सिलिकॉन जैसी सामग्रियों के भौतिक विज्ञान में AI को सीधे तराश कर, हम ऐसे "फिजिकल फाउंडेशन मॉडल्स" बना सकते हैं जो आज के किसी भी सिस्टम की तुलना में तेज़, छोटे और कम ऊर्जा का उपयोग करने वाले होंगे, जो हमें उस पैमाने के AI सिस्टम बनाने की क्षमता प्रदान कर सकते जिसकी हम अभी कल्पना भी नहीं कर सकते।

यहाँ राइट एट अल. के शोध पत्र "फिजिकल फाउंडेशन मॉडल्स: लार्ज-स्केल न्यूरल नेटवर्क्स के फिक्स्ड हार्डवेयर इम्प्लीमेंटेशन" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े पैमाने के एआई फाउंडेशन मॉडल्स (जैसे GPT-4, Gemini, Llama 4) को प्रशिक्षित करने और तैनात करने से जुड़ी बढ़ती कम्प्यूटेशनल, ऊर्जा और पूंजीगत लागतों को संबोधित करता है।

ऊर्जा और लागत संकट: वर्तमान डेटासेंटर एआई वर्कलोड लगभग 44 GW बिजली की खपत करते हैं, जिसके 2030 तक 150 GW से अधिक होने का अनुमान है, जबकि पूंजीगत लागत 5 ट्रिलियन डॉलर से अधिक है।
वॉन न्यूमैन बॉटलनेक (The Von Neumann Bottleneck): पारंपरिक डिजिटल आर्किटेक्चर मेमोरी और प्रोसेसिंग को अलग करते हैं, जिससे डेटा मूवमेंट (वेट्स और एक्टिवेशन्स को ले जाने) के कारण भारी ऊर्जा और लेटेंसी दंड (penalties) लगता है।
स्केलेबिलिटी सीमाएँ: वर्तमान डिजिटल हार्डवेयर $10^{12}$ पैरामीटर्स से काफी बड़े मॉडल्स को सपोर्ट करने में संघर्ष करता है। एक काल्पनिक $10^{18}$ -पैरामीटर मॉडल के लिए एक्साबाइट्स (exabytes) मेमोरी की आवश्यकता होगी और वर्तमान मेमोरी बैंडविड्थ के माध्यम से इसे पढ़ने में दशकों लग जाएंगे, जिससे अलग मेमोरी आर्किटेक्चर पर इन्फरेंस (inference) करना अव्यवहारिक हो जाता है।
एज बाधाएं (Edge Constraints): उच्च ऊर्जा मांग पावर-कंस्ट्रेंड एज डिवाइसेज (रोबोट, सेंसर, मोबाइल) पर बड़े फाउंडेशन मॉडल्स को तैनात करने से रोकती है।

2. कार्यप्रणाली और मुख्य अवधारणा (Methodology and Core Concept)

लेखक फिजिकल फाउंडेशन मॉडल्स (PFMs) का प्रस्ताव करते हैं, जो एआई हार्डवेयर कार्यान्वयन का एक क्रांतिकारी पुनर्विचार है।

परिभाषा: PFMs निश्चित, एकल-उद्देश्य वाले हार्डवेयर डिवाइस हैं जहाँ न्यूरल नेटवर्क आर्किटेक्चर और पैरामीटर्स को निर्माण के समय सीधे भौतिक पदार्थ (जैसे नैनोस्ट्रक्चर्ड ग्लास, सेमीकंडक्टर्स) में "हार्ड-वायर्ड" किया जाता है।
मुख्य अंतर: प्रोग्रामेबल डिजिटल चिप्स (GPUs) या यहाँ तक कि फिक्स्ड-वेट डिजिटल ASICs (जैसे तालास का HC1) के विपरीत, PFMs गणितीय ऑपरेशंस को डिजिटल लॉजिक के माध्यम से सिम्युलेट करने के बजाय हार्डवेयर की प्राकृतिक भौतिक गतिशीलता (जैसे प्रकाश का प्रसार, इलेक्ट्रॉन प्रवाह) का उपयोग करके गणना करते हैं।
दर्शन: यह दृष्टिकोण फेनमैन के "प्लेंटी ऑफ रूम एट द बॉटम" (नैनोस्केल फैब्रिकेशन) को लीसेरसन के "प्लेंटी ऑफ रूम एट द टॉप" (एब्स्ट्रैक्शन लेयर्स को हटाना) के साथ जोड़ता है। यह हार्डवेयर को ही सॉफ्टवेयर मानता है, और भौतिक प्रणाली को सीधे इन्फरेंस कार्य के लिए अनुकूलित करता है।
समझौता (Trade-off): PFMs पैरामीटर घनत्व, ऊर्जा दक्षता और गति में भारी लाभ प्राप्त करने के लिए प्रोग्रामेबिलिटी (निर्माण के बाद वेट्स को अपडेट करने की क्षमता) का त्याग करते हैं। उन्हें नए फाउंडेशन मॉडल्स के रिलीज चक्र से मेल खाने के लिए लगभग 1-वर्ष के कैडेंस पर निर्मित करने के लिए डिज़ाइन किया गया है।

3. मुख्य योगदान (Key Contributions)

वैचारिक ढांचा (Conceptual Framework): PFM प्रतिमान (paradigm) का परिचय, यह तर्क देते हुए कि फाउंडेशन मॉडल्स (जो प्रशिक्षण के बाद स्थिर होते हैं) के लिए, फिक्स्ड हार्डवेयर इष्टतम समाधान है।
बैक-ऑफ-द-एनवेलप कैलकुलेशन: लेखक एक विशिष्ट ऑप्टिकल PFM (एक 3D नैनोस्ट्रक्चर्ड ग्लास मीडियम) के लिए स्केलिंग विश्लेषण करते हैं और इसकी तुलना अत्याधुनिक डिजिटल GPUs (जैसे NVIDIA B200 क्लास) से करते हैं।
प्लेटफॉर्म अन्वेषण: ऑप्टिक्स के अलावा अन्य संभावित वास्तविकताओं पर चर्चा, जिसमें नैनो-इलेक्ट्रॉनिक्स (क्रॉसबार एरेज़, इनवर्स-डिज़ाइन किए गए रेसिस्टिव वायर्स, सेमीकंडक्टर्स) और मैकेनिक्स शामिल हैं।
अनुसंधान रोडमैप: PFMs को साकार करने के लिए आवश्यक महत्वपूर्ण चुनौतियों की पहचान, जिसमें बड़े पैमाने पर फिजिकल इनवर्स डिज़ाइन, फिक्स्ड हार्डवेयर के लिए ट्रेनिंग रणनीतियाँ, और फैब्रिकेशन वेरिएबिलिटी को संभालना शामिल है।

4. परिणाम और प्रदर्शन अनुमान (Results and Performance Estimates)

एक 3D ऑप्टिकल PFM उदाहरण (अपवर्तनांक भिन्नताओं को एनकोड करने वाले नैनोस्ट्रक्चर्ड ग्लास के साथ) का उपयोग करते हुए, लेखक $10^{12}$ से $10^{18}$ पैरामीटर्स तक के मॉडल्स के लिए प्रदर्शन का अनुमान लगाते हैं:

मेट्रिक	ऑप्टिकल PFM ( $10^{12}$ params)	ऑप्टिकल PFM ( $10^{18}$ params)	डिजिटल GPU बेसलाइन ( $10^{12}$ params)
आयतन (Volume)	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
ऊर्जा/इन्फरेंस (Energy/Inference)	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
समय/इन्फरेंस (Time/Inference)	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

ऊर्जा दक्षता: PFMs डिजिटल हार्डवेयर की तुलना में प्रति इन्फरेंस $10^4$ से $10^8$ गुना कम ऊर्जा प्रदान करते हैं। एक $10^{18}$ -पैरामीटर वाला PFM भी एक $10^{12}$ -पैरामीटर वाले डिजिटल सिस्टम की तुलना में लगभग 100 गुना कम ऊर्जा की खपत करेगा।
गति: इन्फरेंस लेटेंसी में $10^3$ से $10^5$ गुना की कमी आती है (मिलीसेकंड बनाम नैनोसेकंड/माइक्रोसेकंड)।
स्केलिंग: डिजिटल सिस्टम के विपरीत जहाँ ऊर्जा पैरामीटर्स के साथ रैखिक रूप से स्केल होती है ( $E \propto P$ ), ऑप्टिकल PFM की ऊर्जा $E \propto P^{1/3}$ के रूप में स्केल होती है, जो प्रकाश के 3D वॉल्यूमेट्रिक प्रसार और इनपुट/आउटपुट आयामों को बढ़ाने की क्षमता के कारण है।
व्यवहार्यता (Feasibility): गणनाएँ बताती हैं कि $10^{18}$ -पैरामीटर वाले मॉडल्स प्रबंधनीय आयतन (जैसे 100 मीटर लंबी ट्यूब) में शारीरिक रूप से फिट हो सकते हैं और पोर्टेबल ऊर्जा स्रोतों द्वारा संचालित हो सकते हैं, जिससे एज डिवाइसेज पर "ट्रिलियन-पैरामीटर" एआई संभव हो सकेगा।

5. महत्व और भविष्य का दृष्टिकोण (Significance and Future Outlook)

अति-विशाल मॉडल्स को सक्षम बनाना: PFMs $10^{15}$ से $10^{21}$ पैरामीटर्स वाले AI सिस्टम बनाने का एक संभावित मार्ग प्रदान करते हैं, जो संभावित रूप से मानव मस्तिष्क ( $10^{14}$ सिनैप्स) की जटिलता के करीब पहुँच सकते हैं या उससे अधिक हो सकते हैं, जो वर्तमान डिजिटल हार्डवेयर के साथ असंभव है।
एज एआई क्रांति: बिजली की खपत को नाटकीय रूप रूप से कम करके, PFMs फाउंडेशन मॉडल्स को रोबोट, कारों और सेंसरों पर स्थानीय रूप से चलाने की अनुमति दे सकते हैं, जिससे क्लाउड इन्फरेंस से जुड़ी लेटेंसी और गोपनीयता संबंधी चिंताओं को समाप्त किया जा सकता है।
नया अनुसंधान एजेंडा: यह पेपर एक विशाल अनुसंधान चुनौती को रेखांकित करता: फिजिकल इनवर्स डिज़ाइन (Physical Inverse Design)। इसमें न्यूरल नेटवर्क को हार्डवेयर के अमूर्त वेट्स के बजाय हार्डवेयर के भौतिक मापदंडों (जैसे अपवर्तनांक पैटर्न) पर सीधे प्रशिक्षित करना शामिल है।
पहचानी गई चुनौतियाँ:
- ट्रेनिंग: $10^{18}$ -पैरामीटर वाले भौतिक सिस्टम को डिजिटल रूप से सिम्युलेट किए बिना (जो बहुत महंगा है) कैसे प्रशिक्षित किया जाए? प्रस्तावित समाधानों में "नेटवर्क्स-ऑफ-नेटवर्क्स" (Mixture of PFMs) और डिजिटल "मैनेजर" मॉडल्स का उपयोग शामिल है।
- फैब्रिकेशन वेरिएबिलिटी: चूंकि प्रत्येक निर्मित PFM में थोड़े भौतिक अंतर होंगे, इसलिए सिस्टम को दोषों के प्रति मजबूत होना चाहिए या पोस्ट-फैब्रिकेशन ट्यूनिंग (जैसे छोटे डिजिटल कंपेंसेटर) का उपयोग करना चाहिए।
- नॉन-लिनियरिटी (Nonlinearity): आवश्यक नॉन-लीनियर एक्टिवेशन फंक्शन्स को भौतिक मीडिया (जैसे ऑप्टिकल केर इफेक्ट्स के माध्यम से) में विनाशकारी सिग्नल गिरावट के बिना लागू करना।
- I/O बॉटलनेक्स: डिजिटल इनपुट को एनालॉग फिजिकल सिग्नल में और वापस बदलने की गति एक संभावित बाधा बनी हुई है।

निष्कर्ष:
यह शोध पत्र तर्क देता है कि फाउंडेशन मॉडल्स का युग सामान्य-उद्देश्य वाले प्रोग्रामेबल हार्डवेयर से विशिष्ट, फिक्स्ड फिजिकल हार्डवेयर की ओर बदलाव की मांग करता है। सामग्रियों की प्राकृतिक भौतिकी (ऑप्टिक्स, इलेक्ट्रॉनिक्स) का लाभ उठाकर, PFMs डिजिटल कंप्यूटिंग की मौलिक सीमाओं को पार कर सकते हैं, जिससे एक नई पीढ़ी का एआई सक्षम होगा जो तेज़, अधिक ऊर्जा-कुशल और ऐसे पैमानों पर सक्षम होगा जिन्हें पहले असंभव माना जाता था।