Lecture Notes on Statistical Physics and Neural Networks

यहाँ ओलाफ होम (Olaf Hohm) के व्याख्यान नोट्स का सरल भाषा में अनुवाद दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।

बड़ी तस्वीर: भौतिकी और AI का मिलन

कल्पना कीजिए कि आपके पास दो बहुत अलग दुनिया हैं: सांख्यिकीय भौतिकी (Statistical Physics) (यह अध्ययन कि कैसे खरबों परमाणु एक साथ व्यवहार करते हैं, जैसे कि एक चुंबक या गैस में) और न्यूरल नेटवर्क (Neural Networks) (आधुनिक AI के पीछे के कंप्यूटर मस्तिष्क)।

यह शोध पत्र तर्क देता है कि ये दोनों दुनिया वास्तव में एक ही भाषा बोल रही हैं। लेखक, जो एक भौतिक विज्ञानी हैं, ने ये नोट्स यह दिखाने के लिए लिखे हैं कि परमाणुओं के पैटर्न में बसने के तरीके का वर्णन करने के लिए उपयोग की जाने वाली गणित, AI को बिल्लियों को पहचानने या कविता लिखने के लिए प्रशिक्षित करने के लिए उपयोग की जाने वाली गणित के लगभग समान है। वह यह दिखाना चाहते हैं कि आपको यह समझने के लिए भौतिक विज्ञानी होने की आवश्यकता नहीं है कि AI कैसे काम करता है, क्योंकि मूल अवधारणाएं—जैसे "तापमान" (temperature), "ऊर्जा" (energy), और "फेज ट्रांजिशन" (phase transitions)—केवल एक ही सांख्यिकीय विचारों के अलग-अलग नाम हैं।

---

भाग 1: खेल के नियम (सांख्यिकीय भौतिकी की मूल बातें)

ऊर्जा परिदृश्य (The Energy Landscape)
एक विशाल, पहाड़ी परिदृश्य की कल्पना करें। किसी भी सिस्टम (जैसे एक चुंबक या न्यूरॉन्स का नेटवर्क) की हर संभावित व्यवस्था इस मानचित्र पर एक विशिष्ट स्थान है।

• ऊर्जा (Energy): कुछ स्थान गहरे गड्ढे (कम ऊर्जा) होते हैं, और कुछ ऊंचे शिखर (उच्च ऊर्जा) होते हैं। प्रकृति घाटियों से प्यार करती है; सिस्टम स्वाभाविक रूप से सबसे निचले बिंदु की ओर लुढ़कना चाहता है।
• तापमान (Temperature): तापमान को "कंपन" या "हलचल" के रूप में सोचें।
  • ठंडा (कम तापमान): सिस्टम शांत है। यह सीधे सबसे गहरे गड्ढे में लुढ़क जाता है और वहीं रहता है। इसे केवल पूर्णतः सर्वोत्तम समाधान की परवाह होती है।
  • गर्म (उच्च तापमान): सिस्टम अस्थिर है। यह ऊंचे शिखरों और गहरे गड्ढों के बीच बेतहाशा इधर-उधर कूदता है। इसे "सर्वश्रेष्ठ" स्थान की ज्यादा परवाह नहीं है; यह बस बेतरतीब ढंग से घूम रहा है।

बोल्ट्ज़मैन वितरण (The Boltzmann Distribution)
यह वह नियम पुस्तिका है जो कहती है: "एक निश्चित तापमान पर, इस बात की कितनी संभावना है कि सिस्टम किसी विशिष्ट स्थान पर होगा?"

• यदि यह ठंडा है, तो सिस्टम लगभग निश्चित रूप से सबसे गहरे गड्ढे में होगा।
• यदि यह गर्म है, तो यह हर जगह फैला हुआ है, लेकिन फिर भी यह शिखरों की तुलना में घाटियों को थोड़ा अधिक पसंद करता है।

फेज ट्रांजिशन (Phase Transitions)
यह पानी के बर्फ में जमने जैसा है।

• कल्पना कीजिए कि लोगों की एक भीड़ है। यदि वे सभी बेतरतीब ढंग से घूम रहे हैं (गर्म), तो वे एक "गैस" हैं। यदि वे अचानक एक पूर्ण ग्रिड में खड़े होने और हाथ पकड़ने का निर्णय लेते हैं (ठंडा), तो उन्होंने एक फेज ट्रांजिशन किया है।
• भौतिकी में, यह एक विशिष्ट "क्रिटिकल तापमान" पर होता है। शोध पत्र बताता है कि इन अचानक परिवर्तनों की भविष्यवाणी करना गणितीय रूप से कठिन है जब तक कि आप यह कल्पना न करें कि सिस्टम अनंत रूप से बड़ा है।

---

भाग 2: रीनॉर्मलाइजेशन ग्रुप (The Renormalization Group - "ज़ूम आउट" करने वाला लेंस)

यह शोध पत्र की सबसे प्रसिद्ध भौतिक अवधारणा है, जिसका उपयोग उन अचानक फेज परिवर्तनों को समझने के लिए किया जाता है।

उपमा: भीड़ की फोटो
कल्प цикла है कि आपके पास स्टेडियम में भरी भीड़ की एक फोटो है।

1. सूक्ष्म दृश्य (Microscopic View): आप हर एक व्यक्ति को देखते हैं। आप देखते हैं कि कौन लाल शर्ट पहने है, कौन नीला, और कौन हाथ हिला रहा है। यह बहुत अधिक विवरण है।
2. "ज़ूम आउट" (RG): आप एक कदम पीछे हटते हैं। व्यक्तियों को देखने के बजाय, आप 4 लोगों के ब्लॉक देखते हैं। आप पूछते हैं: "इस ब्लॉक का औसत रंग क्या है?"
3. परिणाम: अब आपके पास कम "पिक्सेल" (ब्लॉक) के साथ एक नई, छोटी फोटो है, लेकिन यह अभी भी एक स्टेडियम की तरह दिखती है। इन ब्लॉक्स के आपस में जुड़ने के नियम व्यक्तिगत लोगों के नियमों से थोड़े अलग हैं, लेकिन चित्र का प्रकार वही है।

यह क्यों महत्वपूर्ण है:
यदि आप ज़ूम आउट करना जारी रखते हैं (इस प्रक्रिया को दोहराते हैं), तो अंततः आप "बड़ी तस्वीर" देख पाते हैं।

• यदि सिस्टम एक सामान्य अवस्था में है, तो ज़ूम किया गया चित्र अंततः एक उबाऊ, एकसमान धूसर (gray) गोले जैसा दिखता है।
• यदि सिस्टम एक क्रिटिकल पॉइंट (जैसे पानी जमने का सटीक क्षण) पर है, तो ज़ूम किया गया चित्र कितना भी ज़ूम करने पर बिल्कुल वैसा ही दिखता है। यह "स्केल-इनवेरिएंट" (scale-invariant) है। यह भौतिकविदों को बताता है कि एक बड़ा परिवर्तन (फेज ट्रांसिशन) हो रहा है।

---

भाग 3: न्यूरल नेटवर्क घूमते हुए चुंबकों के रूप में

यह शोध पत्र इस भौतिकी को हॉपफील्ड नेटवर्क (Hopfield Networks) और बोल्ट्ज़मैन मशीन (Boltzmann Machines) से जोड़ता है।

न्यूरॉन एक चुंबक के रूप में

• एक चुंबक में, एक परमाणु "ऊपर" (+1) या "नीचे" (-1) घूम सकता है।
• एक हॉपफील्ड नेटवर्क में, एक "न्यूरॉन" "ऑन" (+1) या "ऑफ" (-1) हो सकता है।
• संबंध: जिस तरह चुंबक अपने पड़ोसियों को प्रभावित करते हैं (यदि एक ऊपर घूमता है, तो वह चाहता है कि उसका पड़ोसी भी ऊपर घूमे), न्यूरॉन्स "वेट्स" (weights) के साथ एक-दूसरे को प्रभावित करते हैं।
• स्मृति (Memory): एक हॉपफील्ड नेटवर्क कई घाटियों वाले परिदृश्य की तरह है। प्रत्येक घाटी एक स्मृति (जैसे चेहरे की तस्वीर) का प्रतिनिधित्व करती है। यदि आप नेटवर्क को उस चेहरे का धुंधला, शोर वाला संस्करण देते हैं, तो यह सही घाटी में बसने के लिए ऊर्जा की पहाड़ी से नीचे "लुढ़कता" है, जिससे प्रभावी रूप से साफ छवि को "याद" किया जा सके।

बोल्ट्ज़मैन मशीन (संभाव्यता वाला संस्करण)

• एक मानक हॉपफील्ड नेटवर्क नियतात्मक (deterministic) है: यह हमेशा तल तक लुढ़कता है।
• एक बोल्ट्ज़मैन मशीन "तापमान" जोड़ती है। यह नेटवर्क को कभी-कभी एक घाटी से बाहर कूदने की अनुमति देती है। यह इसे परिदृश्य को बेहतर ढंग से खोजने और एक "लोकल मिनिमम" (एक छोटा गड्ढा जो सबसे गहरा गड्ढा नहीं है) में फंसने से बचने में मदद करता है।
• सीखना (Learning): लक्ष्य "वेट्स" (कनेक्शन) को इस तरह से समायोजित करना है ताकि नेटवर्क के प्राकृतिक "घाटियाँ" उस डेटा से मेल खा सकें जिसे वह सीखना चाहता है (जैसे हस्तलिखित नंबरों का डेटासेट)।

रिस्ट्रिक्टेड बोल्ट्ज़मैन मशीन (RBM) और "हिडन" लेयर

• कल्पना कीजिए कि आपके पास एक दृश्य लेयर (डेटा जिसे आप देख सकते हैं) है और एक हिडन लेयर (न्यूरॉन्स जिन्हें आप नहीं देख सकते) है।
• शोध पत्र बताता है कि हिडन न्यूरॉन्स को "इंटीग्रेट आउट" (बाहर निकालना) करना ठीक वैसा ही है जैसे रेनॉर्मलाइजेशन ग्रुप का "ज़ूम आउट" करना।
• हिडन न्यूरॉन्स को गणितीय रूप से हटाकर, आपको दृश्य न्यूरॉन्स के लिए नए, सरल नियमों का एक सेट प्राप्त होता है। यह मशीन को हर एक सूक्ष्म विवरण की गणना किए बिना जटिल पैटर्न सीखने की अनुमति देता है।

---

भाग 4: आधुनिक डीप लर्निंग और लार्ज लैंग्वेज मॉडल्स (LLMs)

यह शोध पत्र इन पुराने "बोल्ट्ज़मैन" विचारों से आधुनिक AI की ओर बढ़ता है।

डीप लर्निंग (Deep Learning)

• केवल एक हिडन लेयर के बजाय, आधुनिक नेटवर्क में एक के ऊपर एक कई परतें (layers) होती हैं।
• बैकप्रोपैगेशन (Backpropagation): यह "सीखने" का एल्गोरिदम है। कल्पना कीजिए कि आपने एक लक्ष्य पर गेंद फेंकी और चूक गए। आप गणना करते हैं कि आप कितना चूक गए, इस त्रुटि को नेटवर्क की हर परत के माध्यम से वापस ट्रैक करते हैं, और अगली बार बेहतर निशाना लगाने के लिए वेट्स को थोड़ा ट्यून करते हैं। इसी तरह नेटवर्क बिल्लियों को पहचानना या भाषाओं का अनुवाद करना सीखता है।

लार्ज लैंग्वेज मॉडल्स (LLMs)

• कार्य: वाक्य में अगले शब्द की भविष्यवाणी करना।
• तंत्र: शोध पत्र ट्रांसफॉर्मर (Transformer) आर्किटेक्चर का वर्णन करता है।
  • एम्बेडिंग (Embedding): हर शब्द को एक वेक्टर (संख्याओं की एक सूची) में बदल दिया जाता है जो उसके अर्थ का प्रतिनिधित्व करता है।
  • अटेंशन (Attention): यही असली जादू है। जब मॉडल एक वाक्य पढ़ता है, तो वह केवल पिछले शब्द को नहीं देखता; वह यह पता लगाने के लिए सभी पिछले शब्दों पर "अटेंशन" देता है कि वर्तमान शब्द के लिए कौन से सबसे प्रासंगिक हैं। (उदाहरण के लिए, "The bank of the river" में, मॉडल जानता है कि "bank" पानी के बारे में है, पैसे के बारे में नहीं, क्योंकि वहां "river" शब्द है)।
• भौतिकी संबंध: भले ही LLM जटिल गणित का उपयोग करते हैं, अगले शब्द की भविष्यवाणी करने का अंतिम चरण अनिवार्य रूप से एक बोल्ट्ज़मैन वितरण है। मॉडल हर संभावित अगले शब्द को एक "ऊर्जा" प्रदान करता है। जिस शब्द की ऊर्जा सबसे कम (उच्चतम संभावना) होती है, वही सबसे संभावित विकल्प होता है।
• AI में तापमान: भौतिकी की तरह ही, आप एक LLM के "तापमान" को समायोजित कर सकते हैं।
  • लो टेम्प (Low Temp): मॉडल हर बार सबसे संभावित शब्द चुनता है (बहुत सुरक्षित, लेकिन उबाऊ)।
  • हाई टेम्प (High Temp): मॉडल अधिक जोखिम लेता है, कम संभावित शब्द चुनता है, जो टेक्स्ट को अधिक रचनात्मक (और कभी-कभी निरर्थक) बनाता है।

---

भाग 5: भविष्य (स्केलिंग लॉज़)

शोध पत्र आधुनिक AI में एक अजीब घटना जिसे स्केलिंग लॉज़ (Scaling Laws) कहा जाता है, को देखकर समाप्त होता है।

• अवलोकन: यदि आप एक AI मॉडल को बड़ा (अधिक न्यूरॉन्स) बनाते हैं और उसे अधिक डेटा खिलाते हैं, तो इसका प्रदर्शन केवल थोड़ा बेहतर नहीं होता; यह एक अनुमानित, गणितीय तरीके से (एक "पावर लॉ") सुधरता है।
• भौतिकी लिंक: यह बिल्कुल सांख्यिकीय भौतिकी में फेज ट्रांजिशन के पास देखे जाने वाले स्केलिंग लॉज़ जैसा दिखता है। भौतिकी में, विभिन्न सामग्रियां (पानी, चुंबक, लोहा) अपने क्रिटिकल पॉइंट के पास एक ही तरह से व्यवहार करती हैं, चाहे उनके सूक्ष्म विवरण कुछ भी हों।
• अनुमान: लेखक सुझाव देते हैं कि शायद डीप लर्निंग का अपना "ऊष्मागतिकी" (thermodynamics) है। वहां ऐसे सार्वभौमिक नियम हो सकते हैं जो यह नियंत्रित करते हैं कि AI कैसे सुधरता है, ठीक वैसे ही जैसे सार्वभौमिक नियम यह नियंत्रित करते हैं कि परमाणु कैसे व्यवहार करते हैं, चाहे परमाणु किसी भी चीज़ से बने हों।

सारांश

यह शोध पत्र एक सेतु (bridge) है। यह हमें बताता है कि आधुनिक AI का "जादू" वास्तव में जादू नहीं है; यह सांख्यिकी है। न्यूरॉन्स को परमाणुओं की तरह और सीखने को एक गर्म सिस्टम को ठंडा करने की तरह मानकर, हम कृत्रिम बुद्धिमत्ता कैसे सीखती है, याद रखती है और विकसित होती है, इसे समझने के लिए भौतिकी के शक्तिशाली उपकरणों का उपयोग कर सकते हैं।