Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models
यह शोध पत्र प्रदर्शित करता है कि fMRI साक्ष्य लार्ज लैंग्वेज मॉडल्स में एक दो-चरणीय एब्स्ट्रैक्शन (abstraction) प्रक्रिया का समर्थन करते हैं, जो यह प्रकट करता है कि मस्तिष्क की प्रतिक्रियाओं की भविष्यवाणी करने की मध्यवर्ती परतों की उत्कृष्ट क्षमता उनकी अंतर्निहित कंपोजिशनैलिटी (compositionality) और अंतर्निहित आयामशीलता (intrinsic dimensionality) से उत्पन्न होती है, जो प्रशिक्षण के दौरान विकसित और संकुचित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि जब कोई इंसान कोई कहानी सुनता है, तो उसका मस्तिष्क कैसे काम करता है। वैज्ञानिकों ने खोजा है कि यदि वे एक लार्ज लैंग्वेज मॉडल (जैसे कि इस चैटबॉट के पीछे का AI) की "मध्यवर्ती परतों" (middle layers) को देखें, तो वे अंतिम आउटपुट लेयर की तुलना में मस्तिष्क की गतिविधि की बेहतर भविष्यवाणी करते हैं।
लेकिन क्यों? क्यों AI के मस्तिष्क का मध्य भाग मानव मस्तिष्क के सबसे सटीक मेल में है, न कि वह हिस्सा जो वास्तव में अगला शब्द बोलता है?
यह शोध पत्र तर्क देता है कि इसका उत्तर उस दो-चरणीय प्रक्रिया (two-phase process) में निहित है जो AI के बोलने सीखने के दौरान होती है। इस खोज की कहानी यहाँ सरल रूप में दी गई है।
दो-चरणीय यात्रा: निर्माण बनाम अनुमान
एक लार्ज लैंग्वेज मॉडल (LLM) को एक एकल मस्तिष्क के रूप में नहीं, बल्कि कई स्टेशनों वाली एक फैक्ट्री असेंबली लाइन के रूप में सोचें।
चरण 1: "संरचना" चरण (द आर्ट स्टूडियो)
फैक्ट्री के शुरुआती स्टेशनों में, कच्चे माल (शब्दों) को अलग किया जा रहा है और उन्हें जटिल संरचनाओं में फिर से जोड़ा जा रहा है। AI व्याकरण, अर्थ, विचारों के बीच संबंध और "बड़ी तस्वीर" को समझ रहा है।
- रूपक: एक कलाकार के स्टूडियो की कल्पना करें। वे रंग मिला रहे हैं, रूपरेखा बना रहे हैं, और एक जटिल मूर्ति बना रहे हैं। वे दुनिया का एक समृद्ध, उच्च-आयामी (high-dimensional) प्रतिनिधित्व बना रहे हैं। यहीं पर "अमूर्त" (abstract) सोच होती है।
- निष्कर्ष: शोध पत्र दिखाता है कि मानव मस्तिष्क इस चरण के दौरान AI के सबसे समान होता है। हमारा मस्तिष्क जो कुछ भी सुन रहा है, उसके समृद्ध मानसिक मॉडल बनाने में व्यस्त रहता है।
चरण 2: "भविष्यवाणी" चरण (द कैसीनो)
जैसे-जैसे डेटा असेंबली लाइन में नीचे की ओर बढ़ता है, लक्ष्य बदल जाता है। AI एक जटिल दुनिया बनाने की कोशिश करना बंद कर देता है और एक विशिष्ट कार्य पर ध्यान केंद्रित करने लगता है: अगले शब्द का अनुमान लगाना।
- रूपक: कल्पना करें कि कलाकार अब एक कैसीनो में जुआरी है। वे अब पेंटिंग नहीं कर रहे हैं; वे बस इस बात पर दांव लगा रहे हैं कि अगला कार्ड क्या आएगा। जीतने के लिए, उन्हें अपना ध्यान केंद्रित करने की आवश्यकता है। वे अतिरिक्त विवरणों को हटा देते हैं और केवल सबसे संभावित परिणाम पर ध्यान केंद्रित करते हैं।
- निष्कर्ष: AI की अंतिम परतें अगला शब्द बताने में बहुत अच्छी होती हैं, लेकिन वे मानव मस्तिष्क से मेल खाने में खराब होती हैं। क्यों? क्योंकि मानव मस्तिष्क केवल अगले शब्द का अनुमान नहीं लगाता; वह पूरी कहानी, भावनाओं और संदर्भ को थामे रखता है।
बीच का "स्वीट स्पॉट" (The Sweet Spot)
शोधकर्ताओं ने AI की परतों के बीच एक "स्वीट स्पॉट" पाया।
- शिखर (The Peak): एक विशिष्ट परत है जहाँ AI अपनी जटिल समझ (चरण 1) बनाना समाप्त कर चुका होता है, लेकिन उसने अभी तक केवल अगला शब्द बताने के लिए अपना ध्यान केंद्रित करना (चरण 2) शुरू नहीं किया होता है।
- साक्ष्य: इस सटीक "शिखर" परत पर, AI का आंतरिक मानचित्र मानव मस्तिष्क के मानचित्र के लगभग समान दिखता है।
- बदलाव: जैसे-जैसे AI को अधिक प्रशिक्षित किया जाता है और वह अधिक स्मार्ट होता जाता है, यह "स्वीट स्पॉट" वास्तव में लाइन में पहले की ओर खिसक जाता है। AI अपनी समझ बनाने में इतना कुशल हो जाता है कि उसे अनुमान लगाना शुरू करने से पहले इतने चरणों की आवश्यकता नहीं होती।
"आयामीयता" (Dimensionality) का सुराग
वे यह कैसे जानते थे? उन्होंने इंट्रिन्सिक डायमेंशनैलिटी (Intrinsic Dimensionality) नामक अवधारणा का उपयोग किया।
- सादृश्य: कागज के एक मुड़े हुए टुकड़े की कल्पना करें।
- कम आयामीयता (Low Dimensionality): कागज का एक सपाट पन्ना सरल है। इसमें केवल लंबाई और चौड़ाई होती है।
- उच्च आयामीयता (High Dimensionality): कागज की एक मुड़ी हुई गेंद जटिल है। इसमें हर दिशा में मोड़, वक्र और गहराई है।
- खोज: "संरचना" चरण (द आर्ट स्टूडियो) मुड़ी हुई गेंद की तरह है—यह जटिल, उच्च-आयामी जानकारी से भरा हुआ है। "भविष्यवाणी" चरण (द कैसीनो) कागज को वापस चपटा करने जैसा है ताकि एक सरल दांव लगाया जा सके।
- परिणाम: मानव मस्तिष्क भी कहानियाँ सुनते समय जटिल जानकारी की एक "मुड़ी हुई गेंद" की तरह होता है। इसलिए, AI की वह परत जो एक "मुड़ी हुई गेंद" (उच्च आयामीयता) है, मस्तिष्क से सबसे अच्छा मेल खाती है। वह परत जो "चपटी" (कम आयामीयता, केवल अनुमान लगाना) है, मेल नहीं खाती।
यह क्यों महत्वपूर्ण है
- यह केवल अनुमान लगाने के बारे में नहीं है: लंबे समय तक, लोगों को लगा कि AI और मस्तिष्क इसलिए समान हैं क्योंकि वे दोनों अगले शब्द की भविष्यवाणी करने की कोशिश करते हैं। यह शोध पत्र कहता है: नहीं। समानता निर्माण चरण से आती है, अनुमान चरण से नहीं।
- मस्तिष्क को पढ़ने का एक नया तरीका: यदि हम मानव विचारों को पढ़ने या भाषा प्रसंस्करण को समझने के लिए बेहतर उपकरण बनाना चाहते हैं, तो हमें केवल AI के अंतिम उत्तर को नहीं देखना चाहिए। हमें "मध्यवर्ती परतों" को देखना चाहिए जहाँ जटिल विचार बन रहे होते हैं।
- प्रशिक्षण चीजों को बदल देता है: जैसे-जैसे AI मॉडल बड़े और स्मार्ट होते जाते हैं, वे "आर्ट स्टूडियो" चरण को तेजी से पूरा करते हैं। इसका मतलब है कि वह "स्वीट स्पॉट" जहाँ वे मानव मस्तिष्क से मेल खाते हैं, प्रक्रिया में पहले आ जाता है।
निष्कर्ष
मानव मस्तिष्क और AI इसलिए समान नहीं हैं क्योंकि वे दोनों अगला शब्द बताने में अच्छे हैं, बल्कि इसलिए क्योंकि वे बोलने से पहले दुनिया की एक समृद्ध, जटिल समझ बनाने के एक जादुई चरण से गुजरते हैं। यह शोध पत्र साबित करता है कि यही "निर्माण चरण" वास्तविक रहस्य है कि क्यों AI और मानव मस्तिष्क एक जैसा सोचते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।