Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
यह अध्ययन प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स के प्रशिक्षण के दौरान, कम-जटिलता वाले मॉड्यूल में प्रतिनिधित्व संबंधी ज्यामिति (representational geometry) का स्व-संगठन, जो कम एंट्रॉपी और वक्रता (curvature) द्वारा अभिलक्षित है, मानव मस्तिष्क गतिविधि के साथ संरेखण की मजबूती से भविष्यवाणी करता है, जो टेम्पोरल और फ्रंटल क्षेत्रों में विशिष्ट स्थानिक-कालिक प्रक्षेपवक्रों (spatial-temporal trajectories) को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय भाषा समझना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं कि रोबोट को बस अधिक शब्दों को याद करने या अधिक व्याकरण के नियमों को सीखने की आवश्यकता है। लेकिन वैज्ञानिक सोचने लगे हैं: क्या रोबोट का "मस्तिष्क" वास्तव में सीखते समय मानव मस्तिष्क की तरह दिखने और काम करने लगता है? यह प्रश्न कंप्यूटर विज्ञान और तंत्रिका विज्ञान (न्यूरोसाइंस) के संगम पर स्थित है, जो दो ऐसे क्षेत्र हैं जो आमतौर पर अलग-अलग भाषाएं बोलते हैं। इसे समझने के लिए, हमें यह देखना होगा कि सूचना कैसे संग्रहीत की जाती है। एक कंप्यूटर की मेमोरी को तथ्यों की सूची के रूप में नहीं, बल्कि एक विशाल, बहु-आयामी परिदृश्य (लैंडस्केप) के रूप में सोचें। इस परिदृश्य में, "सपाट" क्षेत्र सरल, स्पष्ट विचारों का प्रतिनिधित्व कर सकते हैं, जबकि "ऊबड़-खाबड़" या "मुड़े हुए" क्षेत्र जटिल, अव्यवस्थित या भ्रमित करने वाले विचारों का प्रतिनिधित्व कर सकते हैं। वैज्ञानिक इन आकृतियों को "रिप्रेजेंटेशनल ज्योमेट्री" (प्रतिनिधित्व ज्यामिति) कहते हैं। बड़ा रहस्य यह है कि: जैसे-जैसे एक कंप्यूटर मॉडल लाखों वाक्यों पर प्रशिक्षण लेता है, क्या उसका आंतरिक परिदृश्य सुचारू हो जाता है और मानव मस्तिष्क के परिदृश्य की तरह बन जाता है? यदि ऐसा होता है, तो यह सुझाव देता है कि मानव मस्तिष्क द्वारा भाषा को संसाधित करने का तरीका बुद्धिमत्ता का एक मौलिक नियम है, न कि केवल एक जैविक दुर्घटना।
यह शोध पत्र उस प्रश्न की गहराई से जांच करता है और 'पायथिया' (Pythia) नामक AI मॉडलों के एक परिवार के बड़े होने का अवलोकन करता है। शोधकर्ताओं ने केवल पूर्ण रूप से प्रशिक्षित मॉडलों को ही नहीं देखा; इसके बजाय, उन्होंने समय यात्रा करने वाले जीवविज्ञानियों की तरह कार्य किया, और मॉडलों के प्रशिक्षण के 19 विभिन्न चरणों का अवलोकन किया, उनके पहले कदमों से लेकर उनके अंतिम रूप तक। उन्होंने मॉडलों की आंतरिक परतों की दो विशिष्ट "ज्यामितीय" विशेषताओं को ट्रैक किया: एन्ट्रॉपी (सूचना कितनी फैली हुई या अराजक है) और कर्वेचर/वक्रता (सूचना का पथ कितना ऊबड़-खाबड़ या तीखा है)। फिर उन्होंने इन बदलते आकारों की तुलना उन्हीं वाक्यों को पढ़ते समय मनुष्यों के वास्तविक मस्तिष्क स्कैन (fMRI) से की।
अध्ययन में पाया गया कि जैसे-जैसे मॉडलों ने प्रशिक्षण लिया, उनकी परतें न केवल अगले शब्द का अनुमान लगाने में बेहतर हुईं; बल्कि वे स्वतः ही दो अलग-अलग टीमों, या "मॉड्यूल" में संगठित हो गईं। एक टीम, निम्न-जटिलता मॉड्यूल (low-complexity module), बहुत सुचारू और व्यवस्थित हो गई, जिसमें कम एन्ट्रॉपी और कम वक्रता थी। दूसरी टीम, उच्च-जटिलता मॉड्यूल (high-complexity module), ऊबड़-खाबड़ और अराजक बनी रही। यहाँ रोमांचक हिस्सा यह है: सुचारू, निम्न-जटिलता वाली टीम वही थी जो मानव मस्तिष्क की गतिविधि के साथ सबसे अच्छा मेल खाती थी। यह ऐसा था जैसे यह पता लगाना कि रोबोट का वह हिस्सा जिसने "शांत होना" और अपने विचारों को व्यवस्थित करना सीखा, वही हिस्सा था जो वास्तव में मनुष्य की तरह सोच रहा था।
हालाँकि, यह संरेखण (alignment) हर जगह एक साथ नहीं हुआ। शोधकर्ताओं ने मस्तिष्क के विभिन्न हिस्सों के बीच एक दिलचस्प विभाजन की खोज की। टेम्पोरल क्षेत्रों (कानों के पास के क्षेत्र, जो सुनने और बुनियादी शब्द अर्थों से जुड़े हैं) में, मॉडल की सुचारू, निम्न-जटिलता वाली परतें प्रशिक्षण के बहुत शुरुआती चरण में ही मानव मस्तिष्क के साथ मेल खाने लगीं और वैसी ही बनी रहीं। यह एक त्वरित, स्थिर जुड़ाव था। लेकिन फ्रंटल क्षेत्रों (मस्तिष्क का अगला हिस्सा, जो जटिल योजना और वाक्य संरचना से जुड़ा है) में, यह मिलान विलंबित और अस्थिर था। इन क्षेत्रों ने ऐसा प्रतीत किया जैसे वे "सुचारू" आधार बनने का इंतजार कर रहे हों, इससे पहले कि वे स्थिर हो सकें; कभी-कभी उन्होंने एक संक्षिप्त अवधि भी दिखाई जहाँ "ऊबड़-खाबड़" परतें बेहतर मेल खाती थीं, इससे पहले कि वे अंततः सुचारू परतों में बदल गईं।
शोध पत्र सुझाव देता है कि कर्वेचर (सूचना पथ कितना ऊबड़-खाबड़ है) इस संरेखण का एक प्रमुख भविष्यवक्ता है। जैसे-जैसे मॉडलों ने प्रशिक्षण लिया, उनके आंतरिक पथ चिकने (कम वक्रता) होते गए, और इस सुचारूता ने मानव मस्तिष्क की गतिविधि के साथ बेहतर मिलान की भविष्यवाणी की। यह प्रभाव इतना मजबूत था कि जब शोधकर्ताओं ने इस तथ्य को भी ध्यान में रखा कि मॉडल सामान्य रूप से प्रशिक्षण में बेहतर हो रहा था, तब भी "सुचारू ज्यामिति" का आकार महत्वपूर्ण बना रहा। दिलचस्प बात यह है कि यह संबंध बड़े मॉडलों (1 बिलियन पैरामीटर तक) में बहुत अधिक स्पष्ट और विश्वसनीय हो गया। छोटे मॉडलों में, सिग्नल थोड़ा शोर भरा (noisy) था, लेकिन जैसे-जैसे मॉडल बड़े होते गए, "सुचारू ज्यामिति" और "मानव जैसी मस्तिष्क गतिविधि" के बीच का संबंध एक मजबूत, पता लगाने योग्य तथ्य बन गया।
संक्षेप में, शोध पत्र तर्क देता है कि किसी मॉडल के मनुष्य की तरह सोचने का रहस्य केवल अधिक डेटा रखने के बारे में नहीं है, बल्कि इस बारे में है कि वह डेटा सुचारू, निम्न-जटिलता वाले आकारों में कैसे व्यवस्थित होता है। यह सुझाव देता है कि मानव मस्तिष्क इन "सुचारू" प्रस्तुतियों को पसंद करता है, और जैसे-जैसे AI मॉडल सीखते हैं, वे स्वाभाविक रूप से इस अवस्था की ओर विकसित होते हैं, विशेष रूप से मस्तिष्क के उन हिस्सों में जो शब्दों के मूल अर्थ को समझने के लिए जिम्मेदार हैं। हालाँकि यह अध्ययन यह साबित नहीं करता है कि यही एकमात्र कारण है जिसके कारण मॉडल मस्तिष्क के साथ संरेखित होते हैं, लेकिन यह डिजिटल दिमागों के हमारे अपने दिमाग को प्रतिबिंबित करने के तरीके और क्यों को समझने के लिए एक नया, ज्यामितीय दृष्टिकोण प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।