A Shared Geometry of Difficulty in Multilingual Language Models
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स समस्या की कठिनाई को एक द्वि-चरणीय प्रतिनिधित्व पदानुक्रम (two-stage representational hierarchy) के माध्यम से संसाधित करते हैं, जहाँ उथले स्तरों (shallow layers) में भाषा-निरपेक्ष संकेत उभरते हैं ताकि क्रॉस-लिंगुअल सामान्यीकरण सक्षम हो सके, जबकि गहरे स्तरों (deeper layers) में भाषा-विशिष्ट संकेत एक ही भाषा के भीतर सटीकता को अनुकूलित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, बहुभाषी रोबोटिक मस्तिष्क एक पेचीदा गणितीय पहेली को हल करने की कोशिश कर रहा है। आप सोच सकते हैं कि यदि आप इस रोबोट से वही सवाल फ्रेंच, जापानी या स्वाहिली में पूछेंगे, तो इसे हर बार कठिनाई को शून्य से फिर से "सोचना" पड़ेगा, जैसे कोई छात्र शब्द समस्या (word problem) का अनुवाद करने के लिए संघर्ष कर रहा हो। लेकिन एक नया अध्ययन सुझाव देता है कि रोबोट के सिर के अंदर कुछ बहुत अधिक शानदार हो रहा है।
शोधकर्ताओं, स्टेफ़ानो सिवेली और उनकी टीम ने दुनिया के कुछ सबसे स्मार्ट AI मॉडलों (विशेष रूप से LLaMA और Qwen परिवारों) के मस्तिष्क के भीतर झाँकने का निर्णय लिया ताकि वे देख सकें कि वे समस्या कितनी कठिन है, इसे कैसे "महसूस" करते हैं। उन्होंने केवल अंग्रेजी नहीं देखी; उन्होंने AMC नामक एक प्रतियोगिता से लगभग 4,000 गणितीय समस्याएं लीं, उन्हें 21 अलग-अलग भाषाओं में अनुवादित किया, और AI को उन्हें हल करने के लिए कहा। फिर, उन्होंने रोबोट के आंतरिक संकेतों को सुनने के लिए छोटे "कठिनाई डिटेक्टर" (जिन्हें लीनियर प्रोब्स कहा जाता है) बनाए।
यहाँ बड़ा आश्चर्य यह है: रोबोट के पास कठिनाई का आकलन करने का केवल एक तरीका नहीं है। वास्तव में, इसके लिए उसके पास दो अलग-अलग चरण हैं, जैसे कि एक दो-चरणीय नृत्य।
चरण 1: सार्वभौमिक फुसफुसाहट (उथले स्तर/Shallow Layers)
जब रोबोट पहली बार किसी समस्या को देखता है, चाहे वह अंग्रेजी, हिंदी या स्पेनिश में हो, तो वह तुरंत इसकी कठिनाई का एक त्वरित, साझा विचार बनाता है। इसे एक सार्वभौमिक "कठिनाई वाइब" की तरह सोचें जो रोबोट के मस्तिष्क के बहुत शुरुआती स्तरों (एक 32-स्तरीय मॉडल में लगभग 14वें स्तर पर) में होता है।
अध्ययन में पाया गया कि यदि आप अंग्रेजी में इस "वाइब" को पहचानने के लिए एक डिटेक्टर को प्रशिक्षित करते हैं, तो यह स्वाहिली या चीनी में परीक्षण करने पर भी लगभग उतना ही अच्छा काम करता है। यह ऐसा है जैसे रोबोट के पास एक गुप्त, भाषा-तटस्थ "कठिनाई मीटर" है जो तुरंत सक्रिय हो जाता है। शोधकर्ता सुझाव देते हैं कि AI विशिष्ट शब्दों या व्याकरण की चिंता करने से पहले ही इस अमूर्त अवधारणा को समझ लेता है कि "यह कठिन है"। यह साझा समझ आश्चर्यजनक रूप से मजबूत है, यहाँ तक कि उन भाषाओं के लिए भी जिन्हें मॉडल कम जानता है।
चरण 2: विशिष्ट पॉलिश (गहरे स्तर/Deep Layers)
लेकिन कहानी यहाँ समाप्त नहीं होती। जैसे-जैसे जानकारी रोबोट के मस्तिष्क में गहराई तक जाती है (32-स्तरीय मॉडल में 30वें स्तर तक पहुँचते हुए), चीजें विशिष्ट हो जाती हैं। रोबोट उस सार्वभौमिक "कठिनाई वाइब" को लेता है और उसे परिष्कृत करता है, उसे उस भाषा के लिए पूरी तरह से अनुकूलित करता है जिसका वह वर्तमान में उपयोग कर रहा है।
यही वह जगह है जहाँ अनुवाद का जादू पेचीदा हो जाता है। यदि आप अपने कठिनाई डिटेक्टर को अंग्रेजी के गहरे, पॉलिश किए गए स्तरों पर प्रशिक्षित करते हैं, तो यह अंग्रेजी की समस्याओं के लिए एक अत्यंत सटीक निर्णायक बन जाता है। लेकिन यदि आप उसी अंग्रेजी-प्रशिक्षित डिटेक्टर को फ्रांसीसी समस्या पर आज़माते हैं, तो यह भ्रमित हो जाता है और खराब प्रदर्शन करता है। यह एक मास्टर शेफ की तरह है जिसने एक फ्रांसीसी व्यंजन को पूरी तरह से सीजन करना सीख लिया है; यदि आप उनसे केवल अपने फ्रांसीसी सीजनिंग नियमों का उपयोग करके जापानी व्यंजन का आकलन करने के लिए कहते हैं, तो वे चूक सकते हैं। गहरे स्तर एक भाषा के भीतर सटीकता के लिए महान हैं, लेकिन वे अपनी "क्रॉस-लैंग्वेज" (भाषा-पार) सुपरपावर खो देते हैं।
रोबोट क्या नहीं कर रहा है
अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि रोबोट केवल अंग्रेजी को याद कर रहा है और बाकी सब कुछ अपने दिमाग में अंग्रेजी में अनुवाद कर रहा है ताकि वह इसे हल कर सके। यदि ऐसा होता, तो कठिनाई के संकेत हर स्तर पर समान दिखते। इसके बजाय, शोधकर्ताओं ने एक स्पष्ट विभाजन पाया: एक साझा, भाषा-निरपेक्ष संकेत, और बाद में एक भाषा-विशिष्ट संकेत। उन्होंने यह भी दिखाया कि यह किसी एक विशिष्ट मॉडल का संयोग नहीं है; उन्होंने 1 बिलियन, 3 बिलियन और 8 बिलियन पैरामीटर्स वाले मॉडलों में एक ही पैटर्न देखा।
वे कितने आश्वस्त हैं?
टीम इन नंबरों को लेकर काफी आश्वस्त है। उन्होंने "स्पियरमैन सहसंबंध" (Spearman correlation - एक फैंसी तरीका यह कहने का कि "अनुमान वास्तविक कठिनाई से कितनी अच्छी तरह मेल खाते हैं?") को मापा और पाया कि 8-बिलियन-पैरामीटर वाले मॉडल के लिए, जब एक ही भाषा में परीक्षण किया गया तो गहरे स्तरों ने लगभग 0.822 का स्कोर प्राप्त किया, लेकिन भाषाओं के बीच परीक्षण करने पर यह गिरकर 0.783 हो गया। अधिक महत्वपूर्ण बात यह है कि जब उन्होंने क्रॉस-लैंग्वेज डिटेक्टर को गहरे स्तरों को देखने के लिए मजबूर किया, तो इसका स्कोर 0.177 से गिर गया। यह एक बड़ी गिरावट है, जो साबित करती है कि गहरे स्तर वास्तव में सार्वभौमिक संबंध खो देते हैं।
निष्कर्ष
तो, अगली बार जब आप सोचें कि एक AI आपकी भाषा में एक कठिन समस्या को कैसे संभालता है जिसे आप नहीं बोलते, तो कल्पना करें: AI एक त्वरित, भाषा-मुक्त क्षण के साथ शुरू करता है जहाँ वह खुद से कहता है, "वाह, यह एक कठिन एक है!" इसके बाद ही वह उस विशिष्ट भाषा में बोलना शुरू करता है जिसे आपने पूछा है, उस प्रारंभिक भावना को शब्दों के अनुरूप ढालने के लिए। यह पता चलता है कि कठिनाई का आकलन करने जैसी जटिल चीज़ के लिए भी, AI विशिष्ट होने से पहले एक साझा, सार्वभौमिक समझ के साथ शुरुआत करता है।
शोधकर्ताओं ने उल्लेख किया कि उन्होंने केवल गणितीय समस्याओं पर इसका परीक्षण किया है, इसलिए हमें अभी तक नहीं पता कि यह "दो-चरणीय नृत्य" यह अनुमान लगाने में काम करता है या नहीं कि कोई चुटकुला कितना कठिन है या कोडिंग बग कितना कठिन है। लेकिन गणित के लिए, साक्ष्य स्पष्ट हैं: AI के पास यह जानने का एक साझा, भाषा-अज्ञेय (language-agnostic) तरीका है कि चीजें कब कठिन होती हैं, और यह उसकी सोचने की प्रक्रिया के बिल्कुल प्रारंभ में होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।