How Far Can a Single Vector Carry a Language? Mechanistic Limits of Inference-Time Steering for Low-Resource Devanagari Languages
यह शोधपत्र बड़े बहुभाषी मॉडलों में हिंदी निरूपणों (representations) का उपयोग करके कम-संसाधन वाली देवनागरी भाषाओं (मैथिली, नेपाली और भोजपुरी) को उत्पन्न करने के लिए इन्फरेंस-टाइम स्टीयरिंग (inference-time steering) की यांत्रिक सीमाओं की जांच करता है, जिसमें यह पाया गया है कि हालांकि एक एकल वेक्टर शिफ्ट लक्ष्य भाषा के प्रति अनुपालन को प्रेरित कर सकता है, लेकिन यह अनिवार्य रूप से प्रवाह पतन (fluency collapse) का कारण बनता है, जो यह प्रकट करता है कि स्टीयरेबिलिटी (steerability) मॉडल की सक्षमता या शब्दावली ओवरलैप के बजाय रैखिक पृथक्करणीयता (linear separability) द्वारा सीमित है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) उन आधुनिक उपकरणों के इंजन हैं जो दर्जनों मानव भाषाओं में लिखने, अनुवाद करने और बातचीत करने का काम करते हैं। ये सिस्टम टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं, जिससे वे शब्दों के आपस में जुड़ने के पैटर्न को पहचानकर वाक्य में अगले शब्द की भविष्यवाणी करना सीखते हैं। हालांकि वे अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन उनके साथ समर्थित भाषाओं की एक निर्धारित सूची भी आती है। यदि कोई भाषा उस सूची में नहीं है, तो मॉडल अक्सर उसे अज्ञात मान लेता है, भले ही वह उसी लिपि का उपयोग करती हो और उस भाषा के कई शब्द साझा करती हो जिसे वह जानता है। शोधकर्ता लंबे समय से यह जानने के लिए उत्सुक रहे हैं कि क्या वे इन मॉडल्स को बिना फिर से प्रशिक्षित किए, एक असमर्थ भाषा बोलने के लिए प्रेरित कर सकते हैं। मॉडल को नए तथ्य सिखाने के बजाय, उन्होंने एक अलग दृष्टिकोण अपनाया: मॉडल के आंतरिक गणित के भीतर एक विशिष्ट "दिशा" खोजना जो उस लापता भाषा की ओर संकेत करती हो। यह विचार इस अवधारणा पर आधारित है कि विभिन्न भाषाओं की समझ मॉडल के डिजिटल मस्तिष्क के भीतर अलग-अलग आकृतियों या पथों के रूप में मौजूद होती है, और शायद एक एकल धक्का (push) उसके आउटपुट को एक पथ से दूसरे पथ की ओर स्थानांतरित कर सकता है।
शोधकर्ताओं की एक टीम ने चार भाषाओं का उपयोग करके इस विचार की सीमाओं का परीक्षण करने का निर्णय लिया जो देवनागरी लिपि साझा करती हैं, जो दक्षिण एशिया में उपयोग की जाने वाली एक लेखन प्रणाली है। हिंदी एक प्रमुख भाषा है जो अधिकांश बड़े मॉडल्स द्वारा समर्थित है, जबकि मैथिली, नेपाली और भोजपुरी इसके करीबी "बहन" भाषाएं हैं जिन्हें अक्सर आधिकारिक सूचियों से बाहर रखा जाता है, बावजूद इसके कि वे लाखों लोगों द्वारा बोली जाती हैं। शोधकर्ताओं ने एक सरल लेकिन गहरा प्रश्न पूछा: यदि वे मॉडल की हिंदी की आंतरिक समझ को लेकर उसे इन असमर्थ बहनों में से एक की ओर धकेलने का प्रयास करें, तो वे कितनी दूर तक जा सकते हैं? उन्होंने मॉडल के भार (weights) को नहीं बदला और न ही इसे नया डेटा दिया। इसके बजाय, उन्होंने टेक्स्ट को प्रोसेस करते समय मॉडल के व्यवहार का विश्लेषण किया, हिंदी का प्रतिनिधित्व करने वाले इसके औसत "केंद्र" की पहचान की, और लक्षित भाषा के केंद्र के साथ इसकी तुलना की। इन दोनों केंद्रों के बीच के अंतर ने एक वेक्टर (vector) बनाया, जो मॉडल के आंतरिक स्थान में एक निश्चित दिशा थी। टेक्स्ट उत्पन्न करने की प्रक्रिया के दौरान, उन्होंने इस दिशा को मॉडल की सूचना के प्रवाह में जोड़ा, इस उम्मीद में कि वे आउटपुट को हिंदी से हटाकर लक्षित भाषा की ओर मोड़ सकेंगे।
शोधकर्ताओं ने पाया कि मॉडल की आंतरिक संरचना एक 'आवरग्लास' (hourglass) के समान है। इसके प्रसंस्करण की शुरुआत में, विभिन्न भाषाओं के प्रतिनिधित्व अलग-अलग होते हैं। जैसे-जैसे जानकारी नेटवर्क में गहराई तक जाती है, ये पथ एक साझा, सामान्य कोर में विलीन हो जाते हैं जहाँ भाषाएं अविभेद्य हो जाती हैं। अंत के करीब, मॉडल द्वारा अंतिम शब्द उत्पन्न करने से ठीक पहले, पथ फिर से अलग हो जाते हैं। आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि वे केवल यात्रा के मध्य भाग के दौरान ही मॉडल को लक्षित भाषा की ओर सफलतापूर्वक मोड़ सके, जब भाषाएं अभी भी मिल रही थीं। एक बार जब पथ फिर से अलग होने लगे, तो इस 'नज' (nudge) का कोई प्रभाव नहीं पड़ा। यह प्रति-सहज (counterintuitive) था क्योंकि कोई उम्मीद कर सकता है कि जिस बिंदु पर भाषाएं सबसे स्पष्ट रूप से भिन्न होती हैं, वहां स्विच करना सबसे आसान होगा। इसके विपरीत, मॉडल तब सबसे अधिक प्रतिक्रियाशील था जब भाषाएं सबसे अधिक मिश्रित अवस्था में थीं।
जब उन्होंने इस स्टीयरिंग तकनीक को लागू किया, तो परिणाम सफलता और विफलता का मिश्रण थे। मॉडल को लक्षित भाषा (जैसे नेपाली) के सही शब्दावली और व्याकरणिक चिह्नों का उपयोग करने के लिए प्रेरित किया जा सका। एक विशिष्ट परीक्षण में, मॉडल ने लक्षित भाषा बोलने के लिए उच्च स्कोर प्राप्त किया, एक ऐसे स्तर तक पहुँच गया जहाँ एक मानव निर्णायक इसे मुख्य रूप से नेपाली के रूप में पहचान सकता था। हालाँकि, यह सफलता एक भारी कीमत पर आई। जैसे-जैसे मॉडल को नई भाषा बोलने के लिए अधिक जोर दिया गया, इसने अपनी प्रवाह क्षमता खो दी। टेक्स्ट खुद को दोहराने लगा, शब्दों या वाक्यांशों को लूप करने लगा, और वाक्य टूटने लगे। शोधकर्ताओं ने पाया कि ऐसा कोई सेटिंग नहीं था जहाँ मॉडल एक ही समय में लक्षмित भाषा को धाराप्रवाह और सही ढंग से बोल सके। इस 'नज' ने भाषा की सतही पहचान को बदल दिया, जिससे वह नेपाली जैसा दिखने लगा, लेकिन यह बोलने वाले के स्वाभाविक प्रवाह और सामंजस्य को बहाल नहीं कर सका।
यह सुनिश्चित करने के लिए कि यह केवल एक इत्तेफाक या किसी विशिष्ट मॉडल की चाल नहीं है, टीम ने एक अलग पद्धति के विरुद्ध अपने परिणामों की तुलना की जिसे 'फ्यू-शॉट प्रॉम्प्टिंग' (few-shot prompting) कहा जाता है, जहाँ वे मॉडल को लिखने के लिए कहने से पहले लक्षित भाषा के उदाहरण दिखाते हैं। इस वैकल्पिक पद्धति ने मॉडल को लक्षित भाषाओं में धाराप्रवाह, प्राकृतिक दिखने वाला टेक्स्ट उत्पन्न करने की अनुमति दी, जिससे सिद्ध हुआ कि मॉडल के पास उन्हें बोलने की वास्तविक क्षमता है। इसने पुष्टि की कि स्टीयरिंग पद्धति की विफलता मॉडल में ज्ञान की कमी के कारण नहीं थी, बल्कि जटिल भाषाई अवस्थाओं के बीच ले जाने के लिए एक एकल, सीधी रेखा वाले 'पुश' के उपयोग की सीमा के कारण थी। अध्ययन ने यह भी खुलासा किया कि शुरुआती भाषा का चुनाव अत्यधिक महत्वपूर्ण था। अंग्रेजी के बजाय हिंदी का उपयोग करना कहीं अधिक बेहतर रहा, भले ही अंग्रेजी मॉडल की ट्रेनिंग में प्रमुख भाषा है। ऐसा इसलिए हुआ क्योंकि हिंदी लक्षित भाषाओं के भाषाई रूप से अधिक करीब है, जो अधिक शब्दावली और संरचना साझा करती है, जिससे उनके बीच का मार्ग छोटा और नेविगेट करने में आसान हो गया।
अध्ययन निष्कर्ष निकालता है कि जबकि एक एकल गणितीय दिशा मॉडल के आउटपुट को एक नई भाषा की नकल करने के लिए बदल सकती है, यह उस भाषा की पूर्ण प्रवाह क्षमता को अनलॉक नहीं कर सकती। यह तकनीक एक 'प्रोब' (probe) की तरह कार्य करती है, जो यह प्रकट करती है कि मॉडल की आंतरिक संरचना में भाषाई पहचान कहाँ लचीली है, बजाय इसके कि यह परिनियोजन (deployment) के लिए एक व्यावहारिक उपकरण के रूप में कार्य करे। इसने दिखाया कि मॉडल की इन भाषाओं को बोलने की क्षमता मौजूद है, लेकिन इसे एक्सेस करने के लिए केवल एक 'नज' से अधिक की आवश्यकता है; इसके लिए 'फ्यू-शॉट प्रॉम्प्टिंग' द्वारा प्रदान किए गए संदर्भ और उदाहरणों की आवश्यकता होती है। शोधकर्ताओं ने यह भी नोट किया कि इस पद्धति की प्रभावशीलता इस बात पर निर्भर करती है कि शुरुआती भाषा लक्षित भाषा से कितनी निकटता से संबंधित है, जिसमें हिंदी ने अंग्रेजी की तुलना में एक बहुत बेहतर सेतु (bridge) साबित किया। अंततः, यह कार्य इन्फरेंस-टाइम स्टीयरिंग की संभावनाओं की सीमाओं को रेखांकित करता है, यह दिखाते हुए कि हालांकि हम एक मॉडल को एक नई भाषा की ओर मोड़ सकते हैं, लेकिन हम अधिक ठोस बदलावों या संदर्भ के बिना उसे उस भाषा में कुशल बनाने के लिए मजबूर नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।