The Latin Substrate: How Language Models Represent and Mediate Script Choice
यह शोध पत्र प्रकट करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) साझा लेटेंट रिप्रजेंटेशन्स और भाषा-अज्ञेय तंत्रों के माध्यम से लिपि चयन में मध्यस्थता करते हैं, जो एक संरचनात्मक विषमता प्रदर्शित करते हैं जहाँ गैर-लैटिन लिपियों को विशिष्ट विलंब-परत (लेट-लेयर) घटकों द्वारा नियंत्रित किया जाता है जबकि लैटिन लिपि एक विशेषाधिकार प्राप्त, विसरित डिफ़ॉल्ट आधार के रूप में उभरती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े भाषा मॉडल (LLM) की कल्पना एक विशाल, बहुभाषी अनुवादक के रूप में करें जिसने दुनिया में लिखी गई लगभग हर चीज़ को पढ़ा है। लेकिन यहाँ एक मोड़ है: इस अनुवादक की सोचने के लिए एक पसंदीदा "होम बेस" भाषा है: लैटिन लिपि (A, B, C वर्णमाला जिसका उपयोग अंग्रेजी, फ्रेंच, स्पेनिश आदि में किया जाता है)।
यह शोध पत्र जांच करता है कि यह अनुवादक विभिन्न लेखन प्रणालियों का उपयोग करने वाली भाषाओं, जैसे कि हिंदी (जो देवनागरी का उपयोग करती है), अरबी, या रूसी (सिरिलिक) को कैसे संभालता है। शोधकर्ताओं ने पाया कि मॉडल केवल एक लाइट स्विच की तरह इन लिपियों के बीच स्विच नहीं करता है। इसके बजाय, यह एक बहुत ही विशिष्ट, एकतरफा रास्ते का पालन करता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "छिपा हुआ बिचौलिया" (Latent Romanization)
जब आप मॉडल से मलयालम (भारत की एक भाषा) के एक शब्द को देवनागरी में अनुवाद करने के लिए कहते हैं, तो आप उम्मीद कर सकते हैं कि वह सीधे "मलयालम" से "देवनागरी" में चला जाएगा।
हालाँकि, शोधकर्ताओं ने मॉडल के "मस्तिष्क" के भीतर परत दर परत देखा और एक आश्चर्यजनक बात पाई। अंतिम देवनागरी अक्षर लिखने से पहले, मॉडल संक्षिप्त रूप से लैटिन अक्षरों में सोचता है।
- उपमा: कल्पना कीजिए कि आप अपने एक मित्र को एक जटिल विचार समझाने की कोशिश कर रहे हैं जो एक अलग भाषा बोलता है। आप केवल तुरंत भाषा नहीं बदलते; पहले आप अपने विचार को अपनी भाषा में सोचते हैं, शायद यह सुनिश्चित करने के लिए कि आपने अर्थ सही समझा है, उसे अपनी लिपि में लिखते भी हैं, और फिर अपने मित्र की लिपि में अनुवाद करते हैं।
- निष्कर्ष: मॉडल यह स्वचालित रूप से करता है। यह अंतिम देवनागरी अक्षर आउटपुट करने से पहले अपने मध्यवर्ती परतों (middle layers) में इसे एक "लैटिन-युक्त" (Latin-ized) संस्करण में बदल देता है। यह लैटिन को एक सार्वभौमिक सेतु (bridge) के रूप में मानता है।
2. "एकतरफा रास्ता" (Directional Asymmetry)
शोध पत्र ने इन लिपियों को संभालने के तरीके में एक बड़ा असंतुलन पाया।
- लैटिन की ओर जाना (Non-Latin → Latin): यह आसान और सीधा है। मॉडल के पास एक विशिष्ट, संक्षिप्त "गेट" या स्विच है जो लैटिन टेक्स्ट बनाने के लिए चालू होता है। यह एक समर्पित हाईवे एग्जिट की तरह है।
- गैर-लैटिन की ओर जाना (Latin → Non-Latin): यह अव्यवस्थित और फैला हुआ है। हिंदी, अरबी या रूसी उत्पन्न करने के लिए, मॉडल एक एकल स्विच का उपयोग नहीं करता है। इसके बजाय, यह नेटवर्क में बिखरे हुए सैकड़ों छोटे, कमजोर संकेतों पर निर्भर करता जो मिलकर काम करते हैं।
- उपमा: मॉडल के मस्तिष्क को एक शहर के रूप में सोचें।
- लैटिन लिपि शहर का केंद्र (City Center) है। यह विशाल, खुला और हर जगह है। शहर के केंद्र तक पहुँचना आसान है क्योंकि आप किसी भी दिशा से वहाँ पहुँच सकते हैं।
- गैर-लैटिन लिपियाँ विशेषीकृत पड़ोस (Specialized Neighborhoods) हैं। वहाँ पहुँचने के लिए, आपको एक विशिष्ट, संकीखी सुरंग (एक "गेट") की आवश्यकता होती है। यदि आप शहर के केंद्र से किसी पड़ोस में जाने की कोशिश करते हैं, तो आपको एक जटिल, घुमावदार रास्ते पर नेविगेट करना होगा जो कई अलग-अलग सड़कों पर निर्भर करता है। यदि आप एक सड़क को अवरुद्ध कर देते हैं, तो भी आप वहाँ पहुँच सकते हैं, लेकिन यदि आप उस विशिष्ट सुरंग को ब्लॉक कर देते हैं, तो आप अंदर नहीं जा पाएंगे।
3. "स्टीयरिंग व्हील" (नियंत्रण करने वाली लिपि)
शोधकर्ताओं ने गणित का उपयोग करके मॉडल को "स्टीयर" (नियंत्रित) करने की कोशिश की। उन्होंने एक सरल वेक्टर (दिशा) की गणना की जो "लैटिन पर स्विच करें" या "नेटिव स्क्रिप्ट पर स्विच करें" का प्रतिनिधित्व करता है।
- परिणाम: उन्होंने पाया कि वे मॉडल की आंतरिक गणित को सही दिशा में धकेल कर लैटिन या एक विशिष्ट गैर-लैटिन लिपि आउटपुट करने के लिए मजबूर कर सकते हैं।
- सावधानी: "धकेलना" (nudge) किसी भी गैर-लैटिन टेक्स्ट को लैटिन में बदलने के लिए पूरी तरह से काम कर गया। लेकिन लैटिन टेक्स्ट को एक विशिष्ट गैर-लैटिन लिपि में बदलना कठिन और कम स्थिर था। यह एक ऐसे स्टीयरिंग व्हील की तरह है जो कार को बाईं ओर (लैटिन की ओर) बहुत सुचारू रूप से मोड़ता है, लेकिन दाईं ओर (एक विशिष्ट गैर-लैटिन लिपि की ओर) मुड़ने के लिए बहुत अधिक सटीक और शक्तिशाली धक्के की आवश्यकता होती है।
4. "सार्वभौमिक द्वारपाल" (Mechanistic Localization)
सबसे रोमांचक हिस्सा यह है कि शोधकर्ताओं ने उन सटीक "स्विचों" (विशिष्ट अटेंशन हेड्स) को खोज लिया जो गैर-लैटिन लिपियों के लिए जिम्मेदार हैं।
- निष्कर्ष: उन्होंने मॉडल के भीतर लगभग 5 विशिष्ट "श्रमिकों" (न्यूरॉन्स/हेड्स) के एक छोटे समूह को पाया जो गैर-लैटिन लिपियों के लिए द्वारपाल (gatekeepers) के रूप में कार्य करते हैं।
- जादू: ये कार्यकर्ता भाषा-अज्ञेयवादी (language-agnostic) हैं। यदि आप हिंदी और अरबी के लिए प्रशिक्षित "द्वारपालों" को रूसी, जापानी या ग्रीक पर उपयोग करते हैं, तो वे अभी भी काम करते हैं! उन्हें इस बात की परवाह नहीं है कि कौन सी गैर-लैटिन भाषा है; वे बस यह जानते हैं कि मॉडल को "लैटिन मोड" से "गैर-लैटिन मोड" में कैसे स्विच करना है।
- उपमा: एक क्लब के सुरक्षा गार्ड की कल्पना करें। गार्ड को इससे फर्क नहीं पड़ता कि आपने साड़ी, किमोनो या किल्ट पहनी है। वह बस आपका आईडी चेक करता है कि क्या आपको "गैर-लैटिन वीआईपी सेक्शन" में जाने की अनुमति है। एक बार जब आप अंदर होते हैं, तो गार्ड आपको आपकी पोशाक की परवाह किए बिना अंदर जाने देता है।
सारांश
शोध पत्र यह निष्कर्ष निकालता है कि बड़े भाषा मॉडलों में लैटिन लिपि के प्रति एक विशेषाधिकार प्राप्त पूर्वाग्रह (privileged bias) होता है।
- लैटिन मॉडल का डिफ़ॉल्ट, आरामदायक "घर" है जहाँ जानकारी संग्रहीत और संसाधित की जाती है।
- गैर-लैटिन लिपियों को एक विशिष्ट, संक्षिप्त "गेट" के माध्यम से एक्सेस किया जाता है जो इस लैटिन आधार के ऊपर स्थित है।
मॉडल सभी लिपियों को समान नहीं मानता; वह लैटिन को सार्वभौमिक आधार (substrate) मानता है और बाकी सब कुछ विशिष्ट, स्थानीयकृत तंत्रों का उपयोग करके उसके ऊपर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।