तकनीकी सारांश: LLMs के लिए इन्फरेंस-टाइम क्रॉस-लिंगुअल रिप्रजेंटेशनल अलाइनमेंट के रूप में क्रैडुअल कोड-स्विचिंग (क्रमिक कोड-परिवर्तन)
समस्या विवरण (Problem Statement)
बहुभाषी क्षमताओं में महत्वपूर्ण प्रगति के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) विभिन्न भाषाओं में असमान प्रदर्शन प्रदर्शित करते हैं। यह विसंगति अंग्रेजी-केंद्रित लेटेंट रिप्रजेंटेशन (English-centric latent representations) पर अत्यधिक निर्भरता से उत्पन्न होती है। हालिया अध्ययन संकेत देते हैं कि LLMs अक्सर तर्क करने से पहले गैर-अंग्रेजी इनपुट को आंतरिक रूप से अंग्रेजी में अनुवाद करते हैं, जिससे एक "अनुवाद बाधा" (translation barrier) उत्पन्न होती है। यदि यह प्रारंभिक आंतरिक अनुवाद विफल हो जाता है, तो अंतिम आउटपुट की गुणवत्ता तेजी से गिर जाती है।
इस समस्या को कम करने के लिए मौजूदा दृष्टिकोण, जैसे कि क्रॉस-लिंगुअल इन-कॉन्टेक्स्ट लर्निंग (X-ICL), आमतौर पर एक अचानक, एकल-चरणीय पिवट (pivot) पर निर्भर करते हैं। उदाहरण के लिए, एक मॉडल को लक्ष्य भाषा में कार्य को हल करने के लिए अंग्रेजी प्रदर्शनों (demonstrations) के साथ प्रॉम्प्ट किया जा सकता है, या किसी क्वेरी को तर्क करने से पहले पूरी तरह से अंग्रेजी में अनुवादित किया जा सकता है। ये विधियाँ प्रभावी रूप से लक्ष्य भाषा और मॉडल के अंग्रेजी-केंद्रित लेटेंट स्पेस के बीच के अंतर्निहित रिप्रजेंटेशनल अंतर को पाटने के बजाय केवल सतही कार्य पैटर्न (जैसे, आउटपुट प्रारूप) को स्थानांतरित करती हैं। फलस्वरूप, कम-संसाधन (low-resource) और अनदेखी (unseen) भाषाओं में प्रदर्शन उप-इष्टतम बना रहता है।
कार्यप्रणाली: कोड-स्विचिंग इन-कॉन्टेक्स्ट लर्निंग (CSICL)
लेखक CSICL का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त (training-free), इन्फरेंस-टाइम तंत्र है जिसे तर्क पथ (reasoning trajectory) को स्पष्ट रूप से स्कैफोल्डिंग प्रदान करके क्रॉस-लिंगुअल रिप्रजेंटेशन को संरेखित करने के लिए डिज़ाइन किया गया है। एक अचानक संक्रमण के बजाय, CSICL एक क्रमिक कोड-स्विचिंग (gradual code-switching) रणनीति का उपयोग करता है जो लक्ष्य भाषा से अंग्रेजी की ओर बढ़ता है।
मुख्य तंत्र (Core Mechanism)
CSICL दो प्राथमिक घटकों के माध्यम से कार्य करता है:
- क्रमिक अनुवाद निर्देश (Gradual Translation Instruction): मॉडल को एक गैर-अंग्रेजी इनपुट को धीरे-धीरे अंग्रेजी में अनुवाद करने, अंग्रेजी में सोचने और फिर लक्ष्य भाषा में अंतिम उत्तर उत्पन्न करने के लिए निर्देशित किया जाता है।
- क्रमिक कोड-स्विचिंग प्रदर्शन (Gradual Code-Switching Demonstrations): दिए गए फ्यू-शॉट उदाहरण अचानक भाषा परिवर्तन नहीं करते हैं। इसके बजाय, वे एक चरणबद्ध प्रगति का पालन करते हैं:
- 0% (लक्ष्य भाषा): क्वेरी पूरी तरह से लक्ष्य भाषा में है।
- 25% - 75% (मध्यवर्ती चरण): क्वेरी लक्ष्य भाषा के व्याकरणिक ढांचे (Matrix Language Frame model) को बनाए रखते हुए धीरे-धीरे अंग्रेजी टोकनों को शामिल करती है।
- 100% (अंग्रेजी): क्वेरी पूरी तरह से अंग्रेजी में अनुवादित हो जाती है।
यह क्रमिक बदलाव एक "भाषाई सेतु" (linguistic bridge) के रूप में कार्य करता है, जो LLM को वास्तविक तर्क चरण शुरू होने से पहले गैर-अंग्रेजी इनपुट को उसके अंग्रेजी-केंद्रित रीजनिंग स्पेस के साथ गतिशील रूप से संरेखित करने के लिए प्रेरित करता है।
कार्यान्वयन विवरण (Implementation Details)
- प्रदर्शन निर्माण (Demonstration Construction): प्रत्येक लक्ष्य भाषा के लिए, लेखक क्रमिक कोड-स्विचिंग अनुक्रम उत्पन्न करते हैं। जबकि डिफ़ॉल्ट कार्यान्वयन प्रदर्शन निर्माण के लिए GPT-5 का उपयोग करता है, CSICL मौलिक रूप से किसी बाहरी ओरेकल (oracle) तक सीमित नहीं है। यह विधि स्व-जनरेशन (उसी मॉडल का उपयोग करके) या नियम-आधारित जनरेशन का समर्थन करती है। यह विधि इन्फरेंस मॉडल के रूप में GPT-5 का उपयोग करने तक सीमित नहीं है; शोधकर्ताओं ने चार अलग-अलग मल्टीलिंगुअल LLMs पर CSICL का मूल्यांकन किया है: Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, और Gemini 2.5 Flash।
- दिशात्मकता (Directionality): यह विधि विशेष रूप से लक्ष्य भाषा → अंग्रेजी की ओर संक्रमण करती है। एब्लेशन अध्ययनों से पता चलता है कि यह दिशा विपरीत दिशा (English → Target) की तुलना में बेहतर है, क्योंकि यह इनपुट को मॉडल के लेटेंट स्पेस के साथ संरेखित करती है न कि उससे विचलित करती है।
- विस्तार (Granularity): लेखकों ने विभिन्न स्टेप काउंट्स (जैसे, 3-स्टेप, 5-स्टेप, 7-स्टेप ट्रांजिशन) का परीक्षण किया और पाया कि 5-स्टेप लीनियर ट्रांजिशन आम तौर पर प्रदर्शन और टोकन दक्षता के बीच सबसे अच्छा संतुलन प्रदान करता है।
प्रमुख योगदान (Key Contributions)
- CSICL का प्रस्ताव: एक नया इन्फरेंस-टाइम तंत्र जो अचानक पिवट की खामियों से बचते हुए, संरचित, क्रमिक कोड-स्विचिंग के माध्यम से लक्ष्य भाषाओं और अंग्रेजी रिप्रजेंटेशन के बीच के अंतर को पाटता है।
- व्यवस्थित अनुभवजन्य साक्ष्य (Systematic Empirical Evidence): 4 मल्टीलिंगुअल LLMs (Qwen3, DeepSeek, Grok, Gemini), 6 डेटासेट्स (Global MMLU, MedExpQA, PolyMath सहित), और 10 भाषाओं (उच्च, मध्यम और कम-संसाधन सेटिंग्स को कवर करते हुए) में व्यापक मूल्यांकन।
- लेटेंट स्पेस विज़ुअलाइज़ेशन: पेपर हिडन स्टेट्स के PCA के माध्यम से दृश्य साक्ष्य प्रदान करता है कि CSICL व्यवस्थित रूप से गैर-अंग्रेजी इनपुट रिप्रजेंटेशन को लेटेंट स्पेस में अंग्रेजी एंकर के करीब ले जाता है, जो अलाइनमेंट परिकल्पना की पुष्टि करता है।
- डिज़ाइन फैक्टर विश्लेषण: लेखक दिशात्मकता, ग्रैनुलैरिटी और प्रदर्शन जनरेशन के स्रोत सहित महत्वपूर्ण कारकों का विश्लेषण करते हैं, यह प्रदर्शित करते हुए कि CSICL स्व-जेनरेटेड या नियम-आधारित प्रदर्शनों का उपयोग करने पर भी प्रभावी रहता है।
प्रयोगात्मक परिणाम (Experimental Results)
CSICL सभी मूल्यांकित सेटिंग्स में मानक X-ICL बेसलाइन्स (मोनोलिंगुअल, पैरेलल और ट्रांसलेशन-आधारित प्रॉम्प्टिंग सहित) को लगातार पछाड़ता है।
- प्रदर्शन लाभ:
- लक्ष्य भाषाएँ: मोनोलिंगुअल बेसलाइन्स पर औसत 6.0 प्रतिशत अंक (pp) की वृद्धि।
- अनदेखी भाषाएँ: औसत 4.8 pp की वृद्धि।
- कम-संसाधन सेटिंग्स: सुधार सबसे अधिक कम-संसाधन परिदृश्यों में देखे गए, जहाँ लक्ष्य भाषाओं में 14.7 pp और अनदेखी भाषाओं में 5.3 pp की वृद्धि हुई।
- कार्य विशिष्टता (Task Specificity):
- अनुवाद (Translation): CSICL ने सबसे अधिक लाभ (+6.8 pp लक्ष्य भाषाओं में) प्राप्त किया, क्योंकि क्रमिक संक्रमण सीधे लेटेंट अनुवाद प्रक्रिया को स्कैफोल्ड करता है।
- तर्क (Reasoning): रीजनिंग-उन्मुख कार्यों में महत्वपूर्ण सुधार देखे गए (+5.4 pp), जो सुझाव देते हैं कि क्रमिक अलाइनमेंट के माध्यम से "अंग्रेजी में सोचना" रिप्रजेंटेशनल इंटरफेरेंस को कम करता है।
- ज्ञान (Knowledge): सांस्कृतिक ज्ञान और सामाजिक पूर्वाग्रह कार्यों में मामूली लेकिन निरंतर लाभ मिले।
- दक्षता (Efficiency): हालांकि पूर्ण CSICL कॉन्फ़िगरेशन (5 शॉट्स, 5 स्टेप्स) सरल बेसलाइन्स की तुलना में अधिक टोकन का उपयोग करता है, लेकिन इसका ओवरहेड मानक कॉन्टेक्स्ट विंडोज के भीतर प्रबंधनीय है। उल्लेखनीय रूप से, यहाँ तक कि 0-शॉट और 1-शॉट संस्करण भी मौजूदा X-ICL विकल्पों की तुलना में कम टोकन का उपयोग करते हुए मजबूत बेसलाइन्स से बेहतर प्रदर्शन करते हैं।
महत्व और दावे (Significance and Claims)
पेपर CSICL को मॉडल रिट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता के बिना, इन्फरेंस के दौरान क्रॉस-लिंगुअल मिसअलाइनमेंट को कम करने के लिए एक मजबूत और प्रभावी दृष्टिकोण के रूप में स्थापित करता है।
- समान तैनाती (Equitable Deployment): कम-संसाधन और अनदेखी भाषाओं में प्रदर्शन में सुधार करके, CSICL LLMs को अधिक न्यायसंगत बहुभाषी सिस्टम की ओर ले जाता है, जो वर्तमान सीमा को संबोधित करता है जहाँ क्षमता अंग्रेजी की ओर अत्यधिक झुकी हुई है।
- तंत्र अंतर्दृष्टि (Mechanism Insight): यह कार्य स्थापित करता है कि क्रमिक कोड-स्विचिंग केवल एक शैलीगत विकल्प नहीं है बल्कि एक कार्यात्मक तंत्र है जो तर्क पथ को नियंत्रित करता है, जिससे मॉडल को लक्ष्य भाषा की निष्ठा बनाए रखते हुए अपनी सबसे मजबूत अंग्रेजी तर्क क्षमताओं का लाभ उठाने की अनुमति मिलती है।
- व्यावहारिक उपयोगिता: इस पद्धति को एक हल्के, ट्यूनेबल समाधान के रूप में प्रस्तुत किया गया है जो एक अनुकूल दक्षता-सटीकता ट्रेड-ऑफ प्रदान करता है, जिससे यह बजट-बाधित सेटिंग्स (0/1-शॉट वेरिएंट के माध्यम से) और उच्च-सटीकता आवश्यकताओं दोनों के लिए उपयुक्त हो जाता है।
लेखक निष्कर्ष निकालते हैं कि CSICL क्रॉस-लिंगुअल अलाइनमेंट के लिए एक नया दृष्टिकोण प्रस्तुत करता है, जो यह प्रदर्शित करता है कि लक्ष्य भाषा से अंग्रेजी में संक्रमण को स्पष्ट रूप से स्कैफोल्ड करना मौजूदा LLMs की बहुभाषी क्षमताओं को महत्वपूर्ण रूप से बढ़ा सकता है।