💬 NLP

Language Steering for Multilingual In-Context Learning

यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स में कंप्यूटेड "लैंग्वेज वेक्टर्स" को एक्टिवेशन ऑफसेट्स के रूप में जोड़ने से उनके आंतरिक निरूपण (इंटरनल रिप्रेजेंटेशन्स) को मल्टीलिंगुअल इन-कॉन्टेक्स्ट लर्निंग के लिए लक्षित भाषाओं की ओर प्रभावी ढंग से पुनर्निर्देशित किया जा सकता है, जिससे कार्यों और भाषाओं में सुसंगत प्रदर्शन सुधार प्राप्त होता है और यह भी प्रकट होता है कि भाषा की पहचान मॉडल के एक्टिवेशन स्पेस में पृथक, संरचित दिशाओं में स्थित होती है।

मूल लेखक: Neeraja Kirtane, Kuan-Hao Huang

प्रकाशित 2026-04-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Neeraja Kirtane, Kuan-Hao Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, बहुभाषी सहायक (एक लार्ज लैंग्वेज मॉडल) है जो उत्तम अंग्रेजी बोलता है, लेकिन जब उससे स्वाहिली या बास्क जैसी भाषा में कोई गणितीय समस्या हल करने या किसी कहानी का विश्लेषण करने के लिए कहा जाता है, तो वह संघर्ष करता है। भले ही सहायक को वे अवधारणाएं पता हों, लेकिन भाषा बदलने पर वह भ्रमित हो जाता है, अक्सर गलत उत्तर देता है या अंग्रेजी पर वापस लौट आता है।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक चतुर, "ट्रेनिंग-फ्री" (प्रशिक्षण-मुक्त) तकनीक पेश करता है। लेखक इसे "लैंग्वेज स्टीयरिंग" (Language Steering) कहते हैं।

यहाँ इस अवधारणा को सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "भाषा स्विच" की गड़बड़ी

AI के मस्तिष्क को हजारों डायल और स्विचों वाले एक विशाल, उच्च-तकनीकी नियंत्रण कक्ष के रूप में सोचें। जब AI अंग्रेजी बोलता है, तो डायलों का एक विशिष्ट सेट "इंग्लिश मोड" पर सेट होता है। जब वह स्पेनिश बोलने की कोशिश करता है, तो उसे "स्पैनिश मोड" पर स्विच करना चाहिए।

हालाँकि, वर्तमान मॉडलों में, जब आप इसे अंग्रेजी में प्रॉम्प्ट (उदाहरण) देते हैं लेकिन स्पेनिश में प्रश्न पूछते हैं, तो AI फंस जाता है। यह एक रेडियो की तरह है जो एक स्पष्ट अंग्रेजी स्टेशन पर ट्यून है लेकिन उससे स्पेनिश गाना बजाने के लिए कहा जा रहा है। सिग्नल गड़बड़ा जाता है, और AI गियर बदलने में विफल रहता है।

2. समाधान: "लैंग्वेज जीपीएस" (Language Vectors)

लेखकों ने महसूस किया कि "इंग्लिश मोड" और "स्पैनिश मोड" के बीच का अंतर कोई रहस्य नहीं है; यह AI के मस्तिष्क में एक विशिष्ट दिशा है।

उपमा: कल्पना करें कि AI का मस्तिष्क एक विशाल 3D मानचित्र है। अंग्रेजी एक पहाड़ी के शीर्ष पर एक बिंदु है, और स्पेनिश एक घाटी में एक बिंदु है।
विधि: शोधकर्ताओं ने अंग्रेजी वाक्यों का एक समूह और उनके स्पेनिश अनुवाद लिए। उन्होंने मापा कि AI ने अंग्रेजी संस्करण को कैसे प्रोसेस किया बनाम स्प晰 वर्जन को कैसे प्रोसेस किया, उनके बीच का "दूरी"।
परिणाम: इससे एक "लैंग्वेज वेक्टर" (Language Vector) बना। इस वेक्टर को एक "जीपीएस एरो" (GPS Arrow) या एक "स्टीयरिंग व्हील" के रूप में सोचें। यह ठीक "इंग्लिश मोड" से "स्पैनिश मोड" की ओर इशारा करता है।

3. यह कैसे काम करता है: "धक्का" (The Nudge)

आमतौर पर, AI को किसी नई भाषा में बेहतर बनाने के लिए, आपको उसे फिर से प्रशिक्षित (जैसे वर्षों तक स्कूल जाने जैसा) करना पड़ता है। यह शोध पत्र कहता है: "स्कूल जाने की जरूरत नहीं है! बस उसे एक हल्का सा धक्का दें।"

प्रक्रिया:
1. ऑफलाइन: वे कुछ उदाहरणों का उपयोग करके एक बार में "जीपीएस एरो" (वेक्टर) की गणना करते हैं। इसमें कोई अतिरिक्त प्रशिक्षण समय नहीं लगता।
2. एक्शन में: जब AI कोई समस्या हल कर रहा होता है, तो शोधकर्ता बस इस "जीपीएस एरो" को एक विशिष्ट क्षण पर AI के आंतरिक विचारों में जोड़ देते हैं।
3. प्रभाव: यह कार चलाते समय धीरे से स्टीयरिंग व्हील घुमाने जैसा है। कार (AI) को रुकने या अपना इंजन फिर से बनाने की आवश्यकता नहीं है; यह बस सहजता से अपनी दिशा को "इंग्लिश थिंकिंग" से "स्पैनिश थिंकिंग" की ओर बदल देती है।

4. परिणाम: तर्क के लिए एक सार्वभौमिक अनुवादक

टीम ने 19 अलग-अलग भाषाओं और तीन अलग-अलग AI मॉडलों पर परीक्षण किया।

निष्कर्ष: AI उन भाषाओं में गणितीय समस्याओं को हल करने और तर्क समझने में काफी बेहतर हो गया जिनमें वह पहले संघर्ष करता था।
आश्चर्य: "जीपीएस एरो" यादृच्छिक (रैंडम) नहीं थे। उन्होंने एक सुंदर मानचित्र बनाया। संबंधित भाषाएँ (जैसे स्पेनिश और इतालवी) ऐसे तीर बनाती थीं जो बहुत समान दिशाओं में इशारा करते थे। बहुत भिन्न भाषाएँ (जैसे अंग्रेजी और जापानी) पूरी तरह से अलग दिशाओं में इशारा करती थीं। यह सिद्ध करता है कि AI वास्तव में भाषा की संरचना को समझता है, उसे बस इसे एक्सेस करने के लिए थोड़ी मदद की आवश्यकता थी।

5. यह क्यों महत्वपूर्ण है

पुनः प्रशिक्षण की आवश्यकता नहीं: आपको AI को लाखों नई किताबें खिलाने की आवश्यकता नहीं है। आपको बस "एरो" की गणना करने के लिए कुछ उदाहरणों की आवश्यकता है।
निष्पक्षता: यह कम संसाधन वाली भाषाओं (जैसे स्वाहिली या बास्क) को उच्च-संसाधन वाली भाषाओं के समान प्रदर्शन करने में मदद करता है, जिससे समृद्ध और गरीब भाषाओं के बीच का अंतर कम होता है।
व्याख्यात्मकता (Interpretability): यह हमें दिखाता है कि भाषा केवल AI के मस्तिष्क में शब्दों का एक जंबल नहीं है; यह संगठित है, संरचित है, और सरल गणित के साथ नियंत्रित की जा सकती है।

संक्षेप में: लेखकों ने पाया कि यदि आप जानते हैं कि AI के मस्तिष्क के भीतर एक भाषा की "दिशा" क्या है, तो आप बस एक छोटा सा गणितीय ऑफसेट जोड़ सकते हैं ताकि AI तुरंत भाषा बदल सके, जिससे यह हर जगह, हर किसी के लिए अधिक स्मार्ट और निष्पक्ष बन जाता है।

यहाँ शोध पत्र "Language Steering for Multilingual In-Context Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) उच्च-संसाधन वाली भाषाओं (जैसे अंग्रेजी) और कम-संसाधन वाली भाषाओं के बीच प्रदर्शन में एक महत्वपूर्ण अंतर प्रदर्शित करते हैं, विशेष रूप से बहुभाषी इन-कॉन्टेक्स्ट लर्निंग (Multilingual In-Context Learning - ICL) में। एक विशिष्ट क्रॉस-लिंगुअल ICL सेटअप में, मॉडल को अंग्रेजी (स्रोत भाषा) में कुछ-शॉट (few-shot) प्रदर्शन दिए जाते हैं, लेकिन उसे लक्ष्य भाषा में उत्तर देना होता है। मॉडल के पास लक्ष्य भाषा का आंतरिक ज्ञान होने के बावजूद, प्रदर्शन अक्सर गिर जाता है क्योंकि मॉडल अंग्रेजी से लक्ष्य भाषा में अपने आंतरिक तर्क मोड (reasoning mode) को प्रभावी ढंग से "स्विच" करने में विफल रहता है।

लेखक यह परिकल्पना करते हैं कि यह अंतर आंतरिक ज्ञान की कमी के कारण नहीं है, बल्कि इसलिए है क्योंकि भाषा की पहचान (language identity) मॉडल के एक्टिवेशन स्पेस में एक पृथक, संरचित दिशा (separable, structured direction) के रूप में एनकोडेड है। यदि यह सत्य है, तो एक सरल एक्टिवेशन ऑफसेट के माध्यम से मॉडल के आंतरिक प्रतिनिधित्व को लक्ष्य भाषा की ओर स्थानांतरित करके, बिना पुन: प्रशिक्षण या अतिरिक्त डेटा के, इस प्रदर्शन अंतराल को भरा जा सकता है।

2. कार्यप्रणाली: लैंग्वेज वेक्टर्स (Methodology: Language Vectors)

लेखक लैंग्वेज वेक्टर्स (Language Vectors) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, इन्फरेंस-टाइम स्टीयरिंग विधि है। यह दृष्टिकोण तीन मुख्य चरणों से बना है:

A. वेक्टर गणना (Vector Computation - Offline)

डेटा तैयारी: लेखक $N$ समानांतर नमूनों का एक कंप्यूट सेट ( $D_{compute}$ ) तैयार करते हैं। प्रत्येक नमूना दोनों भाषाओं (स्रोत भाषा $L_s$ , अंग्रेजी और लक्ष्य भाषा $L_t$ ) में $k$ प्रश्न-उत्तर युग्मों (few-shot फॉर्मेट) से बना होता है।
एक्टिवेशन निष्कर्षण: मॉडल इन समानांतर नमूनों को प्रोसेस करता है। एक विशिष्ट लेयर $t$ के लिए, एक नमूने के सभी टोकन के हिडन स्टेट्स को एक सिंगल वेक्टर प्रतिनिधित्व प्राप्त करने के लिए मीन-पूल (mean-pooled) किया जाता है ( $h^s_i(t)$ स्रोत के लिए, $h^t_i(t)$ लक्ष्य के लिए)।
वेक्टर गणना: लैंग्वेज स्टीयरिंग वेक्टर $v(t)$ की गणना सभी $N$ नमूनों में लक्ष्य और स्रोत प्रतिनिधित्व के माध्य अंतर के रूप में की जाती है:
$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h^t_i(t) - h^s_i(t))$
यह वेक्टर एक्टिवेशन स्पेस में उस "दिशा" का प्रतिनिधित्व करता है जो मॉडल को अंग्रेजी प्रोसेसिंग पैटर्न से लक्ष्य भाषा के प्रोसेसिंग पैटर्न की ओर स्थानांतरित करता है।

B. इन्फरेंस-टाइम स्टीयरिंग (Inference-Time Steering)

इन्फरेंस के दौरान, मॉडल को अंग्रेजी में कुछ-शॉट प्रदर्शन और उसके बाद एक लक्ष्य भाषा क्वेरी प्राप्त होती है।

संशोधन: एक विशिष्ट लेयर $t$ और टोकन पोजीशन $P$ पर (उदाहरण के लिए, कुछ-शॉट टोकन, प्रश्न, या पूरे प्रॉम्प्ट पर), हिडन स्टेट $h_p(t)$ को संशोधित किया जाता है:
$h'_p(t) = h_p(t) + \alpha \cdot v(t)$
जहाँ $\alpha$ एक स्केलिंग हाइपरपैरामीटर है जो स्टीयरिंग की शक्ति को नियंत्रित करता है।
कार्यान्वयन: यह फॉरवर्ड हुक्स (forward hooks) के माध्यम से प्राप्त किया जाता है, जिसमें कोई पैरामीटर अपडेट या ग्रेडिएंट गणना की आवश्यकता नहीं होती है।

3. प्रमुख योगदान (Key Contributions)

नवाचारपूर्ण स्टीयरिंग दृष्टिकोण: विशेष रूप से बहुभाषी ICL के लिए "लैंग्वेज वेक्टर्स" पेश किए, जो पूर्ववर्ती एक्टिवेशन स्टीयरिंग कार्यों (जो आउटपुट फिडेलिटी या ज़ीरो-शॉट कार्यों पर केंद्रित थे) का विस्तार करते हैं ताकि कुछ-शॉट सेटिंग्स में डाउनस्ट्रीम टास्क सटीकता में सुधार किया जा सके।
व्यापक मूल्यांकन: तीन डेटासेट्स (MGSM गणितीय तर्क के लिए, MSVAMP अंकगणित के लिए, XNLI प्राकृतिक भाषा निष्कर्ष के लिए), 19 भाषाओं, और तीन मॉडल्स (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B) पर मूल्यांकन किया गया।
भाषाई संरचना की खोज: यह प्रदर्शित किया कि गणना किए गए वेक्टर्स सार्थक भाषाई ज्यामिति (linguistic geometry) को एनकोड करते हैं। निकट संबंधी भाषाएं (जैसे कैटलन-गैलिशियन, हिंदी-उर्दू) वेक्टर स्पेस में घने क्लस्टर बनाती हैं, और वेक्टर नॉर्म्स अंग्रेजी से टोपोलॉजिकल दूरी के साथ सह-संबंधित होते हैं।
क्रॉस-टास्क ट्रांसफर: दिखाया गया कि एक कार्य (जैसे Math) पर गणना किए गए लैंग्वेज वेक्टर्स दूसरे कार्य (जैसे NLI) पर प्रदर्शन को प्रभावी ढंग से स्टीयर कर सकते हैं, जो यह सुझाव देता है कि वे कार्य-विशिष्ट विशेषताओं के बजाय सामान्य भाषा पहचान को कैप्चर करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि की तुलना दो बेसलाइन्स से की गई:

सोर्स बेसलाइन (B): अंग्रेजी कुछ-शॉट प्रॉम्प्ट (मानक क्रॉस-लिंगुअल ट्रांसफर)।
मल्टीलिंगुअल फ्यू-शॉट (MFS): कई भाषाओं से लिए गए कुछ-शॉट उदाहरण (विविध प्रॉम्प्टिंग)।
ओरेकल (Oracle): लक्ष्य भाषा के कुछ-शॉट प्रॉम्प्ट (अपर बाउंड)।

मुख्य निष्कर्ष:

निरंतर सुधार: प्रस्तावित विधि ("Ours") ने सभी कार्यों और भाषाओं में सोर्स बेसलाइन को लगातार पछाड़ दिया।
- MGSM (मैथ रीजनिंग): सबसे महत्वपूर्ण लाभ दिखाए (जैसे, बेसलाइन से +2.9% से +5.4%), जो दर्शाता है कि संरचित तर्क (structured reasoning) भाषा स्टीयरिंग से अत्यधिक लाभान्वित होता है।
- XNLI और MSVAMP: मध्यम लेकिन निरंतर सुधार दिखाए, हालांकि कुछ अंकगणितीय परिदृश्यों में MFS बेसलाइन प्रतिस्पर्धी रही।
मॉडल एग्नोस्टिक (Model Agnostic): विभिन्न आकारों (7B से 14B) के Llama-3.1 और Qwen2.5 परिवारों में सुधार देखे गए।
लेयर संवेदनशीलता (Layer Sensitivity): स्टीयरिंग प्रारंभिक से मध्यवर्ती लेयर्स (जैसे, रीजनिंग के लिए लेयर्स 5–10, NLI के लिए लेयर 10) में सबसे प्रभावी थी, जो यह सुझाव देती है कि ये लेयर्स मुख्य भाषा पहचान परिवर्तनों को एनकोड करती हैं।
क्रॉस-टास्क ट्रांसफर: MGSM पर गणना किए गए वेक्टर्स ने XNLI और MSVAMP पर प्रदर्शन में सफलतापूर्वक सुधार किया (MSVAMP $\to$ XNLI को छोड़कर, जो विफल रहा, जिससे पता चलता है कि MSVAMP वेक्टर्स अत्यधिक कार्य-विशिष्ट गणितीय पैटर्न को एनकोड कर सकते हैं)।

5. महत्व और निहितार्थ (Significance and Implications)

दक्षता: इस विधि के लिए शून्य प्रशिक्षण (zero training), कोई फाइन-ट्यूनिंग नहीं, और वेक्टर गणना के लिए छोटे कंप्यूट सेट के अलावा कोई अतिरिक्त समानांतर डेटा की आवश्यकता नहीं है। यह कम-संसाधन सेटिंग्स के लिए अत्यधिक व्यावहारिक है।
व्याख्यात्मकता (Interpretability): परिणाम इस बात का पुख्ता प्रमाण देते हैं कि LLMs एक "यूनिवर्सल सिमेंटिक स्पेस" में काम करते हैं जहाँ भाषा की पहचान एक रैखिक, पृथक दिशा है। यह मैकेनिस्टिक इंटरप्रिटेबिलिटी में "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" का समर्थन करता है।
समता (Equity): कम-संसाधन वाली भाषाओं के लिए प्रदर्शन में गिरावट के बिना उच्च-गुणवत्ता वाले अंग्रेजी प्रदर्शनों का लाभ उठाने में सक्षम बनाकर, यह दृष्टिकोण भाषा प्रौद्योगिकियों तक अधिक न्यायसंगत पहुंच का मार्ग प्रदान करता है।
सीमाएँ: इस विधि के लिए प्रति भाषा हाइपरपैरामीटर ( $\alpha$ , लेयर $t$ , पोजीशन $P$ ) को ट्यून करने के लिए एक होल्ड-आउट वैलिडेशन सेट की आवश्यकता होती है, और यह वर्तमान में स्टीयरिंग वेक्टर गणना के लिए समानांतर डेटा के अस्तित्व पर निर्भर है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि एक सरल एक्टिवेशन ऑफसेट मॉडल के आंतरिक "भाषा मोड" को प्रभावी रूप से पुनर्निर्देशित कर सकता है, जो मॉडल के वेट्स (weights) को बदले बिना क्रॉस-लिंगुअल रीजनिंग और इन्फरेंस क्षमताओं में महत्वपूर्ण सुधार करता है।