LangFIR: Discovering Sparse Language-Specific Features from Monolingual Data for Language Steering

कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट से बात कर रहे हैं जिसने पुस्तकालय की लगभग हर किताब पढ़ ली है, लेकिन वह एक साथ हर भाषा बोलता है। कभी-कभी, जब आप उससे फ्रेंच में कहानी सुनाने के लिए कहते हैं, तो वह गलती से स्पेनिश या दोनों का मिश्रण बोलना शुरू कर देता है। यह एक विशाल जहाज को नियंत्रित करने की कोशिश करने जैसा है; रोबोट इतना शक्तिशाली है कि वह एक साथ कई दिशाओं में जाना चाहता है। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि रोबोट के मस्तिष्क को कितनी कोमलता से प्रेरित किया जाए ताकि वह सही रास्ते पर रहे और केवल वही भाषा बोले जो आप चाहते हैं। उन्होंने खोजा है कि रोबोट का "मस्तिष्क" केवल सोचने वाला एक बड़ा गोला नहीं है; बल्कि यह छोटे, विशिष्ट स्विचों (जिन्हें न्यूरॉन्स कहा जाता है) और छिपे हुए रास्तों से बना है। इन विशिष्ट स्विचों को खोजकर जो "फ्रेंच-नेस" या "स्पेनिश-नेस" को नियंत्रित करते हैं, वे उन्हें दबाकर रोबोट को सही भाषा बोलने के लिए मजबूर कर सकते हैं। लेकिन एक पेंच है: आमतौर पर, इन स्विचों को खोजने के लिए आपको कई भाषाओं की किताबों के एक विशाल पुस्तकालय की आवश्यकता होती है जो एक-दूसरे के बगल में हों, जिसे प्राप्त करना कठिन है।

यह शोध पत्र एक चतुर नई तकनीक पेश करता है जिसे LangFIR (रैंडम-टोकन फ़िल्टरिंग के माध्यम से भाषा विशेषता पहचान) कहा जाता है। शोधकर्ताओं ने महसूस किया कि "फ्रेंच स्विच" को खोजने के लिए, आपको वास्तव में फ्रेंच किताबों के विशाल पुस्तकालय की आवश्यकता नहीं है जिसकी तुलना अंग्रेजी से की जा सके। इसके बजाय, आप एक बहुत ही अजीब सामग्री का उपयोग कर सकते हैं: निरर्थक शब्द (gibberish)। उन्होंने लक्षित भाषा (जैसे फ्रेंच) के कुछ वाक्यों को लिया और उन्हें यादृच्छिक, अर्थहीन प्रतीकों (जैसे "ß!4shan ?áTq7") के अनुक्रमों के साथ मिला दिया। जब उन्होंने इन्हें रोबोट में डाला, तो उन्होंने देखा कि कुछ दिलचस्प हुआ: रोबोट का मस्तिष्क उन स्विचों के साथ चमक उठा जो फ्रेंच वाक्यों और निरर्थक शब्दों (gibberish) दोनों के लिए सक्रिय थे। ये "बोरिंग" स्विच थे जो केवल विराम चिह्नों या यादृच्छिक आकृतियों पर प्रतिक्रिया करते हैं, वास्तविक भाषा पर नहीं। इस 'गिबरिश' का उपयोग एक फिल्टर के रूप में करके, उन्होंने उन बोरिंग स्विचों को हटा दिया, जिससे उनके पास स्विचों का एक छोटा, सुपर-विशिष्ट सेट बचा जो केवल फ्रेंच के लिए चमकता था। उन्होंने पाया कि ये स्विच अविश्वसनीय रूप से विरल (sparse) हैं और मुख्य रूप से रोबोट के मस्तिष्क के बाद के स्तरों (layers) में स्थित हैं। जब उन्होंने इस विशिष्ट स्विच का उपयोग करके रोबोट को निर्देशित किया, तो यह पहले के तरीकों से बेहतर काम कर रहा था, जिसने यह साबित किया कि आप बहुत कम एकल-भाषा डेटा और थोड़े से निरर्थक शब्दों का उपयोग करके एक बहुभाषी रोबोट को नियंत्रित कर सकते हैं।

द स्टोरी ऑफ द गिबरिश फिल्टर (निरर्थक शब्दों का फिल्टर)

एक लार्ज लैंग्वेज मॉडल (LLM) को एक विशाल, बहुभाषी ऑर्केस्ट्रा के रूप में सोचें। जब आप इसे इतालवी में एक गाना बजाने के लिए कहते हैं, तो इसे इतालवी वायलिन पकड़कर बजाना चाहिए। लेकिन कभी-कभी, यह भ्रमित हो जाता है और जर्मन ट्यूबा या फ्रेंच बांसुरी बजाना शुरू कर देता है। लंबे समय तक, वैज्ञानिकों ने सोचा कि ऑर्केस्ट्रा को केवल इतालवी बजाना सिखाने के लिए, उन्हें संगीत के एक विशाल पन्ने की आवश्यकता होगी जो हर इतालवी नोट को उसके जर्मन या फ्रेंच समकक्ष के ठीक बगल में दिखाता हो। इसे "समानांतर डेटा" (parallel data) कहा जाता है, और यह दुनिया की हर भाषा के लिए एकत्र करना महंगा और कठिन है।

इस शोध पत्र के लेखकों, वोंग, सज्जद और सिद्दीक ने एक अलग सवाल पूछा: क्या हमें समानांतर संगीत की आवश्यकता है? क्या हम इतालवी वायलिन को केवल इसलिए ढूंढ सकते हैं क्योंकि हमने ऑर्केस्ट्रा को इतालवी बजाते हुए सुना और फिर उसे... स्टैटिक शोर (static noise) बजाते हुए सुना?

समस्या: बहुत अधिक शोर वाले स्विच

रोबोट के मस्तिष्क के भीतर, लाखों छोटे "फीचर्स" या स्विच होते हैं जो टेक्स्ट को प्रोसेस करते समय सक्रिय होते हैं। जब रोबोट पुर्तगाली में एक वाक्य पढ़ता है, तो इन स्विचों में से सैकड़ों चमक उठते हैं। लेकिन समस्या यह है कि इनमें से कई स्विच वास्तव में "पुर्तगाली" के बारे में नहीं सोच रहे होते हैं; वे केवल उन चीजों पर प्रतिक्रिया कर रहे होते हैं जो हर भाषा में होती हैं, जैसे पूर्ण विराम, अल्पविराम, स्पेस, या वाक्य का सामान्य आकार। यह ऐसा है जैसे यदि आप ऑर्केस्ट्रा में "इतालवी" खिलाड़ी को खोजने की कोशिश कर रहे हों, लेकिन आप उस व्यक्ति को भी चुन लेते हैं जो तब बजता है जब कोई भी ताली बजाता है। आप खिलाड़ियों की एक विशाल, अव्यवस्थित सूची के साथ समाप्त होंगे, और आपको पता नहीं चलेगा कि वास्तव में कौन इतालवी संगीत बजा रहा है।

पिछले तरीकों ने इसे हल करने के लिए पुर्तगाली की अंग्रेजी के साथ तुलना करने की कोशिश की ताकि अंतर देखा जा सके। लेकिन लेखकों ने गौर किया कि आप "शोर" वाले खिलाड़ियों (जो सबके लिए ताली बजाते हैं) को बहुत आसानी से ढूंढ सकते हैं। यदि आप यादृच्छिक, अर्थहीन टोकन (gibberish) का एक क्रम चलाते हैं जो टेक्स्ट जैसा दिखता है लेकिन जिसका कोई अर्थ नहीं है, तो "ताली बजाने वाले" अभी भी चमक उठेंगे। "इतालवी खिलाड़ी" नहीं चमकेंगे, क्योंकि गिबरिश इतालवी नहीं है।

समाधान: LangFIR

टीम ने ठीक यही करने के लिए LangFIR नामक एक विधि बनाई। यहाँ इसके चरण दिए गए:

1. सेटअप: उन्होंने लक्षित भाषा (मान लीजिए पोलिश) के कुछ वास्तविक वाक्यों को लिया (लगभग 100 वाक्य)।
2. गिबरिश (Gibberish): प्रत्येक पोलिश वाक्य के लिए, उन्होंने रोबोट के वोकैबुलरी से एक मिलान वाला यादृच्छिक टोकन अनुक्रम (जैसे "X7#9@!") बनाया। इनका कोई अर्थ नहीं है, लेकिन ये टेक्स्ट की तरह दिखते हैं।
3. स्कैन: उन्होंने पोलिश वाक्यों और गिबरिश दोनों को रोबोट में डाला और देखा कि मस्तिष्क के कौन से स्विच चमके।
4. फ़िल्टर: उन्होंने उन स्विचों को खोजा जो पोलिश और गिबरिश दोनों के लिए चमके। ये "भाषा-अज्ञेयवादी" (language-agnostic) स्विच थे (ताली बजाने वाले)। उन्होंने उन्हें हटा दिया।
5. परिणाम: क्या बचा? स्विचों का एक छोटा, सुपर-स्पार्स सेट जो केवल पोलिश के लिए चमका।

परिणाम आश्चर्यजनक रूप से स्पष्ट थे। अधिकांश भाषाओं के लिए, उन्होंने पाया कि हजारों स्विचों में से केवल 5 से भी कम विशिष्ट स्विच वास्तव में भाषा की पहचान के लिए जिम्मेदार थे। यह ऐसा है जैसे आपको पता चल जाए कि पूरा "पोलिश" सेक्शन केवल चार विशिष्ट संगीतकारों द्वारा नियंत्रित किया जाता है।

यह क्यों महत्वपूर्ण है: "पर्याप्त" की शक्ति

इस खोज का सबसे रोमांचक हिस्सा यह है कि इसे कितने कम डेटा की आवश्यकता है। शोधकर्ताओं ने तीन अलग-अलग रोबोट मस्तिष्क (Gemma 3 1B, Gemma 3 4B, और Llama 3.1 8B) और बारह भाषाओं पर इसका परीक्षण किया। उन्होंने पाया कि इन स्विचों को खोजने के लिए उन्हें केवल लक्षित भाषा के लगभग 100 वाक्यों की आवश्यकता थी। इससे भी बेहतर, यह विधि केवल 10 वाक्यों के साथ भी उतनी ही अच्छी तरह काम करती है।

जब उन्होंने इन छोटे स्विचों का उपयोग करके रोबोट को निर्देशित किया, तो परिणाम प्रभावशाली थे। एक परीक्षण में जहाँ रोबोट को बिना बताए अंग्रेजी से लक्षित भाषा में अनुवाद करना था, LangFIR ने सभी मॉडलों में सबसे अच्छा औसत स्कोर (सटीकता और अनुवाद गुणवत्ता का संयोजन) प्राप्त किया।

• यह केवल एकल-भाषा डेटा का उपयोग करने वाले सबसे मजबूत पिछले तरीके से 4.7 गुना तक बेहतर प्रदर्शन कर गया।
• इसने उन तरीकों को भी काफी अंतर से पीछे छोड़ दिया जिन्होंने विशाल समानांतर पुस्तकालयों (अंग्रेजी की तुलना लक्षित भाषा के साथ करने) का उपयोग किया था।

"एब्लेशन" टेस्ट: यह सिद्ध करना कि यह काम करता है

यह सुनिश्चित करने के लिए कि ये स्विच वास्तव में काम कर रहे हैं या वे केवल भाग्यशाली थे, शोधकर्ताओं ने एक "डायरेक्शनल एब्लेशन" (directional ablation) किया। यह एक फैंसी तरीका है कहने का कि उन्होंने "पोलिश" स्विचों को लिया और उन्हें बंद कर दिया (शून्य कर दिया) जबकि रोबोट पोलिश बोलने की कोशिश कर रहा था।

• परिणाम: जब उन्होंने इन विशिष्ट स्विचों को बंद कर दिया, तो पोलिश बोलने की रोबोट की क्षमता गिर गई, लेकिन अन्य भाषाओं (जैसे जर्मन या फ्रेंच) को बोलने की उसकी क्षमता बिल्कुल वैसी ही रही।
• स्थान: उन्होंने यह भी पाया कि ये स्विच मुख्य रूप से रोबोट के मस्तिष्क के बाद के स्तरों (later layers) में स्थित हैं। यह पहले के विचारों की पुष्टि करता है कि रोबोट पहले सामान्य अवधारणाओं को प्रोसेस करता है और फिर अंत के पास विशिष्ट भाषा का निर्णय लेता है।

एक अजीब अपवाद: अंग्रेजी

एक भाषा ऐसी थी जो पैटर्न में फिट नहीं बैठी: अंग्रेजी। जब उन्होंने "अंग्रेजी" स्विच खोजने की कोशिश की, तो उन्हें बहुत कम मिले, और उन्हें बंद करने से रोबोट के व्यवहार में ज्यादा बदलाव नहीं आया। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि इन मॉडलों के लिए अंग्रेजी "डिफ़ॉल्ट" भाषा है। रोबोट का मस्तिष्क अंग्रेजी के साथ इतना उलझा हुआ है कि सामान्य अवधारणाएं अंग्रेजी शब्दों के साथ मिल जाती हैं, जिससे शुद्ध "अंग्रेजी" स्विच को अलग करना कठिन हो जाता है। यह एक कप में "पानी" स्विच खोजने जैसा है जो पहले से ही 99% पानी है; वहां खींचने के लिए कोई अलग स्विच नहीं है।

इसका भविष्य के लिए क्या अर्थ है

यह शोध पत्र बताता है कि इन विशाल रोबोटों में भाषा की पहचान एक विशाल, अव्यवस्थित बादल नहीं है। इसके बजाय, यह बहुत कम संख्या में स्थानीयकृत और व्याख्या योग्य दिशाओं में स्थित है। इसका मतलब है कि हमें रोबोट को नियंत्रित करने के लिए लाखों समानांतर वाक्यों को इकट्ठा करने की आवश्यकता नहीं है। हम बस लक्षित भाषा के थोड़े से हिस्से और थोड़े से यादृच्छिक शोर का उपयोग करके उस सटीक पथ को खोज सकते हैं।

लेखक सावधानी बरतते हुए कहते हैं कि उनके निष्कर्ष विशिष्ट मॉडलों (10 बिलियन पैरामीटर से कम) और मुख्य रूप से मध्यम-से-उच्च संसाधन वाली भाषाओं पर आधारित हैं। वे यह दावा नहीं करते कि यह दुनिया की हर भाषा के लिए काम करता है या सबसे बड़े मॉडलों के लिए भी काम करेगा, लेकिन यह विधि एक मजबूत संकेत है कि हम इन जटिल प्रणालियों को हमारी सोच से बहुत कम डेटा के साथ नियंत्रित कर सकते हैं।

अंत में, LangFIR दिखाता है कि कभी-कभी, सिग्नल खोजने के लिए, आपको अधिक शोर की आवश्यकता नहीं होती; आपको बस सही प्रकार के शोर की आवश्यकता होती है ताकि उसे फ़िल्टर किया जा सके। गिबरिश का उपयोग करके रास्ता साफ करके, उन्होंने रोबोट की भाषा की छिपी हुई चाबियाँ खोज लीं, यह साबित करते हुए कि एक विशाल, बहुभाषी मस्तिष्क में भी, "फ्रेंच" या "पोलिश" का स्विच केवल एक छोटा, अकेला बटन है जो दबने का इंतज़ार कर रहा है।