Indic-TunedLens: Interpreting Multilingual Models in Indian Languages
यह शोध पत्र Indic-TunedLens का परिचय देता है, जो एक नवीन व्याख्यात्मकता ढांचा (interpretability framework) है जो छिपे हुए अवस्थाओं (hidden states) को लक्षित भारतीय भाषा वितरणों के साथ संरेखित करने के लिए साझा अफ़ाइन रूपांतरणों (shared affine transformations) का उपयोग करता है, जिससे मौजूदा विधियों की तुलना में दस विविध भाषाओं में बहुभाषी LLM निरूपणों (representations) के डिकोडिंग में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी शेफ (AI मॉडल) है जो दस अलग-अलग भारतीय भाषाओं में स्वादिष्ट व्यंजन बना सकता है। हालाँकि, एक समस्या है: शेफ की आंतरिक "रेसिपी बुक" और सामग्रियों के बारे में सोचने का उनका तरीका पूरी तरह से अंग्रेजी में लिखा गया है।
जब शेफ "स्पाइसी करी" (तीखी करी) के बारे में सोचते हैं, तो उनका मस्तिष्क पहले "स्पाइसी" के अंग्रेजी विचार को उत्पन्न करता है, फिर उसे हिंदी, तमिल या बंगाली में अनुवाद करने की कोशिश करता है। यह साधारण व्यंजनों के लिए ठीक काम करता है, लेकिन जब आप उनसे कई विशिष्ट मसालों (जो कि भारतीय भाषाओं की समृद्ध व्याकरण और शब्द संरचनाओं की तरह है) के साथ एक जटिल, पारंपरिक भोजन बनाने के लिए कहते हैं, तो अनुवाद गड़बड़ा जाता है। शेफ भ्रमित हो सकते हैं, सामग्री गिरा सकते हैं, या ऐसा व्यंजन परोस सकते हैं जो सब कुछ मिला हुआ लगता है लेकिन कुछ भी विशिष्ट नहीं होता।
समस्या: "अंग्रेजी बोलने वाला अनुवादक"
वैज्ञानिकों के पास एक उपकरण है जिसे लॉगिट लेंस (Logit Lens) या ट्यून्ड लेंस (Tuned Lens) कहा जाता है, जो शेफ के मस्तिष्क में एक खिड़की की तरह काम करता है। यह हमें खाना पकाने की प्रक्रिया के हर चरण में यह देखने की अनुमति देता है कि शेफ क्या सोच रहे हैं।
लेकिन समस्या यह है: वर्तमान खिड़की अंग्रेजी रसोई के लिए डिज़ाइन की गई है।
- जब आप इस अंग्रेजी-खिड़की का उपयोग हिंदी या तमिल में खाना पकाते हुए शेफ को देखने के लिए करते हैं, तो दृश्य धुंधला होता है।
- खिड़की के अंदर का "अनुवादक" लगातार भारतीय विचारों को अंग्रेजी आकार में ढालने की कोशिश करता रहता है।
- परिणाम स्वरूप, खिड़की में अत्यधिक भ्रम (उच्च एंट्रॉपी) और गलत अनुमानों का एक अराजक मिश्रण दिखाई देता है, विशेष रूप से खाना पकाने के शुरुआती चरणों में। यह वैसा ही है जैसे लैटिन अक्षरों पर ध्यान केंद्रित करने वाले चश्मे के माध्यम से देवनागरी लिपि में लिखी गई किताब को पढ़ने की कोशिश करना।
समाधान: Indic-TunedLens
इसे इस तरह से सोचें:
- पुराना विंडो (लॉगिट लेंस): आप शेफ के मस्तिष्क को देखते हैं और देखते हैं कि भले ही वे हिंदी बोल रहे हों, वहां अंग्रेजी शब्द तैर रहे हैं। यह गलत सबटाइटल्स के साथ एक फिल्म देखने जैसा है।
- नया विंडो (Indic-TunedLens): यह खिड़की विशेष रूप से भारतीय भाषाओं के लिए "ट्यून" की गई है। यह हिंदी, तमिल और बंगाली जैसी भाषाओं के अद्वितीय आकार, लय और संरचनाओं को सीखती है।
शेफ के विचारों को अंग्रेजी में जबरदस्ती थोपने के बजाय, यह नया लेंस दृश्य को व्यवस्थित (adjust) करता है ताकि वह बोली जा रही भाषा से मेल खा सके। यह एक विशेष "अनुवाद कुंजी" (एक एफ़ाइन ट्रांसफ़ॉर्मेशन/affine transformation) सीखता है जो शेफ के आंतरिक विचारों को सीधे सही भारतीय शब्दों के साथ संरेखित करता है।
जब उन्होंने इसे आज़माया तो क्या हुआ?
शोधकर्ताओं ने इस नए लेंस का परीक्षण Sarvam-1 नामक एक मॉडल पर 10 विभिन्न भारतीय भाषाओं के साथ किया। उन्हें यहाँ क्या पता चला:
शुरुआत से ही स्पष्ट दृष्टि:
- पुराने अंग्रेजी लेंस के साथ, आपको यह समझने के लिए इंतजार करना पड़ता था कि शेफ क्या सोच रहे हैं जब तक कि वे लगभग खाना समाप्त न कर लें (मॉडल के लगभग 20वें लेयर तक)। उससे पहले, वह केवल शोर (noise) था।
- Indic-TunedLens के साथ, आप पहले ही चरण (लेयर 1) से शेफ के विचारों को समझ सकते हैं। आप देख सकते हैं कि वे तुरंत सही मसाले चुन रहे हैं और रेसिपी की संरचना को समझ रहे हैं।
कम भ्रम:
- पुराना लेंस एक "धुंधला" दृश्य दिखाता था जहाँ शेफ अनिश्चित लग रहे थे कि आगे क्या करना है।
- नया लेंस एक सुचारू, स्पष्ट पथ दिखाता है। जैसे-जैसे वे खाना पकाते हैं, उनका आत्मविश्वास लगातार बढ़ता जाता है, बिल्कुल एक इंसान की तरह।
जटिल व्यंजनों में बेहतर:
- भारतीय भाषाएं "रूपात्मक रूप से समृद्ध" (morphologically rich) हैं, जिसका अर्थ है कि शब्द बहुत अधिक बदलते हैं—इस आधार पर कि कौन क्रिया कर रहा है, कब और कहाँ (जैसे किसी शब्द में कई प्रत्यय जोड़ना)।
- पुराना लेंस इन जटिल शब्दों के साथ संघर्ष करता था। नया लेंस उन्हें खूबसूरती से संभालता है, यह स्पष्ट रूप से दिखाता है कि मॉडल कैसे इन जटिल शब्दों को लेयर-दर-लेयर तोड़ता है और फिर से बनाता है।
यह क्यों मायने रखता है?
कल्पना कीजिए कि आप एक डॉक्टर हैं जो यह समझने की कोशिश कर रहे हैं कि मरीज बीमार क्यों है। यदि आपका मेडिकल स्कैनर केवल एक प्रकार की शारीरिक संरचना के लिए अच्छी तरह से काम करता है, तो आप दूसरे प्रकार की शारीरिक संरचना वाले व्यक्ति में बीमारी को मिस कर सकते हैं।
इसी तरह, यदि हम भारत में AI मॉडल को समझने के लिए केवल अंग्रेजी-आधारित उपकरणों का उपयोग करते हैं, तो हम इस बात के प्रति "अंधे" हैं कि वे भारतीय भाषाएं बोलते समय वास्तव में कैसे सोचते हैं। हमें लग सकता है कि AI भ्रमित या पक्षपाती है, जबकि वास्तव में हमारे उपकरण उसे गलत समझ रहे होते हैं।
Indic-TunedLens आपको एक नया, सार्वभौमिक स्कैनर देने जैसा है जो हर शरीर के प्रकार के लिए पूरी तरह से काम करता है। यह शोधकर्ताओं को अनुमति देता है:
- AI पर भरोसा करने के लिए क्योंकि वे वास्तव में देख सकते हैं कि यह कैसे सोचता है।
- त्रुटियों को तेजी से ठीक करने के लिए क्योंकि वे ठीक से पहचान सकते हैं कि मॉडल कहाँ भ्रमित हो रहा है।
- एक निष्पक्ष AI बनाने के लिए जो उन्हें अंग्रेजी के सांचे में फिट होने के बजाय भारतीय भाषाओं की अनूठी सुंदरता और जटिलता का सम्मान करता है।
संक्षेप में, यह पेपर कहता है: "एक बहुभाषी AI को समझने के लिए, आप केवल एक अंग्रेजी अनुवादक का उपयोग नहीं कर सकते। आपको एक ऐसे लेंस की आवश्यकता है जो उन लोगों की भाषा बोलता हो जिन्हें आप समझने की कोशिश कर रहे हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।