Skill Issue: Are Skills Language-Invariant in LLMs?

लार्ज लैंग्वेज मॉडल्स (LLMs) उन कई कृत्रिम बुद्धिमत्ता (AI) उपकरणों के पीछे के इंजन हैं जिनका हम आज उपयोग करते हैं, जो दर्जनों भाषाओं में कहानियाँ लिखने, समस्याओं को हल करने और प्रश्नों के उत्तर देने में सक्षम हैं। वर्षों से, शोधकर्ताओं को पता है कि ये प्रणालियाँ हर भाषा में समान रूप से प्रदर्शन नहीं करती हैं; एक मॉडल अंग्रेजी में इतिहास के प्रश्न का उत्तर देने में उत्कृष्ट हो सकता है लेकिन अरबी या चीनी में पूछे जाने पर उसी तथ्य को खोजने में संघर्ष कर सकता है। इस विसंगति का दोष आमतौर पर उस डेटा पर मढ़ा जाता है जिस पर मॉडल्स को प्रशिक्षित किया गया था, यह मानते हुए कि कुछ भाषाओं में मशीन को सिखाने के लिए जानकारी कम उपलब्ध है। हालाँकि, जांच की एक नई रेखा एक गहरा प्रश्न पूछती है: क्या समस्या केवल यह है कि मॉडल क्या जानता है, या यह इस बारे में है कि मॉडल वास्तव में क्या कर सकता है? क्या ऐसा हो सकता है कि एक ही कृत्रिम मस्तिष्क के पास अलग-अलग भाषाओं के आधार पर कौशल के विभिन्न सेट हों, भले ही कार्य स्वयं बिल्कुल समान हो?

शोधकर्ताओं की एक टीम ने भाषा को अध्ययन के विषय के रूप में नहीं, बल्कि एक नियंत्रित प्रयोग में एक चर (variable) के रूप में उपयोग करके इसका उत्तर देने का प्रयास किया। वे एक परिचित अवधारणा की ओर मुड़े: खेल। एक ही कृत्रिम बुद्धिमत्ता मॉडल की दो समान प्रतियों को एक डिजिटल अरीना में एक-दूसरे के विरुद्ध खेलने के लिए रखकर, उन्होंने कौशल का एक आदर्श परीक्षण तैयार किया। इस सेटअप में, खेल के नियम, बोर्ड, कार्ड और संभावित चालें दोनों खिलाड़ियों के लिए स्थिर और समान रहीं। केवल वह भाषा बदली गई जिसका उपयोग स्थिति का वर्णन करने के लिए किया गया था। एक खिलाड़ी को अंग्रेजी में निर्देश प्राप्त हुए और खेल की स्थिति दिखाई गई, जबकि उसके प्रतिद्वंद्वी को वही बोर्ड और नियम जर्मन, हिब्रू, चीनी या अन्य कई भाषाओं में अनुवादित रूप में दिखाए गए। क्योंकि मॉडल समान थे और खेल की यांत्रिकी (mechanics) निश्चित थी, इसलिए जीत में कोई भी अंतर भाषा के इंटरफेस से आया होगा, न कि ज्ञान या बुद्धिमत्ता में अंतर से।

शोधकर्ताओं ने TextArena नामक एक गेम प्लेटफॉर्म के बहुभाषी विस्तार के रूप में एक विशाल परीक्षण क्षेत्र बनाया, जिसने उन्हें छह अलग-अलग प्रकार के खेलों में हजारों मैच चलाने की अनुमति दी। ये खेल सरल स्थानिक पहेलियों जैसे टिक-टैक-टो (Tic-Tac-Toe) से लेकर, जहाँ खिलाड़ियों को ग्रिड की कल्पना करनी होती है, से लेकर संसाधन आवंटन और ब्लफिंग (धोखा देने) से जुड़े जटिल रणनीतिक खेलों तक फैले हुए थे। उन्होंने तीन अलग-अलग ओपन-सोर्स मॉडल्स का परीक्षण किया, जिनमें से प्रत्येक का आकार समान था, और उन्हें आठ अलग-अलग भाषाओं में स्वयं के विरुद्ध ही लड़ाया। परिणामों ने एक चौंकाने वाली वास्तविकता का खुलासा किया: एक ही मॉडल एक भाषा में मास्टर रणनीतिकार हो सकता है और दूसरी भाषा में एक अनाड़ी नौसिखिया। कुछ मामलों में, अंग्रेजी में खेलने वाला मॉडल हिब्रू या अरबी में खेलने वाले अपने ही संस्करण को लगातार हरा देता था, इसलिए नहीं कि वह खेल के बारे में अधिक जानता था, बल्कि इसलिए क्योंकि भाषा ने उसकी स्पष्ट रूप से सोचने की क्षमता को अनलॉक या ब्लॉक कर दिया था।

इन विफलताओं की प्रकृति विशिष्ट और वर्णनात्मक थी। उन खेलों में जिनमें स्थानिक तर्क (spatial reasoning) की आवश्यकता होती है, जैसे कि ग्रिड पर रेखाओं को जोड़ना, अरबी या हिब्रू जैसी गैर-लैटिन लिपियों का उपयोग करने वाली भाषाओं में खेलने वाले मॉडल्स ने अक्सर ऐसी गलतियाँ कीं जो बोर्ड की मौलिक गलतफहमी की तरह दिखती थीं। वे अक्सर तिरछी या ऊर्ध्वाटी रेखा को देखने में विफल रहे, और ग्रिड के साथ ऐसे व्यवहार किया जैसे केवल पंक्तियाँ (rows) ही महत्वपूर्ण हों। भाग्य और रणनीति के खेलों में, जैसे कि पोकर का एक सरल रूप, मॉडल्स ने भाषा के आधार पर अपना पूरा व्यक्तित्व बदल लिया। एक मॉडल एक भाषा में सतर्क और ईमानदार होकर खेल सकता है, लेकिन दूसरी भाषा में आक्रामक और जोखिम भरे ब्लफ करने के प्रति प्रवृत्त हो सकता है, भले ही उसके हाथ के कार्ड बिल्कुल समान हों। शोधकर्ताओं ने पाया कि ये यादृच्छिक (random) गलतियाँ नहीं थीं; ये व्यवस्थित व्यवहार परिवर्तन थे जो पूरी तरह से समस्या को प्रस्तुत करने वाले शब्दों पर निर्भर थे।

सबसे आश्चर्यजनक खोज यह थी कि समस्या हमेशा उस भाषा के बारे में नहीं थी जिसे मॉडल पढ़ रहा था, बल्कि उस भाषा के बारे में थी जिसमें वह सोच रहा था। कुछ प्रयोगों में, शोधकर्ताओं ने खेल के निर्देशों को एक कमजोर भाषा, जैसे जर्मन में रखा, लेकिन मॉडल को अंग्रेजी में आंतरिक तर्क करने का निर्देश दिया। इस साधारण बदलाव ने मॉडल को अपने खोए हुए प्रदर्शन को काफी हद तक वापस पाने में मदद की, जिससे पता चला कि भाषा की बाधा केवल अनुवाद का मुद्दा नहीं बल्कि एक संज्ञानात्मक (cognitive) मुद्दा था। मॉडल अपने पूर्ण रणनीतिक सामर्थ्य तक पहुँच सकता था यदि उसे एक मजबूत भाषा में "सोचने" की अनुमति दी जाती, भले ही वह एक कमजोर भाषा में खेल रहा हो। यह इंगित करता है कि भाषा का इंटरफेस निर्णय लेने के विभिन्न चरणों को प्रभावित करता है, खेल की वर्तमान स्थिति को समझने से लेकर सर्वोत्तम चाल चुनने तक।

अध्ययन ने इस बात की भी जांच की कि क्या इन अंतरों को इस आधार पर समझाया जा सकता है कि इंटरनेट पर प्रत्येक भाषा के लिए कितना टेक्स्ट मौजूद है। हालांकि यह सच है कि अधिक उपलब्ध डेटा वाली भाषाएँ आम तौर पर बेहतर प्रदर्शन करती हैं, लेकिन इस कारक ने पूरी कहानी नहीं बताई। कुछ भाषाएँ जिनके वेब पर अपेक्षाकृत कम डेटा उपलब्ध है, फिर भी मॉडल्स को बहुत अच्छा खेलने दिया, जबकि कुछ प्रचुर डेटा वाली भाषाओं के परिणामस्वरूप खराब प्रदर्शन हुआ। यह सुझाव देता है कि मुद्दा केवल प्रशिक्षण सामग्री की मात्रा के बारे में नहीं है, बल्कि इस बारे में है कि मॉडल ने विभिन्न भाषाई प्रणालियों के बीच कौशल को कैसे जोड़ा है। निष्कर्षों का तात्पर्य यह है कि कृत्रिम बुद्धिमत्ता के वास्तव में विश्वसनीय और निष्पक्ष होने के लिए, डेवलपर्स को केवल यह मानकर नहीं चल सकते कि एक मॉडल की क्षमताएं सभी भाषाओं में सुसंगत हैं। मॉडल जिस भाषा को बोलता है वह केवल उसके ज्ञान की खिड़की नहीं है; यह एक लेंस है जो उसके कौशल को विकृत कर सकता है, जिससे उसके दुनिया को देखने और खेल खेलने के तरीके में बदलाव आता है।