नन्हे ब्रेन-बॉट्स का गुप्त जीवन

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल अंग्रेजी नहीं बोलते, बल्कि फ्रेंच से लेकर स्वाहिली और तुर्की तक हजारों अन्य भाषाएँ सीखने की कोशिश करते हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) का अग्रिम क्षेत्र है, विशेष रूप से नेचुरल लैंग्वेज प्रोसेसिंग (NLP) नामक एक क्षेत्र। इन AI मॉडलों को विशाल, डिजिटल मस्तिष्क के रूप में समझें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे पैटर्न सीखते हैं: यदि आप कहते हैं "The cat sat on the," तो वे जानते हैं कि अगला शब्द संभवतः "mat" होगा।

लेकिन यहाँ पेचीदा हिस्सा यह है: सभी मस्तिष्क समान रूप से नहीं बने होते। कुछ बहुत विशाल होते हैं, जैसे कि एक सुपरकंप्यूटर जिसके पास हर लिखी गई किताब का पुस्तकालय हो। अन्य स्मॉल लैंग्वेज मॉडल्स (SLMs) हैं, जो जेब के आकार की नोटबुक की तरह होते हैं। उन्हें बनाना सस्ता और चलाना तेज़ होता है, जिससे वे विशिष्ट कार्यों या उन भाषाओं के लिए आदर्श बन जाते हैं जिन्हें अंग्रेजी जितना ध्यान नहीं मिलता। हालाँकि, सिर्फ इसलिए कि कोई मॉडल भाषा सीखता हुआ दिखता है, इसका मतलब यह नहीं है कि वह वास्तव में उसे समझता है। यह शब्दों के आकार को याद कर रहा हो सकता है बिना यह जाने कि उनका अर्थ क्या है, या यह समस्या को हल करने के बजाय सबसे लोकप्रिय उत्तर अक्षर का अनुमान लगाकर परीक्षाओं में नकल कर रहा हो सकता है।

शोधकर्ता लगातार यह पता लगाने की कोशिश कर रहे हैं कि कैसे इन छोटे, किफायती AI मस्तिष्कों को अधिक स्मार्ट और अधिक ईमानदार बनाया जाए, विशेष रूप से तुर्की जैसी भाषाओं के लिए, जिसमें व्याकरण की एक अनूठी, 'बिल्डिंग-ब्लॉक' शैली है जो मानक कंप्यूटर प्रोग्रामों को उलझा सकती है। बड़ा सवाल यह है: क्या हम एक छोटे, संघर्षरत AI मॉडल को ठीक करके उसे वास्तव में अपनी भाषा समझाने में सक्षम बना सकते हैं, या वह केवल दिखावा करना सीख रहा है?

NEDOQwen की कहानी: एक तुर्की ट्यूटर का मेकओवर

मिलिए NEDOQwen से, एक छोटा, 0.824-बिलियन-पैरामीटर वाला AI मॉडल जिसे विशेष रूप से तुर्की बोलने के लिए डिज़ाइन किया गया है। इसे एक ऐसे छात्र के रूप में सोचें जो तुर्की सीखने की कोशिश कर रहा है लेकिन बुनियादी बातों में संघर्ष कर रहा है। एथोसॉफ्ट (Ethosoft) के शोधकर्ताओं की एक टीम ने एक सख्त लेकिन सहायक ट्यूटर की भूमिका निभाने का निर्णय लिया। वे केवल यह नहीं देखना चाहते थे कि क्या छात्र परीक्षा पास कर सकता है; वे एक पूर्ण "निदान और मरम्मत" (diagnosis and repair) करना चाहते थे ताकि यह देख सकें कि छात्र क्यों असफल हो रहा है और क्या वे वास्तवं में मूल समस्याओं को ठीक कर सकते हैं।

निदान: यह केवल उत्तरों के बारे में नहीं है

सबसे पहले, शोधकर्ताओं ने NEDOQwen को परीक्षणों की एक श्रृंखला दी। उन्होंने दो चीजों को देखा: चैट में निर्देशों का पालन करने में यह कितना अच्छा है (आंतरिक निदान) और गणित एवं इतिहास जैसे स्कूली विषयों के बारे में बहुविकल्पीय प्रश्नों के उत्तर देने में यह कितना अच्छा है (बाहरी बेंचमार्क)।

यहाँ आश्चर्यजनक बात यह थी: मॉडल चैटिंग में बेहतर हो रहा था! जब शोधकर्ताओं ने इसे सीखने के लिए निर्देशों का एक "स्वच्छ" सेट दिया, तो इसने बातचीत में मूर्खतापूर्ण गलतियाँ करना बंद कर दिया। यह अधिक विनम्र लगा और नियमों का बेहतर पालन किया। हालाँकि, जब उन्होंने कठिन बहुविकल्पीय परीक्षणों पर स्विच किया, तो मॉडल अभी भी बहुत खराब था। इसने तुर्की गणित और विज्ञान परीक्षण (TurkishMMLU-sub) पर लगभग 18.11% और सामान्य ज्ञान परीक्षण (TUMLU-mini) पर 21.33% स्कोर किया। संदर्भ के लिए, एक रैंडम अनुमान (random guess) आपको लगभग 20% या 25% सही स्कोर दिलाएगा। मॉडल मुश्किल से संभावनाओं को मात दे पा रहा था।

शोधकर्ताओं ने मॉडल के "शब्दावली उपकरण" की भी जाँच की, जिसे टोकेनाइज़र (tokenizer) कहा जाता है। यह AI का वह हिस्सा है जो वाक्यों को उन टुकड़ों में तोड़ता है जिन्हें वह समझ सके। उन्होंने पाया कि भले ही NEDOQwen विशेष रूप से तुर्की के लिए डिज़ाइन किया गया था, लेकिन इसका उपकरण अन्य सामान्य उद्देश्यों वाले उपकरणों की तुलना में तुर्की शब्दों को तोड़ने में वास्तव में खराब था। यह कुछ शब्दों को "अज्ञात" (UNK) छोड़ रहा था और एक ही बात कहने के लिए अधिक टुकड़ों का उपयोग कर रहा था। यह एक छात्र को ऐसे शब्दकोश देने जैसा था जिसमें आधे शब्द गायब हों और परिभाषाएँ भ्रमित करने वाली हों।

मरम्मत: मॉडल को नकल करना सिखाना (और फिर उसे ठीक करना)

तो, टीम ने इसे ठीक करने की कोशिश की। उन्होंने मॉडल को एक विशेष "मरम्मत" कोर्स दिया। यह केवल उसे अधिक तथ्य सिखाने के बारे में नहीं था; यह उसे यह सिखाने के बारे में था कि परीक्षा कैसे दी जाती है। उन्होंने उसे दिखाया कि सही उत्तर अक्षर (A, B, C, या D) कैसे चुनें और अपने उत्तरों को कैसे फॉर्मेट करें।

उन्होंने इस मरम्मत को 600 स्टेप्स (सीखने का एक छोटा उछाल) के लिए चलाया। परिणाम दिलचस्प थे:

• TurkishMMLU-sub स्कोर 18.11% से बढ़कर 21.00% हो गया।
• TUMLU-mini स्कोर 21.33% से उछलकर 32.22% हो गया।

ऐसा लग रहा था कि मॉडल स्मार्ट हो रहा है! लेकिन शोधकर्ताओं ने गहराई से जांच की और एक छिपा हुआ नुस्खा खोज निकाला। उन्होंने महसूस किया कि मॉडल अनिवार्य रूप से अधिक तथ्य नहीं सीख रहा था; वह कैलिब्रेट (calibrate) करना सीख रहा था। मरम्मत से पहले, मॉडल अक्षर C के प्रति जुनूनी था। एक परीक्षण में उसने अपने उत्तरों के लिए 85.9% बार "C" का अनुमान लगाया था! वह मूल रूप से एक "C-गेसर" (C चुनने वाला) था।

मरम्मत के बाद, "C" का जुनून कम हो गया, और मॉडल ने "D" का अधिक बार अनुमान लगाना शुरू कर दिया। शोधकर्ताओं ने एक विशेष परीक्षण चलाया जहाँ उन्होंने मॉडल को केवल उत्तर अक्षर चुनने के लिए सिखाया, बिना कोई नया तथ्य सिखाए। केवल उससे भी, स्कोर बढ़कर 19.56% और 27.00% हो गया। इससे यह सिद्ध हुआ कि सुधार का एक बड़ा हिस्सा मॉडल द्वारा हर बार एक ही अक्षर का अनुमान लगाने के बजाय, अलग-अलग अक्षर चुनने को सीखने से आया था, न कि अचानक तुर्की इतिहास या गणित के बारे में अधिक जानने से।

निर्णय: एक बेहतर छात्र, लेकिन अभी भी जीनियस नहीं

अंतिम निर्णय अच्छे समाचार और वास्तविकता के बीच का मिश्रण है। मरम्मत ने काम तो किया, लेकिन केवल आंशिक रूप से। मॉडल एक "C-गेसर" नहीं रहा और उसने अपने अनुमानों को C और D (क्रमशः लगभग 47.6% और 51.6%) के बीच वितरित करना शुरू कर दिया। यह परीक्षा के प्रारूप का पालन करने में बेहतर हो गया।

हालाँकि, मॉडल तुर्की का जीनियस नहीं है। यह गणित, अनुवाद और कहानियों का सारांश बनाने में विफल रहता है। जब प्रश्नों को थोड़ा अलग तरीके से पूछा जाता है, तब भी यह गलतियाँ करता है। शोधकर्ता इस बात पर जोर देते हैं कि यह वास्तविक दुनिया के लिए तैयार कोई "स्टेट-ऑफ-द-आर्ट" मॉडल नहीं है। यह एक कम लागत वाला, पारदर्शी प्रयोग है।

सबसे महत्वपूर्ण बात जो उन्होंने खोजी वह यह है कि उच्च टेस्ट स्कोर का हमेशा यह मतलब नहीं होता कि AI अधिक स्मार्ट है। कभी-कभी, इसका मतलब केवल यह होता है कि AI ने परीक्षा देना बेहतर तरीके से सीख लिया है। इस बात को उजागर करके, टीम ने अन्य शोधकर्ताओं के लिए एक नया "वर्कफ़्लो" बनाया: आंतरिक चैट की जाँच करें, बाहरी परीक्षण की जाँच करें, टोकेनाइज़र की जाँच करें, और यह भी देखें कि क्या मॉडल बार-बार एक ही अक्षर का अनुमान तो नहीं लगा रहा है।

अंत में, NEDOQwen ईमानदारी का एक सबक है। यह हमें दिखाता है कि गैर-अंग्रेजी AI मॉडलों के लिए, हमें एक छोटे स्कोर उछाल को बड़ी सफलता मानकर जश्न मनाने में सावधान रहने की आवश्यकता है। इसके बजाय, हमें यह देखने के लिए इसके 'हुड' के नीचे झांकने की आवश्यकता है कि क्या मॉडल वास्तव में सीख रहा है, या केवल खेल खेलना सीख रहा है। शोधकर्ताओं ने इन सत्यों को खोजने में केवल लगभग 0.465 GPU-घंटे (लगभग 28 मिनट का कंप्यूटर समय) और बहुत कम पैसा खर्च किया, जो यह साबित करता है कि एक टूटे हुए AI का निदान करने के लिए आपको सुपरकंप्यूटर की नहीं, बल्कि एक अच्छे सूक्ष्मदर्शी और एक संदेही नज़र की आवश्यकता है।