Language-Conditional Dequantization: Recovering What Quantization Steals from Non-English Languages

डिजिटल बोली की दुविधा (The Digital Dialect Dilemma)

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट मस्तिष्क है जो हजारों भाषाएं बोल सकता है। इस मस्तिष्क को एक सामान्य लैपटॉप या फोन पर चलाने के लिए पर्याप्त तेज़ बनाने के लिए, इंजीनियरों को इसे सिकोड़ना पड़ता है, जिसे "क्वांटाइजेशन" (quantization) कहा जाता है। इसे एक हाई-डेफिनिशन मूवी को एक बहुत छोटी फ़ाइल में कंप्रेस करने जैसा समझें ताकि वह तुरंत लोड हो सके। आमतौर पर, यह बहुत अच्छा काम करता है, लेकिन इसमें एक पेंच है: कंप्रेशन की रेसिपी केवल अंग्रेजी निर्देशों का उपयोग करके लिखी गई थी। जब रोबोट अन्य भाषाएं बोलने की कोशिश करता है, विशेष रूप से वे जिनमें अलग लिपियाँ या संरचनाएं होती हैं, तो कंप्रेशन उसे लड़खड़ाने, शब्द भूलने या भ्रमित होने पर मजबूर कर देता है। यह एक संगीतकार को संगीत की ऐसी शीट देने जैसा है जिसे कुचल दिया गया हो; अंग्रेजी गानों के नोट्स अभी भी स्पष्ट हैं, लेकिन फ्रेंच या जापानी गानों के नोट्स बिगड़ गए हैं। यह इसलिए मायने रखता है क्योंकि अरबों लोग हर दिन इन AI टूल्स पर भरोसा करते हैं, और यह अनुचित है यदि टूल कुछ लोगों के लिए तो पूरी तरह से काम करता है लेकिन दूसरों के लिए मुश्किल से काम करता है।

शोध पत्र की कहानी: सिकुड़े हुए मस्तिष्क को ठीक करना

इस शोध पत्र के पीछे के शोधकर्ताओं, प्रथमा इंटरनेशनल के निर्मल थॉमस ने यह जांचने का निर्णय लिया कि यह "केवल-अंग्रेजी कंप्रेशन" गैर-अंग्रेजी भाषियों को कितना नुकसान पहुँचाता है। उन्होंने दो लोकप्रिय, छोटे AI मॉडल (Qwen2.5-3B और Llama-3.2-3B) का परीक्षण किया जिन्हें बहुत छोटे आकार (INT3) में सिकोड़ा गया था। परिणाम चौंकाने वाले थे: जबकि अंग्रेजी बोलने वालों के लिए उनके रोबोट का प्रदर्शन लगभग 1.35 गुना गिरा, अरबी जैसी भाषाओं के बोलने वालों के लिए उनका प्रदर्शन 4 गुना से अधिक गिर गया, और जापानी बोलने वालों के लिए 3 गुना से अधिक गिर गया। रोबोट केवल थोड़ा भ्रमित नहीं हुआ था; वह उन भाषाओं में व्यावहारिक रूप से मौन हो गया था।

इसे ठीक करने के लिए, टीम ने लैंग्वेज-कंडीशनल डीक्वांटाइजेशन (LCD) नामक एक विधि का आविष्कार किया। पूरे रोबोट को फिर से कंप्रेस करने की कोशिश करने के बजाय (जिसमें बहुत समय लगेगा और भारी कंप्यूटिंग शक्ति की आवश्यकता होगी), उन्होंने मॉडल के साथ छोटे, भाषा-विशिष्ट "पैच" (patches) जोड़ दिए। कल्पना कीजिए कि रोबोट कवच का एक सूट है। कवच पहले से ही बना हुआ और कंप्रेस किया हुआ है। कवच को पिघलाकर दोबारा बनाने के बजाय, टीम ने प्रत्येक भाषा के लिए छोटे, कस्टम पैच सीले हैं। ये पैच अविश्वसनीय रूप से छोटे हैं—प्रत्येक भाषा के लिए केवल 0.12% अधिक डेटा जोड़ते हैं—और उन्हें एक सिंगल ग्राफिक्स कार्ड पर 20 मिनट से कम समय में प्रशिक्षित किया जा सकता है।

जब रोबोट बोलता है, तो वह भाषा की जांच करता है और तुरंत सही पैच बदल लेता है। परिणाम प्रभावशाली थे: उन भाषाओं के लिए जो गैर-लैटिन लिपियों (जैसे अरबी, जापानी, चीनी और कोरियाई) का उपयोग करती हैं, इस पद्धति ने खोए हुए प्रदर्शन में से 70% से 83% तक की रिकवरी की। यह इतना अच्छा काम कर गया कि इसने एक "एक-आकार-सभी-के-लिए-उपयुक्त" (one-size-fits-all) पैच को बड़े अंतर से पीछे छोड़ दिया, जिससे यह साबित हुआ कि त्रुटियां वास्तव में प्रत्येक भाषा के लिए विशिष्ट थीं।

हालाँकि, शोध पत्र ने एक पेचीदा रहस्य भी उजागर किया। जबकि पैच ने रोबोट के "भ्रम" (जिसे अगले शब्द की भविष्यवाणी करने की क्षमता, या perplexity द्वारा मापा जाता है) को ठीक कर दिया, उन्होंने यह ठीक नहीं किया कि रोबोट वास्तव में कितनी अच्छी तरह समझता है और उत्तर देता है (जिसे GlobalMMLU सटीकता द्वारा मापा जाता है)। शोधकर्ताओं ने पाया कि यह इस बात पर निर्भर करता है कि रोबोट के मस्तिष्क में क्षति कहाँ हुई थी।

• एक मॉडल (Qwen) में, क्षति मस्तिष्क के बिल्कुल अंत में हुई थी। पैच इसे आसानी से ठीक कर सकते थे, और रोबोट प्रश्न पूछने में स्मार्ट हो गया।
• दूसरे मॉडल (Llama) में, क्षति मस्तिष्क के शुरुआती हिस्से में हुई थी। पैच तत्काल आउटपुट को तो ठीक कर सकते थे, लेकिन "खराब सिग्नल" बाकी मस्तिष्क में यात्रा कर चुका था, जिससे अंतिम उत्तर बिगड़ गया।

लेखक ने इसे सावधानीपूर्वक मापा, यह दिखाते हुए कि जबकि पैचों ने Llama मॉडल के लिए "शोर" (confusion) को 69% तक रिकवर किया, उन्होंने वास्तविक प्रश्न-उत्तर क्षमता को केवल 17% ही रिकवर किया। यह सुझाव देता है कि केवल "शोर" को ठीक करना हमेशा पर्याप्त नहीं होता है यदि विचार प्रक्रिया की मूल संरचना ही दूषित हो गई हो।

यह शोध पत्र क्या खारिज करता है और क्या पुष्टि करता है

शोधकर्ता अपने विचारों का परीक्षण करने के लिए अन्य संभावनाओं के विरुद्ध बहुत सावधान रहे। उन्होंने इस विचार को स्पष्ट रूप से खारिज कर दिया कि एक एकल, जेनेरिक पैच सभी भाषाओं को समान रूप से ठीक कर सकता है। उन्होंने पाया कि जबकि एक जेनेरिक पैच औसतन ठीक काम करता था, वह सबसे दूरस्थ भाषाओं (जैसे अरबी और जापानी) के मामले में बुरी तरह विफल रहा, जहाँ विशिष्ट भाषा पैच ने उत्कृष्ट प्रदर्शन किया। उन्होंने यह भी परीक्षण किया कि क्या उन्हें बड़े, जटिल पैचों की आवश्यकता है, और पाया कि छोटे (rank-2) पैच पर्याप्त थे; उन्हें बड़ा बनाने से कोई मदद नहीं मिली और कभी-कभी बहुत कम प्रशिक्षण डेटा के प्रति ओवरफिटिंग (overfitting) के कारण चीजें और खराब हो गईं।

उन्होंने यह भी पुष्टि की कि यह केवल एक विशिष्ट मॉडल का संयोग नहीं है। यह पैटर्न AI के दो अलग-अलग परिवारों में भी बना रहा। हालाँकि, उन्होंने नोट किया कि उनकी विधि छोटे मॉडलों (4 बिलियन पैरामीटर्स से कम) पर सबसे अच्छा काम करती है। जब उन्होंने एक बड़े 7-बिलियन पैरामीटर वाले मॉडल पर इसे आजमाया, तो लाभ काफी कम हो गया क्योंकि बड़े मॉडल में अधिक "रेडंडेंसी" (redundancy) थी और छोटे पैच वास्तविक समस्या को ठीक करने के बजाय केवल शोर को याद करने लगे।

निष्कर्ष (The Bottom Line)

यह शोध पत्र दिखाता है कि हम कंप्रेस्ड AI मॉडलों की असमानता को उन्हें शुरू से बनाए बिना ठीक कर सकते हैं। छोटे, भाषा-विशिष्ट "पैच" जोड़कर, हम गैर-अंग्रेजी भाषियों के लिए खोई हुई अधिकांश क्षमता को बहाल कर सकते हैं। लेकिन लेखक हमें चेतावनी देते हैं कि "शोर" को ठीक करने से हमेशा "सोच" ठीक नहीं होती है, खासकर यदि क्षति मॉडल के शुरुआती परतों में गहराई में हुई हो। यह एक व्यावहारिक, तेज़ और सस्ता तरीका है जिससे AI को अधिक निष्पक्ष बनाया जा सकता है, लेकिन यह एक जादुई छड़ी नहीं है जो हर समस्या को तुरंत हल कर दे। समाधान वास्तविक, मापने योग्य और उपयोग के लिए तैयार है, लेकिन इसके साथ यह चेतावनी भी जुड़ी है कि कुछ गहरी संरचनात्मक समस्याओं के लिए अभी भी एक अलग प्रकार की मरम्मत की आवश्यकता हो सकती है।