Hidden Language Consistency Phenomena in Reasoning LLMs
यह शोध पत्र प्रकट करता है कि बहुभाषी तर्क मॉडल अक्सर एक "भाषा निरंतरता विखंडन प्रभाव" (language consistency breakdown effect) प्रदर्शित करते हैं जहाँ कार्य की कठिनाई बढ़ने से एक आंतरिक प्रमुख भाषा में अचानक बदलाव आता है, जिससे ऐसे परिदृश्य उत्पन्न होते हैं जहाँ आउटपुट-भाषा की निरंतरता के नुकसान के बावजूद सटीकता सुरक्षित रहती है या उसमें सुधार होता है, जिससे यह सिद्ध होता है कि विश्वसनीय मूल्यांकन के लिए कार्य की सटीकता, भाषा की निरंतरता और कठिनाई पर संयुक्त रूप से विचार करना आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कक्षा में हैं जहाँ शिक्षक एक छात्र को एक कठिन गणित की समस्या हल करने के लिए कहते हैं, लेकिन एक बहुत ही विशिष्ट नियम के साथ: "आपको ज़ोर से सोचना होगा और अपना उत्तर पूरी तरह से स्पेनिश में लिखना होगा।" आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "छात्र" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं—बेहद बुद्धिमान कंप्यूटर प्रोग्राम जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ा है। जब हम उनसे कठिन समस्याओं को हल करने के लिए कहते हैं, तो वे अक्सर "चेन-ऑफ-थॉट" (Chain-of-Thought) नामक एक तकनीक का उपयोग करते हैं, जो एक छात्र द्वारा अंतिम उत्तर देने से पहले अपनी चरण-दर-चरण सोचने की प्रक्रिया को लिखने जैसा है। लंबे समय तक, वैज्ञानिकों ने केवल इस बात की परवाह की कि अंतिम उत्तर सही था या नहीं। उन्होंने सोचने की प्रक्रिया को एक 'ब्लैक बॉक्स' की तरह माना, यह मानकर कि यदि उत्तर सही है, तो छात्र सब कुछ सही ढंग से कर रहा है। लेकिन ठीक वैसे ही जैसे एक मानव छात्र स्पेनिश में समस्या हल करने की कोशिश करते समय गलती से फ्रेंच या अंग्रेजी बोलना शुरू कर सकता है, ये AI मॉडल भी कभी-कभी अपनी भाषा बदल सकते हैं, भले ही हमने उन्हें ऐसा न करने के लिए स्पष्ट रूप से कहा हो। यह शोध पत्र ठीक इसी की जांच करता है: क्या होता है जब हम इन AI छात्रों को कठिन से कठिन गणित की समस्याएं हल करने के लिए कहते हैं, और क्या वे अपनी भाषा के वादे को निभाते हैं, या वे इतने भ्रमित हो जाते हैं कि वे पूरी तरह से एक अलग भाषा बोलने लगते हैं?
इन मॉडल्स के पीछे के शोधकर्ताओं ने इन AI "छात्रों" को एक विशेष गणित परीक्षा के माध्यम से परखने का निर्णय लिया जिसे 'पॉलीमैथ' (PolyMath) कहा जाता है, जो आठ अलग-अलग भाषाओं और कठिनाई के चार स्तरों को कवर करता है, जिसमें सरल स्कूली गणित से लेकर सबसे कठिन ओलंपिक स्तर की पहेलियाँ शामिल हैं। उन्होंने यह देखने के लिए पांच अलग-अलग "रीज़निंग" (तर्क करने वाले) मॉडल्स और तीन "नॉन-रीज़निंग" (गैर-तर्क करने वाले) मॉडल्स का परीक्षण किया कि वे कार्य को कैसे संभालते हैं। उन्होंने जो पाया वह दबाव में घबराते हुए एक छात्र को देखने जैसा है। उन्होंने पाया कि जैसे-जैसे गणित की समस्याएं कठिन होती गईं, मॉडल न केवल गणित में खराब होते गए; बल्कि वे उस भाषा का पालन करने में भी खराब होते गए जिसका उन्हें उपयोग करने के लिए कहा गया था।
अध्ययन में इस भाषा संबंधी "चूक" के चार अलग-अलग तरीके सामने आए। कभी-कभी, एक मॉडल एक रॉकस्टार की तरह होता है और समस्या कितनी भी कठिन क्यों न हो जाए, सही भाषा में बना रहता है। अन्य समय में, यह एक विद्रोही की तरह होता है और शुरू से ही अनुरोधित भाषा का उपयोग करने से इनकार कर देता है, और अपनी पसंदीदा आंतरिक भाषा (आमतौर पर अंग्रेजी) पर टिका रहता है। तीसरा समूह मज़बूत शुरुआत करता है लेकिन धीरे-धीरे ध्यान खो देता है, और जैसे-जैसे समस्याएं कठिन होती हैं, वह दूसरी भाषा की ओर बढ़ जाता है। लेकिन सबसे आश्चर्यजनक खोज चौथा समूह है: ये मॉडल आसान और मध्यम स्तर की समस्याओं के लिए बिल्कुल ठीक हैं, लेकिन जैसे ही वे "मध्यम" कठिनाई स्तर पर पहुँचते हैं, वे अचानक और पूरी तरह से ढह जाते हैं, और भाषा बदल देते हैं। लेखक इसे "भाषा निरंतरता टूटने का प्रभाव" (language consistency breakdown effect) कहते हैं।
यहाँ एक मोड़ है जो इसे वास्तव में दिलचस्प बनाता है: शोध पत्र ने पाया कि यह भाषा परिवर्तन हमेशा स्कोर के लिए बुरा नहीं होता है। कुछ मामलों में, जब एक मॉडल ने अनुरोधित भाषा (जैसे तेलुगु या स्वाहिली) में सोचने की कोशिश छोड़ दी और अपनी "कम्फर्ट ज़ोन" वाली भाषा (जैसे अंग्रेजी) में स्विच कर दिया, तो उसने वास्तव में अधिक प्रश्नों के सही उत्तर दिए, भले ही समस्या कठिन थी। यह ऐसा है जैसे छात्र ने स्पेनिश में समस्या हल करने की कोशिश छोड़ दी, अंग्रेजी में स्विच किया, और अचानक सही उत्तर पा लिया। इसका मतलब है कि यदि आप केवल अंतिम स्कोर को देखते हैं, तो आप सोच सकते हैं कि AI अधिक स्मार्ट हो रहा है, जबकि वास्तव में, उसने आपकी भाषा के निर्देशों का पालन करना छोड़ दिया था।
शोधकर्ताओं ने यह भी परीक्षण किया कि जब वे इन मॉडल्स को छोटे उपकरणों पर तेज़ी से चलाने के लिए "कंप्रेस" (दबाव/संकुचन) करते हैं (एक प्रक्रिया जिसे क्वांटिज़ेशन (quantization) कहा जाता है) तो क्या होता है। उन्होंने पाया कि यह संपीड़न एक जुआ है। कभी-कभी यह मॉडल को सही भाषा बनाए रखने में मदद करता है, और कभी-कभी यह उन्हें और भी तेज़ी से भाषा बदलने पर मजबूर कर देता है, और यह इस बात से स्वतंत्र है कि गणित के उत्तर बेहतर हो रहे हैं या खराब। उदाहरण के लिए, GPTQ नामक एक विधि ने AutoRound की तुलना में मॉडल्स को उनकी भाषा की निरंतरता बेहतर बनाए रखने में मदद की, भले ही AutoRound गणित के उत्तरों को सही रखने में बेहतर था।
संक्षेप में, यह शोध पत्र तर्क देता है कि हम केवल यह देखने के लिए कि क्या AI सही उत्तर प्राप्त करता है, यह निर्णय नहीं ले सकते कि वह बहुभाषी होने में कितना अच्छा है। हमें यह देखना होगा कि वह कैसे सोचता है और सोचते समय वह किस भाषा का उपयोग करता है। यदि हम ऐसा नहीं करते हैं, तो हम इस तथ्य को नज़रअंदाज़ कर सकते हैं कि AI चुपके से समस्या को हल करने के लिए एक अलग भाषा बोल रहा है, या वह कठिन होने पर आपकी भाषा को पूरी तरह से छोड़ रहा है। अध्ययन बताता है कि एक बहुभाषी दुनिया में AI को वास्तव में विश्वसनीय बनाने के लिए, हमें न केवल अंतिम ग्रेड को मापना होगा, बल्कि यह भी देखना होगा कि क्या छात्र ने वास्तव में परीक्षा के भाषा नियमों का पालन किया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।