Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
यह शोधपत्र यह प्रदर्शित करता है कि निश्चित आउटपुट-टोकन कैप एक छिपे हुए प्रयोगात्मक चर के रूप में कार्य करते हैं जो मापे गए बहुभाषी तर्क अंतराल को कृत्रिम रूप से बढ़ा देते हैं या उलट देते हैं, और यह तर्क देता है कि वास्तविक तर्क संबंधी कमियों को ट्रंकेशन आर्टिफैक्ट्स (truncation artifacts) से अलग करने के लिए मूल्यांकन को एकल कैप के बजाय आउटपुट बजट के एक स्पेक्ट्रम में सटीकता रिपोर्ट करनी चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह मापने की कोशिश कर रहे हैं कि दो अलग-अलग धावक एक दौड़ को कितनी तेज़ी से पूरी कर सकते हैं। एक धावक ऐसी भाषा बोलता है जहाँ शब्द छोटे और प्रभावशाली होते हैं, जबकि दूसरा ऐसी भाषा बोलता है जहाँ शब्द लंबे और अलंकृत होते हैं। यदि आप दोनों धावकों से कहते हैं, "आपको ठीक तब रुकना होगा जब आपने 100 कदम पूरे कर लिए हों," तो आप केवल उनकी गति का परीक्षण नहीं कर रहे हैं; आप गुप्त रूप से यह परीक्षण कर रहे हैं कि उनकी भाषा को एक ही बात कहने के लिए कितने शब्दों की आवश्यकता है। लंबा बोलने वाला धावक शायद वाक्य के बीच में ही कट जाएगा, इसलिए नहीं कि वह धीमा है, बल्कि इसलिए क्योंकि फिनिश लाइन उसके विशिष्ट कदमों के हिसाब से बहुत जल्दी निर्धारित कर दी गई थी। यही आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) की मुख्य पहेली है: जब हम AI मॉडल से विभिन्न भाषाओं में गणित की समस्याएं हल करने के लिए कहते हैं, तो हम अक्सर देखते हैं कि वे अपनी मूल भाषा में अंग्रेजी में अनुवाद करने के बाद की तुलना में खराब प्रदर्शन करते हैं। वैज्ञानिक इसे "बहुभाषी तर्क अंतराल" (multilingual reasoning gap) कहते हैं। लेकिन क्या यह अंतराल इस बात का संकेत है कि AI वास्तव में अपनी मूल भाषा में "कम बुद्धिमान" है, या यह केवल एक माप त्रुटि है जो खेल के नियम निर्धारित करने के तरीके के कारण हुई है?
"माइंड द कैप" (Mind the Cap) नामक यह शोध पत्र जांच करता है कि क्या वह प्रसिद्ध अंतराल वास्तव में माप वाले टेप की एक चाल है। शोधकर्ताओं ने दो लोकप्रिय AI मॉडल (Qwen और Llama) के लिए जर्मन, थाई और स्वाहिली में गणित की समस्याओं को हल करने के लिए एक दौड़ आयोजित की। उन्होंने दो रणनीतियों की तुलना की: AI को अपनी मूल भाषा में सोचने और उत्तर देने देना (NATIVE) बनाम समस्या का अंग्रेजी में अनुवाद करना, अंग्रेजी में सोचना, और फिर अपनी मूल भाषा में उत्तर देना (TRANSLATE-ACT)। मोड़ क्या था? उन्होंने केवल अंतिम स्कोर को नहीं देखा; उन्होंने दौड़ को चरण-दर-चरण देखा, और "टोकन कैप" (token cap) को बदला—यानी डिजिटल निर्माण खंडों (टोकन) की अधिकतम संख्या जिसका उपयोग करने की अनुमति AI को अपना उत्तर लिखने के लिए दी जाती है।
शोधकर्ताओं ने पाया कि "अंतराल" कोई स्थिर सत्य नहीं है; यह एक चलता-फिरता लक्ष्य है जो पूरी तरह से इस पर निर्भर करता है कि नियंत्रण कितना सख्त है। जब कैप बहुत सख्त होता है (जैसे 128 टोकन), तो मूल भाषा अक्सर बुरी तरह हार जाती है, इसलिए नहीं कि AI तर्क करने में असमर्थ है, बल्कि इसलिए क्योंकि उसके पास अपना वाक्य पूरा करने के लिए बस जगह खत्म हो जाती है। हालाँकि, जैसे-जैसे उन्होंने कैप को ढीला किया, अंतराल कम होता गया और कभी-कभी गायब भी हो गया। वास्तव में, 1,024 टोकन के एक विशिष्ट बजट पर, एक मॉडल (Qwen) के लिए अंतराल लगभग पूरी तरह से समाप्त हो गया, जिससे पता चलता है कि AI में तर्क कौशल की कमी नहीं थी; उसे बस सांस लेने के लिए अधिक स्थान की आवश्यकता थी।
अध्ययन में एक और आश्चर्यजनक बात सामने आई: AI को शुरू करने से पहले सीमा बताना उसके व्यवहार को बदल सकता है। जब उन्होंने थाई-मूल निवासी AI को बताया, "आपके पास केवल 128 टोकन हैं," तो इसने तब बेहतर प्रदर्शन किया जब उन्हें बताया गया था, "आपके पास 2,048 टोकन हैं," भले ही दोनों मामलों में वास्तविक सीमा समान थी। ऐसा लगता है कि जब AI को लगता है कि वह जल्दी में है, तो वह अधिक कुशल होने का प्रयास करता है।
अंततः, यह शोध पत्र तर्क देता है कि "तर्क अंतराल" (reasoning gap) अक्सर एक "बजट आर्टिफैक्ट" (budget artifact) होता है। यदि आप AI को अपने विचारों को पूरा करने के लिए पर्याप्त स्थान देते हैं, तो मूल भाषा अक्सर बराबरी कर लेती है। शोधकर्ताओं ने अपने प्रयोगों को पहले से फ्रीज करके और हजारों नए, स्वतंत्र परीक्षण चलाकर इसकी जांच की। उन्होंने पाया कि हालांकि तंग बजट में अंतराल वास्तविक है, लेकिन एक बार जब AI को पूरा उत्तर लिखने की अनुमति मिल जाती है, तो यह अक्सर गायब हो जाता है। उन्होंने एक "शब्दावली विस्तार" (vocabulary extension)—AI को उसकी मूल भाषा के लिए नए, छोटे शब्द देना—का भी परीक्षण किया, लेकिन पाया कि यह केवल तभी मदद करता था जब बजट इतना कम था कि AI के वाक्यों को काट दिया जा रहा था। एक बार जब AI के पास पर्याप्त स्थान हो गया, तो अतिरिक्त शब्दों से कोई फर्क नहीं पड़ा।
बड़ी सीख यह है कि हमें टोकन सीमा को एक पृष्ठभूमि सेटिंग के रूप में नहीं मानना चाहिए। यह एक चर (variable) है जो परिणाम को बदल देता है। यदि हम जानना चाहते हैं कि क्या एक AI वास्तव में किसी भाषा में तर्क कर सकता है, तो हम केवल एक सीमा के साथ एक एकल स्कोर को नहीं देख सकते। हमें पूरी दौड़ को देखना होगा, शुरुआती गन से लेकर फिनिश लाइन तक, और यह समझना होगा कि कभी-कभी, AI सोचने में विफल नहीं हो रहा होता; वह बस पूरा करने में विफल हो रहा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।