The Effect of Scripts and Formats on LLM Numeracy
यह शोध पत्र प्रकट करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) कम प्रतिनिधित्व वाली लिपियों या प्रारूपों में संख्यात्मक अभिव्यक्तियों को संसाधित करते समय सटीकता में महत्वपूर्ण गिरावट का अनुभव करते हैं, लेकिन यह भी प्रदर्शित करता है कि लक्षित प्रॉम्प्टिंग रणनीतियाँ इस असमानता को प्रभावी ढंग से कम कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली छात्र है जिसने दुनिया की लगभग हर किताब पढ़ ली है। यह छात्र गणित में माहिर है, जो जटिल जोड़ और गुणा की समस्याओं को तुरंत हल कर सकता है। लेकिन इसमें एक पेच है: इस छात्र ने केवल उन्हीं संख्याओं को देखा है जो अंग्रेजी में मानक तरीके से लिखी जाती हैं (जैसे 1, 2, 3)।
यह शोध पत्र इस बारे में है कि क्या होता है जब आप इस सुपर-स्मार्ट छात्र को उन "भाषाओं" या "शैलियों" का उपयोग करके गणित करने के लिए कहते हैं जिन्हें उसने बहुत कम देखा है।
मुख्य खोज: "स्क्रिप्ट टैक्स" (Script Tax)
शोधकर्ताओं ने पाया कि जब उन्होंने मानक संख्याओं को अन्य लिपियों (scripts) से बदल दिया—जैसे कि १, २, ३ (देवनागरी) या ۱, ۲, ۳ (पर्शो-अरबी)—तो छात्र का गणित कौशल नाटकीय रूप से गिर गया।
इसे इस तरह सोचिए: यदि आप एक शेफ से एक बेहतरीन स्टेक पकाने के लिए कहते हैं, तो वह इसे आसानी से कर सकता है। लेकिन यदि आप उसे एक ऐसी रेसिपी थमा दें जिसे वह पढ़ नहीं सकता, या यदि आप उसे प्याज काटने के लिए चाकू के बजाय चम्मच का उपयोग करने के लिए कहें, तो वह सामग्री गिरा सकता है या खाना जला सकता है। शेफ को अभी भी पता है कि कैसे खाना बनाना है, लेकिन निर्देशों का प्रारूप (format) ने उसे भ्रमित कर दिया।
शोध पत्र इसे "स्क्रिप्ट टैक्स" कहता है। यह वह दंड है जो AI को केवल अलग आकार में संख्याएं देखने के लिए चुकाना पड़ता है। भले ही गणित की समस्या बिल्कुल वही हो (जैसे, "5 + 5"), यदि संख्याएं मानक अंग्रेजी शैली में नहीं हैं, तो AI 66% से 87% अधिक बार गलत हो जाता है।
ऐसा क्यों होता है?
शोध पत्र इसके दो मुख्य कारणों की ओर संकेत करता है:
- "प्रशिक्षण आहार" (Training Diet): AI को इंटरनेट से टेक्स्ट के विशाल आहार पर प्रशिक्षित किया गया था। उस टेक्स्ट का अधिकांश हिस्सा मानक अंग्रेजी संख्याओं का उपयोग करता है। यह वैसा ही है जैसे छात्र ने केवल सेब खाए हों; जब अचानक उन्हें नाशपाती दी जाती है, तो उन्हें नहीं पता होता कि उसे ठीक से कैसे चबाना है।
- "टोकन" (Token) की समस्या: AI शब्दों को मनुष्यों की तरह नहीं पढ़ता; यह टेक्स्ट को "टोकन" नामक छोटे टुकड़ों में तोड़ देता है।
- मानक संख्याएं (जैसे 123) एक या दो टुकड़ों में हो सकती हैं।
- कुछ अन्य लिपियां उसी संख्या को कई छोटे, भ्रमित करने वाले टुकड़ों में तोड़ देती हैं।
- शोध पत्र में पाया गया कि संख्या जितने अधिक "टुकड़ों" में टूटती है, AI के लिए गणित करना उतना ही कठिन हो जाता है। यह एक पहेली को हल करने जैसा है जहाँ किसी ने तस्वीर को 10 बड़े टुकड़ों के बजाय 100 छोटे टुकड़ों में काट दिया हो।
अच्छी खबर: हम "संकेतों" (Hints) से इसे ठीक कर सकते हैं
शोधकर्ताओं ने न केवल एक समस्या पाई; बल्कि उन्होंने मदद करने का एक तरीका भी खोजा। उन्होंने सवाल पूछने के विभिन्न तरीकों (जिसे "प्रॉम्प्टिंग" कहा जाता है) का परीक्षण किया:
- बस विनम्रता से पूछना: "कृपया इसे हल करें।" -> फिर भी विफल रहा।
- भाषा बताना: "यह थाई भाषा में लिखा है।" -> फिर भी विफल रहा।
- चीट शीट देना (मैपिंग): AI को एक सूची दिखाना जैसे "यह प्रतीक 1 है, यह 2 है।" -> बेहतर, लेकिन पूर्ण नहीं।
- जादुई ट्रिक (Few-Shot Prompting): यह विजेता रहा। शोधकर्ताओं ने AI को पहले कुछ उदाहरण दिए।
- उदाहरण 1: "यहाँ थाई में एक समस्या है: 1 + 1 = 2। यहाँ इसका उत्तर है।"
- उदाहरण 2: "यहाँ एक और है..."
- अब: "इसे हल करें।"
AI को इन अजीब संख्या शैलियों को संभालने के कुछ उदाहरण दिखाने से, उसका प्रदर्शन आसमान छू गया। यह छात्र को वास्तविक परीक्षा से पहले नई भाषा में कुछ अभ्यास प्रश्न दिखाने जैसा है। अचानक, वह गणित को पूरी तरह से कर सकता है।
फॉर्मेटिंग का मोड़ (Formatting Twist)
शोध पत्र ने यह भी देखा कि संख्याओं को कैसे समूहबद्ध किया जाता है। अमेरिका में, हम बड़ी संख्याओं को 1,000,000 (हर तीन अंकों के बाद कॉमा) के रूप में लिखते हैं। यूरोप में, वे 1.000.000 (डॉट) या 1 000 000 (स्पेस) लिख सकते हैं।
AI इन शैलियों से भी भ्रमित हो गया। उसने अमेरिकी शैली को पूरी तरह से संभाला लेकिन यूरोपीय शैलियों के साथ संघर्ष किया। दिलचस्प बात यह है कि AI अक्सर इन संख्या प्रारूपों को IP एड्रेस (जैसे 192.168.1.1) जैसी चीजों के साथ भ्रमित कर देता है, जो उसके प्रशिक्षण डेटा में आम हैं लेकिन गणित की समस्याएं नहीं हैं।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि ये AI मॉडल "गणित में खराब" नहीं हैं। वे वास्तव में तर्क (logic) में काफी अच्छे हैं। समस्या यह है कि वे नाजुक (fragile) हैं। वे उन विशिष्ट, परिचित तरीकों पर बहुत अधिक निर्भर करते हैं जिनसे उन्हें सिखाया गया था।
यदि आप चाहते हैं कि कोई AI आपके लिए अलग भाषा या अलग संख्या शैलियों में गणित करे, तो आप इसे सीधे नहीं पूछ सकते। आपको इसे थोड़ा सहारा देना होगा: पहले इसे कुछ उदाहरण दिखाएं, या समझाएं कि प्रतीक वास्तव में कैसे काम करते हैं। एक बार जब आप ऐसा करते हैं, तो "स्क्रिप्ट टैक्स" गायब हो जाता है, और गणित फिर से आसान हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।