AI-rithmetic
यह शोध पत्र इस बात की जांच करता है कि क्यों फ्रंटियर एआई मॉडल बुनियादी अंकगणित में संघर्ष करते हैं, यह प्रदर्शित करते हुए कि उनका प्रदर्शन अंकों की संख्या बढ़ने के साथ घटता जाता है और अधिकांश त्रुटियां टोकनाइज़ेशन के कारण ऑपरेंड मिसअलाइनमेंट या अंकों को कैरी करने में विफलता जैसी अनुमानित समस्याओं के कारण होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द "जीनियस टॉडलर" विरोधाभास: क्यों AI कैलकुलस हल कर सकता है लेकिन जोड़ करने में विफल रहता है
कल्पना कीजिए कि आप एक विश्व स्तरीय कॉन्सर्ट पियानो वादक को देख रहे हैं। वे रॉकमानिनॉफ़ के सबसे जटिल कॉन्सेर्टो को लुभावनी सटीकता के साथ बजा सकते हैं, उनकी उंगलियां ऐसे पैटर्न में चलती हैं जो लगभग अलौकिक लगते हैं। लेकिन फिर, आप उनसे कुछ बहुत ही सरल करने के लिए कहते हैं: "कृपया एक स्थिर 4/4 बीट पर अपनी उंगलियां थपथपाएं।"
अचानक, वे लड़खड़ा जाते हैं। वे एक बीट चूक जाते हैं। वे लय खो देते हैं। वे भ्रमित दिखाई देते हैं।
यही बिल्कुल वही हो रहा है जो आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) के साथ हो रहा है। यह शोध पत्र, जिसका शीर्षक "AI-rithmetic" है, एक अजीब घटना की खोज करता है: AI मॉडल अंतरराष्ट्रीय गणित प्रतियोगिताओं को जीत सकते हैं और वैज्ञानिकों को नए सिद्धांत सिद्ध करने में मदद कर सकते हैं, फिर भी वे दो लंबी संख्याओं को आपस में जोड़ने में लगातार विफल रहते हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, जिसमें कुछ सरल उपमाओं का उपयोग किया गया है।
1. "टूटे हुए रूलर" की समस्या (मिसअलाइनमेंट त्रुटियाँ)
कल्पना कीजिए कि आप वर्गों (squares) को जोड़ने के लिए ग्राफ पेपर के दो टुकड़ों को एक साथ मिलाने की कोशिश कर रहे हैं। यदि आप कागज के एक टुकड़े को थोड़ा सा बाएँ या दाएँ खिसका देते हैं, तो आपकी पूरी गणना गलत हो जाएगी, भले ही आपका गणित एकदम सही हो।
शोधकर्ताओं ने पाया कि कई AI मॉडल "मिसअलाइनमेंट" (Misalignment) का शिकार होते हैं। "इकाई" (ones) कॉलम को "इकाई" कॉलम के साथ मिलाने के बजाय, AI गलती से एक संख्या को एक स्थान खिसका देता है।
ट्विस्ट: यह केवल यादृच्छिक अनाड़ीपन नहीं है। यह अक्सर इस बात के कारण होता है कि AI टेक्स्ट को कैसे "पढ़ता" है, जिसे "टोकेनाइजेशन" (tokenization) कहा जाता है। इसे एक ऐसी किताब पढ़ने की तरह समझें जहाँ कुछ शब्द एकल अक्षरों में टूटे हुए हैं, लेकिन अन्य शब्द तीन के समूहों में जुड़े हुए हैं। क्योंकि AI इन अजीब, असमान टुकड़ों में संख्याओं को देखता है, वह "ग्राफ पेपर" पर अपना स्थान खो देता है, जिससे संख्याएं मिसअलाइन हो जाती हैं।
2. "झिलमिलाते बल्ब" की समस्या (क्लोज कैरी त्रुटियाँ)
लंबे जोड़ (long addition) में, आपको अक्सर "एक हासिल लेना" (carry the one) पड़ता है। यदि आप जोड़ते हैं, तो आप $01$ हासिल ले जाते हैं।
शोधकर्ताओं ने पाया कि AI मॉडल इस मामले में "झिलमिलाने" की समस्या से जूझते हैं। एक ऐसे लाइटबल्ब की कल्पना करें जो ज्यादातर काम कर रहा है, लेकिन कभी-कभार—बस एक सेकंड के लिए—झिलमिलाकर बंद हो जाता है।
AI इसलिए विफल नहीं होता क्योंकि वह गणित नहीं समझता; वह इसलिए विफल होता है क्योंकि वह "करीब की गलतियाँ" (close calls) करता है। या तो वह:
- जब उसे हासिल लेना चाहिए था, तब 'एक' हासिल लेना भूल जाता है।
- या जब उसे हासिल नहीं लेना चाहिए था, तब 'एक' हासिल ले लेता है।
शोधकर्ताओं ने पाया कि ये "बड़ी" गलतियाँ नहीं हैं। ये छोटी, स्थानीय गड़बड़ियाँ हैं। यह एक ऐसे हाइकर (पर्वतारोही) की तरह है जो मीलों तक एक आदर्श पथ पर चलता है, लेकिन हर कुछ मील के बाद, वह एक थोड़ा गलत कदम उठा लेता है। अंततः, वह अपने इच्छित स्थान से मीलों दूर हो जाता है, भले ही वह "ज्यादातर" सही रास्ते पर था।
3. क्यों "बड़ा" होना हमेशा "स्मार्ट" होना नहीं है
आप सोच सकते हैं, "यदि AI संघर्ष कर रहा है, तो बस उसे एक बड़ा दिमाग (अधिक डेटा और अधिक कंप्यूटिंग पावर) दे दें!"
यह शोध पत्र सुझाव देता है कि यह काम नहीं कर सकता है। हालांकि बड़े मॉडल आम तौर पर बेहतर होते हैं, फिर भी वे संख्याएं लंबी होने पर एक सीमा तक पहुँच जाते हैं। यह एक टपकते हुए नल को ठीक करने के लिए एक बड़ा घर बनाने की कोशिश करने जैसा है। आपने एक शानदार हवेली बनाई है, लेकिन नल अभी भी टपक रहा है। समस्या सिस्टम के आकार की नहीं है; यह उस तंत्र (mechanism) की है जिसका उपयोग वह काम करने के लिए करता है।
बड़ी तस्वीर: "ब्लैक बॉक्स" की चेतावनी
इस शोध पत्र का सबसे महत्वपूर्ण निष्कर्ष गणित के बारे में नहीं है—यह विश्वसनीयता के बारेारे में है।
हम वर्तमान में ऐसे AI सिस्टम बना रहे हैं जो "ब्लैक बॉक्स" की तरह व्यवहार करते हैं। हम उन्हें अविश्वसनीय, जीन-स्तर के काम करते देखते हैं, इसलिए हम मान लेते हैं कि वे हर तरह से "स्मार्ट" हैं। लेकिन यह शोध सिद्ध करता है कि AI इंसानों की तरह "सोचता" नहीं है। एक मानव बच्चा सीखता है कि और मात्रा (quantity) की अवधारणा को समझता है। एक AI एक बहुत ही परिष्कृत पैटर्न-मैचिंग मशीन की तरह है जो कभी-कभी अपना स्थान खो सकता है या एक सूक्ष्म विवरण पर लड़खड़ा सकता है।
सबक: हमें "उन्नत" (advanced) को "विश्वसनीय" (reliable) समझने की गलती नहीं करनी चाहिए। जब तक हम इन मौलिक "मैट्रिक्स की गड़बड़ियों" को ठीक नहीं कर लेते, हमें एक साधारण कार्य करने के लिए भी AI पर भरोसा करने में बहुत सावधान रहना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।