Large Language Models are Algorithmically Blind
यह शोध पत्र यह प्रकट करता है कि अपने व्यापक ज्ञान के बावजूद, लार्ज लैंग्वेज मॉडल्स "एल्गोरिद्मिक ब्लाइंडनेस" (कलनविधि अंधापन) से ग्रस्त हैं, जो कम्प्यूटेशनल प्रक्रियाओं और एल्गोरिद्मिक प्रदर्शन के बारे में सटीक भविष्यवाणी करने या तर्क करने में व्यवस्थित रूप से विफल रहते हैं, और अक्सर उनके अपने घोषणात्मक ज्ञान (declarative knowledge) और प्रक्रियात्मक तर्क क्षमताओं (procedural reasoning capabilities) के बीच एक मौलिक अंतर के कारण वे यादृच्छिक अनुमान (random guessing) से बेहतर प्रदर्शन नहीं कर पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Large Language Models are Algorithmically Blind" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।
मुख्य विचार: वह "सब कुछ जानने वाला" जो गणित नहीं कर सकता
कल्पना कीजिए कि आपका एक ऐसा मित्र है जिसने पुस्तकालय की हर किताब पढ़ ली है। वह आपको रोमन साम्राज्य का इतिहास, अब तक बनी हर फिल्म की कहानी और "कंप्यूटर एल्गोरिदम" की परिभाषा बता सकता है। वह अविश्वसनीय रूप से ज्ञानी है।
अब, कल्पना कीजिए कि आप इस मित्र से पूछते हैं: "यदि मैं एक विशिष्ट टूल्स (औजार) का उपयोग करके एक विशिष्ट खराब कार को ठीक करता हूँ, तो इसमें कितना समय लगेगा, और इसके सफल होने की कितनी संभावना है?"
आप उम्मीद करते हैं कि वह कार के मॉडल और टूल की विशिष्टताओं के आधार पर एक समझदारी भरा अनुमान देगा। इसके बजाय, वह आपको एक बेहद गलत उत्तर देता है। वह कह सकता है, "इसमें 2 मिनट से लेकर 200 साल के बीच का समय लगेगा, और यह निश्चित रूप से पूरी तरह काम करेगा," भले ही वह टूल उस विशिष्ट कार पर 90% बार विफल होने के लिए जाना जाता हो।
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) बिल्कुल उसी मित्र की तरह हैं। उन्होंने एल्गोरिदम के बारे में पढ़ा है, लेकिन वे वास्तव में यह पूर्वानुमान नहीं लगा सकते कि एक नए प्रश्न पर कोई एल्गोरिदम कितनी अच्छी तरह प्रदर्शन करेगा। लेखक इसे "एल्गोरिद्मिक ब्लाइंडनेस" (Algorithmic Blindness - एल्गोरिदम के प्रति अंधापन) कहते हैं।
प्रयोग: "कॉज़ल डिस्कवरी" टेस्ट (कारण-प्रभाव खोज परीक्षण)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने कॉज़ल डिस्कवरी (डेटा में कारण-और-प्रभाव संबंधों को समझना, जैसे "क्या धूम्रपान से कैंसर होता है?") नामक क्षेत्र का उपयोग करके एक कठोर परीक्षण तैयार किया।
इसे एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) की तरह समझें:
- सामग्री (Ingredients): 13 अलग-अलग डेटासेट्स (कुछ प्रसिद्ध, कुछ काल्पनिक)।
- टूल्स (Tools): रेसिपी खोजने के लिए 4 अलग-अलग कुकिंग तरीके (एल्गोरिदम)।
- जज (Judges): शोधकर्ताओं ने वास्तविक सत्य (ग्राउंड ट्रुथ) प्राप्त करने के लिए प्रत्येक टूल को प्रत्येक डेटासेट पर 100 बार चलाया। वे जानते थे कि प्रत्येक टूल वास्तव में कितनी अच्छी तरह काम करता है।
फिर, उन्होंने 8 अलग-अलग शीर्ष स्तर के AI मॉडल्स (जैसे ChatGPT, Claude आदि के सबसे स्मार्ट वर्ज़न) से उन सामग्रियों और टूल को देखने के लिए कहा, और टेस्ट चलाने से पहले ही परिणामों का अनुमान लगाने को कहा। उन्होंने AI से एक रेंज (सीमा) देने को कहा: "मुझे लगता है कि सफलता दर X% और Y% के बीच होगी।"
परिणाम: एक पूर्ण आपदा
परिणाम चौंकाने वाले थे। यहाँ क्या हुआ:
"मैजिक 15%" की विफलता:
यदि आप पूरी तरह से रैंडम (यादृच्छिक) नंबर का अनुमान लगाते, तो आप लगभग 36% बार सही होते (क्योंकि AI द्वारा दी गई रेंज बहुत बड़ी थी)। लेकिन AI मॉडल केवल 15.9% बार ही सही थे।- उपमा: एक ऐसे मौसम विज्ञानी की कल्पना करें जो कहता है, "रात 1 बजे से सुबह 11 बजे के बीच बारिश की 50% संभावना है।" इतने बड़े दायरे के बावजूद, वह 84% बार गलत होता है।
रैंडम अनुमान से भी बदतर:
आठ में से सात शीर्ष AI मॉडल्स का प्रदर्शन रैंडम नंबर चुनने से भी बदतर था। वे केवल खराब नहीं थे; वे आत्मविश्वास के साथ गलत थे।"कॉन्फिडेंस" (आत्मविश्वास) का जाल:
AI मॉडल्स ने बहुत विस्तृत रेंज दी (जैसे, "सफलता दर: 0% से 100%")। आप सोच सकते हैं, "ओह, वे विनम्र हो रहे हैं और सभी संभावनाओं को कवर कर रहे हैं!"- ट्विस्ट: इन विशाल, अत्यधिक सतर्क रेंज के बावजूद, वास्तविक परिणाम अधिकांश समय उनके अनुमान से बाहर था। वे अंधे आंखों से डार्ट फेंकने वाले खिलाड़ी की तरह थे, लेकिन निशाना हिल रहा था, और उन्होंने तब भी निशाना चूक दिया जब उन्होंने कमरे के दूसरे छोर से डार्ट फेंका था।
वे क्यों विफल हुए? ("मेमोराइजेशन" या रटने का जाल)
शोधकर्ताओं ने गहराई से जांच की कि AI क्यों विफल हुआ। उन्होंने पाया कि AI वास्तव में "सोच" या "तर्क" नहीं कर रहा था। वह रट रहा था (Memorizing)।
"प्रसिद्ध छात्र" की उपमा:
एक ऐसे छात्र की कल्पना करें जिसने अभ्यास परीक्षाओं (बेंचमार्क डेटासेट्स) के लिए उत्तर कुंजी (Answer Key) रट ली है। यदि आप उससे उन विशिष्ट परीक्षाओं के बारे में पूछते हैं, तो वह कुछ सही उत्तर दे देता है क्योंकि उसे वे याद हैं।
लेकिन यदि आप उसे एक नई परीक्षा देते हैं जिसमें नियम वही हैं लेकिन संख्याएँ अलग हैं (सिंथेटिक डेटासेट्स), तो वह घबरा जाता है। उसे समस्या को हल करने का कोई अंदाजा नहीं है; वह केवल पुराने प्रश्नों के उत्तर जानता है।साक्ष्य:
- जब AI का परीक्षण प्रसिद्ध, जाने-माने डेटासेट्स पर किया गया, तो इसका प्रदर्शन थोड़ा बेहतर था (क्योंकि उसने अपने ट्रेनिंग डेटा में उनके बारे में "पढ़ा" था)।
- जब नए, बनाए गए डेटा पर परीक्षण किया गया, तो इसका प्रदर्शन पूरी तरह गिर गया।
- AI मॉडल्स प्रसिद्ध टेस्ट पर एक-दूसरे से सहमत थे (क्योंकि उन्होंने एक ही उत्तर रटे थे) लेकिन नए टेस्ट पर पूरी तरह असहमत थे (क्योंकि वे केवल अनुमान लगा रहे थे)।
निष्कर्ष: अपने टूल्स चुनने के लिए AI पर भरोसा न करें
शोध पत्र निष्कर्ष निकालता है कि आप वर्तमान AI मॉडल्स का उपयोग किसी काम के लिए सबसे अच्छा एल्गोरिदम चुनने के लिए नहीं कर सकते।
यदि आप एक डेटा साइंटिस्ट हैं और यह तय करने की कोशिश कर रहे हैं कि नए प्रोजेक्ट के लिए कौन सा टूल उपयोग करना है, तो AI से पूछना कि "कौन सा एल्गोरिदम सबसे अच्छा काम करेगा?" एक ऐसे व्यक्ति से पूछने जैसा है जिसने कार मैनुअल की हर किताब पढ़ी है, और उससे यह अनुमान लगाने को कहना कि एक विशिष्ट कार एक विशिष्ट ट्रैक पर कितनी तेज़ चलेगी, बिना कभी उस कार या ट्रैक को देखे। वह स्पेसिफिकेशन तो बता सकता है, लेकिन वह परिणाम का पूर्वानुमान नहीं लगा सकता।
मुख्य सीख:
LLMs यह बताने में अद्भुत हैं कि एल्गोरिदम क्या हैं (घोषणात्मक ज्ञान/Declarative Knowledge), लेकिन वे इस बात के प्रति "अंधे" हैं कि वे वास्तविक दुनिया में कैसे व्यवहार करते हैं (प्रक्रियात्मक भविष्यवाणी/Procedural Prediction)। जब तक यह नहीं बदल जाता, हम उन्हें यह निर्णय लेने के लिए निर्भर नहीं कर सकते कि किन कम्प्यूटेशनल टूल्स का उपयोग किया जाए। हमें अभी भी अपने परीक्षण स्वयं चलाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।