Is Capability a Liability? More Capable Language Models Make Worse Forecasts When It Matters Most
यह शोध पत्र प्रकट करता है कि अधिक सक्षम लार्ज लैंग्वेज मॉडल्स (LLMs) सुपरलीनियर ग्रोथ और टेल रिस्क से जुड़े पूर्वानुमान कार्यों में इन्वर्स स्केलिंग प्रदर्शित करते हैं, जिससे वे ऊपरी पूंछ (upper tails) का अत्यधिक विस्तार करके खराब वितरण संबंधी भविष्यवाणियां करते हैं—एक ऐसी विफलता जिसे मानक सिंगल-थ्रेशोल्ड मेट्रिक्स नहीं पकड़ पाते लेकिन जो निरंतर, टेल-समावेशी स्कोरिंग द्वारा उजागर हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: भविष्य की भविष्यवाणी करने में "ज़्यादा स्मार्ट" होना हमेशा बेहतर नहीं होता
कल्पना कीजिए कि आप मौसम वैज्ञानिकों के एक समूह से अगले सप्ताह के तापमान की भविष्यवाणी करने के लिए कह रहे हैं। आपके पास जूनियर मौसम वैज्ञानिक और अत्यधिक अनुभवी, बेहद बुद्धिमान विशेषज्ञ दोनों का मिश्रण है। आमतौर पर, आप उम्मीद करेंगे कि विशेषज्ञ अधिक सटीक होंगे।
इस शोध पत्र ने एक चौंकाने वाली बात पाई है: जब ऐसी चीज़ों की भविष्यवाणी करनी हो जो बहुत तेज़ी से बढ़ती हैं और फिर अचानक गिर जाती हैं (जैसे वायरस का प्रकोप या हाउसिंग बबल), तो "सुपर-स्मार्ट" विशेषज्ञ कम सक्षम विशेषज्ञों की तुलना में खराब भविष्यवाणियाँ करते हैं।
वास्तव में, मॉडल जितना स्मार्ट होगा, वह सबसे खराब स्थिति (worst-case scenarios) के बारे में उतना ही अधिक आत्मविश्वास के साथ गलत होगा।
मूल समस्या: "अति-आत्मविश्वासी आशावादी" (The Over-Confident Optimist)
शोधकर्ताओं ने पाया कि लार्ज लैंग्वेज मॉडल्स (LLMs) में एक विशिष्ट अंधा मोड़ (blind spot) होता है। जब वे किसी ट्रेंड को बहुत तेज़ी से ऊपर जाते देखते हैं (superlinear growth), तो उन्हें विश्वास हो जाता है कि यह हमेशा ऊपर ही जाता रहेगा।
- स्मार्ट मॉडल्स: वे पैटर्न को पहचानने में इतने अच्छे होते हैं कि वे मान लेते हैं कि यह जारी रहेगा। वे अपनी "सबसे खराब स्थिति" की भविष्यवाणियों को आसमान की ऊंचाइयों तक ले जाते हैं। वे सोचते हैं, "यह इतनी तेज़ी से बढ़ रहा है, तो इसे बढ़ते ही रहना चाहिए!"
- वास्तविकता: वास्तविक दुनिया में, महामारी या आर्थिक बुलबुले जैसी चीज़ें अंततः एक दीवार (एक "regime change") से टकराती हैं और गिर जाती हैं।
- परिणाम: क्योंकि स्मार्ट मॉडल्स को इतना यकीन था कि आसमान ही इसकी सीमा है, उनकी "सबसे खराब स्थिति" के अनुमान बहुत ज़्यादा ऊँचे थे। जब गिरावट आई, तो उनकी भविष्यवाणियाँ पूरी तरह से गलत साबित हुईं। कम सक्षम मॉडल्स अधिक सतर्क थे और उन्होंने अपने अनुमानों को बहुत ऊपर नहीं पहुँचाया, इसलिए वे वास्तविकता के करीब रहे।
उदाहरण: रोलर कोस्टर (The Roller Coaster)
कल्पना कीजिए कि एक रोलर कोस्टर एक खड़ी चढ़ाई चढ़ रहा है।
- कम सक्षम मॉडल: चढ़ाई को देखता है और कहता है, "यह ऊपर जा रहा है, लेकिन शायद यह जल्द ही रुक जाएगा।" वह एक ऐसी रेखा खींचता है जो थोड़ी ऊपर जाती है और फिर सीधी (flat) हो जाती है।
- सक्षम मॉडल: चढ़ाई को देखता है, गति की गणना करता है, और कहता है, "यह सीधे चाँद पर जाने वाला है!" वह एक ऐसी रेखा खींचता है जो सीधे अंतरिक्ष की ओर जाती है।
- क्रैश (The Crash): रोलर कोस्टर शिखर पर पहुँचता है और नीचे की ओर गिरता है।
- स्कोर: जिस मॉडल ने चाँद तक की रेखा खींची थी, वह अब वास्तविक ट्रैक से बहुत दूर है। जिस मॉडल ने अनुमान लगाया था कि यह सीधा (flat) हो जाएगा, वह वास्तव में जहाँ रोलर कोस्टर गया, उसके बहुत करीब है।
यह शोध पत्र इसे "इनवर्स स्केलिंग" (Inverse Scaling) कहता है। आमतौर पर, बड़े और स्मार्ट मॉडल हर चीज़ में बेहतर होते हैं। यहाँ, स्मार्ट होने से इस विशेष प्रकार की भविष्यवाणी करने में वे और भी खराब हो जाते हैं।
हमने इसे पहले क्यों नहीं पकड़ा? ("सिंगल-पॉइंट" का जाल)
आप पूछ सकते हैं: "यदि स्मार्ट मॉडल्स इतने गलत हैं, तो शोधकर्ताओं ने इसे पहले क्यों नहीं पकड़ा?"
इसका उत्तर यह है कि हम इन मॉडल्स को कैसे ग्रेड (grade) करते हैं। अधिकांश बेंचमार्क एक "पास/फेल" टेस्ट या "क्या आपने सही नंबर का अनुमान लगाया?" टेस्ट का उपयोग करते हैं।
- बाइनरी टेस्ट (Pass/Fail): कल्पना कीजिए कि एक टेस्ट है जो पूछता है, "क्या संख्या 100 से ऊपर जाएगी?"
- स्मार्ट मॉडल अनुमान लगाता है कि संख्या 1,000,000 होगी।
- वास्तविक संख्या 50 है।
- ग्रेड: स्मार्ट मॉडल तकनीकी रूप से "सही" है कि यह 100 से ऊपर गया (भले ही वह बहुत ज़्यादा गलत था)। उसे पास होने का ग्रेड मिलता है।
- कंटीन्यूअस टेस्ट (The Real Score): यह मापता है कि अनुमान कितना दूर था।
- स्मार्ट मॉडल ने 1,000,000 का अनुमान लगाया लेकिन उत्तर 50 था। यह एक बहुत बड़ी त्रुटि (error) है।
- कम स्मार्ट मॉडल ने 60 का अनुमान लगाया। यह एक छोटी त्रुटि है।
- ग्रेड: स्मार्ट मॉडल बुरी तरह फेल हो जाता है।
यह शोध पत्र तर्क देता है कि वर्तमान AI बेंचमार्क ज्यादातर "पास/फेल" टेस्ट का उपयोग कर रहे हैं। वे "टेल" (extreme, worst-case outcomes) के बारे में बहुत अधिक आत्मविश्वासी होने की भारी लागत को नज़रअंदाज़ कर रहे हैं। जब आप ऐसे स्कोरिंग सिस्टम का उपयोग करते हैं जो बहुत ज़्यादा गलत होने पर दंडित करता है, तो "स्मार्ट" मॉडल्स अचानक सबसे खराब भविष्यवक्ता बन जाते हैं।
क्या विषय जानने से मदद मिलती है?
शोधकर्ताओं ने मॉडल्स को यह बताकर इसे ठीक करने की कोशिश की कि वे वास्तव में किस चीज़ की भविष्यवाणी कर रहे हैं (जैसे, "यह खसरा (measles) के मामलों का चार्ट है" या "यह हाउसिंग कीमतों का चार्ट है")।
- यह कभी-कभी काम करता है: COVID-19 जैसी चीज़ों के लिए, मॉडल को विषय बताने से उसे शांत होने और बेहतर भविष्यवाणी करने में मदद मिली।
- यह अक्सर विफल रहता है: हाइपरइन्फ्लेशन (मुद्रास्फीति) जैसी चीज़ों के लिए, मॉडल्स को तथ्य पता थे। वे यहाँ तक कह सकते थे, "ओह, यह एक संकट है।" लेकिन जब वास्तविक भविष्यवाणी करने की बारी आई, तो उन्होंने तथ्यों को अनदेखा कर दिया और अनुमान लगाया कि संख्याएँ सीधे चाँद पर पहुँच जाएँगी। उनके पास ज्ञान था, लेकिन वे उस ज्ञान को एक यथार्थवादी भविष्यवाणी में नहीं बदल सके।
निष्कर्ष (The Takeaway)
- क्षमता की एक कीमत होती है: पैटर्न पहचानने में बहुत अच्छा होना AI को तब अति-आत्मविश्वासी बना सकता है जब वे पैटर्न टूटने वाले हों।
- "टेल" (The Tail) महत्वपूर्ण है: वित्त, रोग नियंत्रण या जलवायु जैसे क्षेत्रों में, "सबसे खराब स्थिति" (the tail) सबसे महत्वपूर्ण हिस्सा है। यदि आप 'टेल' को मिस कर देते हैं, तो आप आपदा को मिस कर देते हैं।
- ग्रेडिंग बदलें: हमें AI को केवल "हाँ/ना" वाले सवालों पर ग्रेड देना बंद करना होगा। हमें उन्हें इस बात पर ग्रेड देना होगा कि वे संभावनाओं की पूरी रेंज को कितनी अच्छी तरह संभालते हैं, विशेष रूप से चरम स्थितियों (extreme outcomes) को। यदि हम ऐसा नहीं करते हैं, तो हम "स्मार्ट" मॉडल्स को तैनात करते रहेंगे जो उच्च-जोखिम वाली भविष्यवाणियों के लिए वास्तव में अधिक खतरनाक हैं।
संक्षेप में: यह शोध पत्र चेतावनी देता है कि हमारे "सबसे स्मार्ट" AI उपकरण उन चीज़ों की भविष्यवाणी करने में सबसे खतरनाक हो सकते हैं जो बहुत तेज़ी से बढ़ती हैं और अचानक गिर जाती हैं, क्योंकि वे विकास (growth) को लेकर बहुत आत्मविश्वासी और गिरावट (crash) के प्रति बहुत अंधे होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।