Flaws in the LLM Automation Narrative
यह शोध पत्र एक नवीन कोडिंग बेंचमार्क के माध्यम से यह प्रदर्शित करते हुए इस विमर्श को चुनौती देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) मानव विशेषज्ञ प्रदर्शन के बराबर हैं, जिसमें यह दिखाया गया है कि मानव औसत सटीकता और निरंतरता दोनों में फ्रंटियर LLMs से बेहतर प्रदर्शन करते हैं, साथ ही यह केवल मानक बेंचमार्क पर निर्भर रहने के बजाय त्रुटि की मात्रा और प्रतिक्रिया की भिन्नता का मूल्यांकन करने की महत्वपूर्ण आवश्यकता पर भी प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Flaws in the LLM Automation Narrative" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "परफेक्ट स्टूडेंट" बनाम "असली दुनिया"
कल्पना कीजिए कि एक छात्र है जिसने उन सभी अभ्यास परीक्षणों (practice tests) के उत्तर कुंजी को रट लिया है जो उसने कभी दिए थे। उन विशिष्ट परीक्षणों पर, वह हर बार 100% अंक प्राप्त करता है। स्कूल प्रशासक (और वे तकनीकी कंपनियाँ जो उस छात्र की सेवाओं को बेच रही हैं) दावा करते हैं कि यह छात्र एक जीनियस है जो सभी शिक्षकों और डॉक्टरों की जगह ले सकता है।
यह पेपर तर्क देता है कि यह छात्र वास्तव में एक धोखेबाज है। वह केवल इसलिए स्मार्ट दिखता है क्योंकि उसने प्रश्नों को पहले ही देख लिया है। जब आप उसे एक बिल्कुल नया, पेचीदा सवाल देते जिसे उसने रटा नहीं है, तो वह केवल छोटी गलतियाँ नहीं करता; वह कभी-कभी विनाशकारी (catastrophic) गलतियाँ करता है, और वह बेहद असंगत (inconsistent) होता है।
प्रयोग: एक ट्विस्ट के साथ कुकिंग कॉम्पिटिशन
इसकी जाँच करने के लिए, शोधकर्ताओं ने एक अनूठा "कुकिंग कॉम्पिटिशन" आयोजित किया।
- चुनौती: उन्हें एक विशिष्ट सत्य (स्वाद) खोजने के लिए 7,700 अलग-अलग डेटासेट्स (सामग्री/ingredients) का विश्लेषण करने हेतु एक कंप्यूटर प्रोग्राम (रेसिपी) लिखना था।
- नियम: प्रतियोगियों को वास्तविक डेटा पहले से नहीं देखना था। उनके पास केवल एक लिखित निर्देश पुस्तिका थी। इसने यह सुनिश्चित किया कि "छात्र" केवल उत्तरों को रट न सकें।
- प्रतियोगी:
- मानव विशेषज्ञ: पीएचडी स्तर के सांख्यिकीविदों (statisticians) की एक टीम (मास्टर शेफ)।
- AI: एक शीर्ष श्रेणी का लार्ज लैंग्वेज मॉडल (LLM) जिसे ChatGPT Codex 5.2 कहा जाता है (रोबोट शेफ)।
- AI की रणनीति: शोधकर्ताओं ने AI को उसी समस्या को हल करने के लिए 20 अलग-अलग "रेसिपी" (स्क्रिप्ट्स) लिखने के लिए कहा, ताकि यह देखा जा सके कि क्या वह सुसंगत (consistent) हो सकता है।
उन्होंने क्या पाया: "भयंकर रूप से जल जाना" (The Catastrophic Burn)
परिणाम चौंकाने वाले थे। हालाँकि AI कभी-कभी एक अच्छा भोजन बना लेता था, लेकिन यह उन तरीकों से विफल हुआ जैसे इंसान कभी नहीं होते।
1. "पूरी तरह जल जाने" की समस्या (त्रुटियों का परिमाण/Magnitude of Errors)
एक सामान्य टेस्ट में, यदि आप एक प्रश्न गलत करते हैं, तो आप कुछ अंक खो देते हैं। इस प्रतियोगिता में, AI ने केवल अंक नहीं खोए; इसने कभी-कभी पूरी रसोई में आग लगा दी।
- उपमा: कल्पना कीजिए कि एक मानव शेफ ने गलती से सूप में थोड़ा अधिक नमक डाल दिया। वह एक छोटी सी गलती है। हालाँकि, AI कभी-कभी इतना नमक डाल देता था जिससे पूरा समुद्र भर जाए, या इससे भी बुरा, इसने सामग्री के पूरे डेटाबेस को ही हटा दिया।
- वास्तविकता: AI की कुछ स्क्रिप्ट्स ने ऐसी त्रुटियाँ पैदा कीं जो मानव द्वारा की गई त्रुटियों से अरबों गुना बड़ी थीं। पेपर नोट करता है कि एक मामले में, AI की त्रुटि "100 बिलियन मानक विचलन (standard deviations)" के बराबर थी। संदर्भ के लिए, विज्ञान में 0.8 का अंतर एक "बड़ा" प्रभाव माना जाता है। AI अरबों के कारक से पीछे था।
2. "रोलरकोस्टर" की समस्या (विचलन/Variance)
यदि आप एक मानव विशेषज्ञ को उसी समस्या को 20 बार हल करने के लिए कहते हैं, तो उनके उत्तर बहुत समान होंगे। वे विश्वसनीय होते हैं।
- उपमा: यदि आप एक मानव शेफ को 20 बार केक बनाने के लिए कहते हैं, तो वे 20 थोड़े अलग केक बना सकते हैं, लेकिन वे सभी खाने योग्य केक होंगे। यदि आप AI शेफ को एक ही केक 20 बार बनाने के लिए कहते हैं, तो आपको मिल सकता है:
- 10 परफेक्ट केक।
- 5 केक जो सिर्फ कच्चा आटा हैं।
- 3 केक जो आग की लपटों में हैं।
- 2 केक जो वास्तव में एक केक की तस्वीर हैं।
- वास्तविकता: AI का प्रदर्शन अविश्वसनीय रूप से अस्थिर था। एक स्क्रिप्ट अच्छी तरह काम कर सकती थी, और ठीक उसके बाद वाली (जो सेकंडों बाद बनाई गई थी) पूरी तरह विफल हो सकती थी। यह "स्टोकेस्टिसिटी" (यादृच्छिकता/randomness) का अर्थ है कि आप AI पर दो बार में एक ही काम करने के लिए भरोसा नहीं कर सकते।
3. "चीटिंग" की समस्या (बेंचमार्क संदूषण/Benchmark Contamination)
पेपर का तर्क है कि अधिकांश AI टेस्ट फिक्स्ड (rigged) हैं।
- उपमा: यह एक छात्र के गणित कौशल का परीक्षण करने जैसा है जिसमें उस पेपर का उपयोग किया गया है जिसका उपयोग छात्र ने पढ़ाई के लिए किया था। छात्र को 'A' ग्रेड मिलता है, लेकिन उसने गणित सीखा नहीं है; उसने बस टेस्ट को रट लिया है।
- वास्तविकता: कई लोकप्रिय AI बेंचमार्क उन प्रश्नों का उपयोग करते हैं जिन्हें AI ने अपने प्रशिक्षण (training) के दौरान पहले ही देख लिया है। जब शोधकर्ताओं ने एक "क्लीन" टेस्ट (2016 प्रतियोगिता डेटा) का उपयोग किया जिसे AI ने संभवतः नहीं देखा था, तो AI का प्रदर्शन मनुष्यों की तुलना में काफी गिर गया।
निष्कर्ष: विकल्प नहीं, बल्कि एक जोखिम भरा उपकरण
पेपर यह निष्कर्ष निकालता है कि "AI मानव विशेषज्ञ के समान है" का दावा करने वाला नैरेटिव दोषपूर्ण है क्योंकि यह दो महत्वपूर्ण चीजों को अनदेखा करता है:
- गलतियाँ कितनी बुरी हैं: मनुष्य छोटी, प्रबंधनीय गलतियाँ करते हैं। AI दुर्लभ लेकिन "प्रलयंकारी" गलतियाँ करता है जो सिस्टम को नष्ट कर सकती हैं।
- AI कितना असंगत है: मनुष्य विश्वसनीय होते हैं। AI एक जुआ है।
सीख:
शोधकर्ताओं ने पाया कि हालांकि AI कभी-कभी मानव विशेषज्ञ की नकल कर सकता था (विशेष रूप से जब उसने मनुष्यों द्वारा प्रदान किए गए पूर्व-निर्मित उपकरणों का उपयोग किया), वह अपने आप लगातार काम नहीं कर सकता था। उच्च-दांव वाले कार्यों (high-stakes tasks) के लिए इस पर भरोसा करना एक ऐसे ड्राइवर को काम पर रखने जैसा है जो धूप वाले दिनों में शानदार ड्राइविंग करता है लेकिन कभी-कभी बिना किसी कारण के खाई में गाड़ी चलाने का फैसला कर लेता है।
यह पेपर यह नहीं कहता कि AI बेकार है। यह कहता है कि वर्तमान प्रचार (hype) इस तथ्य को अनदेखा करता है कि AI अविश्वसनीय है और बड़े, अप्रत्याशित विफलताओं के प्रति प्रवृत्त है, जिससे यह वित्त, कानून और चिकित्सा जैसे महत्वपूर्ण क्षेत्रों में मानव विशेषज्ञों का एक खतरनाक विकल्प बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।