Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation
यह कार्य एक बिब्लियोमेट्रिक परीक्षण प्रस्तुत करता है जो दर्शाता है कि एआई (AI) क्षमताओं के शैक्षणिक आकलन व्यवस्थित रूप से वर्तमान अत्याधुनिक अवस्था से एक दशक से अधिक पीछे हैं, एक ऐसा अंतराल जो प्रकाशन विलंब के कारण चौड़ा होता जा रहा है और जिसे मॉडल कॉन्फ़िगरेशन के व्यापक गलत निरूपण के साथ-साथ विशिष्ट रूप से मूल्यांकित प्रणालियों के बजाय "एआई" के बारे में अति-सामान्यीकृत दावों द्वारा और भी बढ़ा दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "पुराने मेनू" की समस्या
कल्पना कीजिए कि आप 2026 में एक शानदार रेस्टोरेंट में जाते हैं। आप वेटर से पूछते हैं: "यह किचन क्या बना सकता है?" वेटर आपको एक मेनू थमाता है, लेकिन वह मेनू 2023 का है। इसमें उन व्यंजनों की सूची है जो उन सामग्रियों से बने हैं जो अब अस्तित्व में ही नहीं हैं, और उन खाना पकाने की तकनीकों के साथ जो तेज़ और स्मार्ट तरीकों द्वारा बदल दी गई हैं।
यदि आप वह मेनू पढ़ते हैं, तो आप निष्कर्ष निकाल सकते हैं: "यह रेस्टोरेंट अच्छा खाना नहीं बना सकता।" लेकिन यह सच नहीं है। रेस्टोरेंट अच्छा खाना बना सकता है; बस उन्होंने वह मेनू अपडेट नहीं किया है जिसे आप पढ़ रहे हैं।
यह शोध पत्र तर्क देता है कि AI पर वैज्ञानिक अनुसंधान ठीक यही करता है।
शोधकर्ता उन AI मॉडल्स का परीक्षण करते हैं जो पहले से ही "पुराने" हैं (एक या दो साल पुराने) और उन्हें एक "सरल" तरीके से टेस्ट करते हैं (उनकी नवीनतम, सबसे स्मार्ट विशेषताओं के बिना)। फिर वे पेपर लिखते हुए दावा करते हैं: "AI यह नहीं कर सकता।" लेकिन क्योंकि उन्होंने वर्तमान AI या उसकी वर्तमान सेटिंग्स का परीक्षण नहीं किया, इसलिए यह निष्कर्ष भ्रामक है। यह एक 2023 की फोर्ड पिंटो (Ford Pinto) को चलाकर 2026 की फेरारी (Ferrari) को आंकने जैसा है।
तीन तरीके जिनसे "मेनू" पुराना हो गया है
लेखकों ने पाया कि AI वास्तव में अभी क्या कर सकता है और शोध पत्र क्या दावा करते हैं, इस बीच का अंतर बहुत बड़ा है। उन्होंने इस अंतर को तीन भागों में विभाजित किया है:
1. समय का अंतराल (कल की खबरों की समस्या)
- उपमा: कल्पना कीजिए कि एक टेक रिव्यूअर एक नया स्मार्टफोन टेस्ट कर रहा है। आज रिलीज़ हुए मॉडल के बजाय, वह 18 महीने पहले रिलीज़ हुआ मॉडल टेस्ट करता है।
- परिणाम: इस अध्ययन के औसत पेपर ने एक ऐसे AI मॉडल का परीक्षण किया जो अध्ययन के समय उपलब्ध सर्वश्रेष्ठ AI से लगभग एक प्रमुख पीढ़ी पीछे था। यदि सर्वश्रेष्ठ AI एक "सुपर-ब्रेन" है, तो पेपर मुख्य रूप से पिछले वर्ष के "स्मार्टफोन" का परीक्षण कर रहे थे।
2. वितरण अंतराल (बजट वर्जन की समस्या)
- उपमा: कल्पना कीजिए कि एक कार निर्माता दो कारें रिलीज़ करता है: एक टर्बो इंजन वाली "प्रो" (Pro) मॉडल और एक स्टैंडर्ड इंजन वाली "मिनी" (Mini) मॉडल। एक रिव्यूअर "मिनी" को खरीदता है क्योंकि वह सस्ती है, मोहल्ले के कुछ चक्कर लगाता है, और रिपोर्ट लिखता है कि: "यह कार ब्रांड धीमा है।" उसने कभी "प्रो" को नहीं चलाया।
- परिणाम: भले ही शोधकर्ताओं ने सही AI परिवार (जैसे GPT या Claude) का उपयोग किया हो, लेकिन उन्होंने अक्सर सस्ते, कमजोर संस्करण (जैसे "Mini" या "Flash") का परीक्षण किया, जबकि एक बहुत अधिक शक्तिशाली "Pro" या "Opus" संस्करण पहले से ही उपलब्ध था।
3. कॉन्फ़िगरेशन अंतराल (बंद स्विच की समस्या)
- उपमा: कल्पना कीजिए कि आप एक हाई-टेक रोबोट का परीक्षण कर रहे हैं जो सोच सकता है, टूल्स का उपयोग कर सकता है और पहेलियाँ सुलझा सकता है। लेकिन आप इसे "सोचने वाले" स्विच को बंद करके, टूल किट को लॉक करके और बिना कोई संकेत दिए एक साधारण प्रश्न पूछकर टेस्ट करते हैं। फिर आप निष्कर्ष निकालते हैं: "यह रोबोट बेकार है।"
- परिणाम: यह सबसे बड़ा आश्चर्य है। आधुनिक AI में एक "रीजनिंग मोड" (गहन सोचने की प्रक्रिया) होता है और यह टूल्स (जैसे वेब सर्च या कोड एडिटर) का उपयोग कर सकता है।
- इन "सोचने वाले" मॉडल्स का परीक्षण करने वाले केवल 3.2% पेपर्स ने वास्तव में यह बताया कि उनका रीजनिंग मोड चालू (On) था या बंद (Off)।
- अधिकांश पेपर्स ने AI का परीक्षण "ज़ीरो-शॉट" (Zero-Shot) मोड में किया (केवल एक सवाल), बजाय इसके कि उसे सोचने का समय दिया जाए या टूल्स से मदद ली जाए।
- परिणाम: वे AI के हाथ बांधकर उसका परीक्षण करते हैं और फिर दावा करते हैं कि वह कार्य पूरा नहीं कर सकता।
"सामान्यीकरण" का जाल (The Generalization Trap)
शोध में पाया गया कि 52.5% एब्स्ट्रैक्ट्स (पेपर के शुरू में दिए गए संक्षिप्त सारांश) एक खतरनाक गलती करते हैं।
- उन्होंने क्या किया: उन्होंने एक विशिष्ट, पुराने, कमजोर AI का परीक्षण किया।
- उन्होंने क्या लिखा: उन्होंने निष्कर्ष निकाला कि "AI" (एक पूरी श्रेणी के रूप में) उस कार्य को नहीं संभाल सकता।
- उपमा: यह एक विशिष्ट, दोषपूर्ण साइकिल का परीक्षण करने और हेडलाइन लिखने जैसा है: "साइकिलएं खतरनाक हैं।" यह हेडलाइन इस तथ्य को नजरअंदाज करती है कि उन्होंने केवल एक दोषपूर्ण साइकिल का परीक्षण किया, सभी साइकिलों का नहीं।
चूंकि ये हेडलाइंस डॉक्टरों, वकीलों और नीति निर्माताओं द्वारा उद्धृत की जाती हैं, दुनिया यह मानने लगती है कि AI वास्तव में जितना है उससे कहीं अधिक खराब है।
ऐसा क्यों होता है? (यह दुर्भावना नहीं है)
लेखक सावधानी से स्पष्ट करते हैं: शोधकर्ता झूठ नहीं बोल रहे हैं। वे उपलब्ध संसाधनों के साथ अपना सर्वश्रेष्ठ प्रयास कर रहे हैं।
- पैसा: नवीनतम, सबसे स्मार्ट AI मॉडल्स को चलाना अविश्वसनीय रूप से महंगा है। शैक्षणिक शोधकर्ता अक्सर "प्रो" वर्जन का खर्च नहीं उठा पाते, इसलिए वे मुफ्त या सस्ते वर्जन का उपयोग करते हैं।
- समय: पेपर प्रकाशित होने में वर्षों लग जाते हैं। जब तक कोई पेपर छपता है, AI की दुनिया और आगे विकसित हो चुकी होती है।
- आदत: इन पेपर्स को लिखने के नियम AI के "रीजनिंग मोड" या "टूलकिट" आने से पहले लिखे गए थे। शोधकर्ता पुराने नियमों का पालन करते हैं जो इस नई तकनीक के अनुकूल नहीं हैं।
समाधान: एक नया "लेबल" सिस्टम
पेपर एक सरल सुधार का प्रस्ताव देता है जिसे versio-ai कहा जाता है। यह AI पेपर्स के लिए एक नए 'पोषण लेबल' (nutrition label) की तरह है। पेपर प्रकाशित होने से पहले, लेखकों को स्पष्ट रूप से बताना चाहिए:
- उन्होंने ठीक से किस मॉडल का उपयोग किया (जैसे, केवल "GPT" नहीं, बल्कि "GPT-5.5 Pro")।
- उन्होंने कब परीक्षण किया।
- उन्होंने कैसे परीक्षण किया (क्या उन्होंने "रीजनिंग" मोड चालू किया? क्या उन्होंने टूल्स दिए?)।
यदि ये तीन बिंदु गायब हैं, तो पेपर को खारिज कर दिया जाना चाहिए। यह AI को स्मार्ट नहीं बनाता, लेकिन यह हमें "पुराने मेनू" को पढ़ने और यह सोचने से रोकता है कि रेस्टोरेंट ने खाना बनाना बंद कर दिया है।
सारांश
वैज्ञानिक साहित्य वर्तमान में हमें केवल उस चीज़ की परछाई दिखाता है जो AI कर सकता है, न कि वास्तविकता। यह उन पुराने, कमजोर मॉडल्स की परछाई है जिनका सरल तरीकों से परीक्षण किया गया था। इस परछाई और वास्तविक AI के बीच का अंतर हर साल बढ़ता जा रहा है। पेपर का तर्क है कि दुनिया AI की क्षमताओं को कम आंकती रहेगी जब तक कि शोधकर्ता इस बारे में अधिक विशिष्ट नहीं हो जाते कि उन्होंने वास्तव में क्या टेस्ट किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।