Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
यह अध्ययन तर्क देता है कि हंगरी की जर्नल-केंद्रित अनुसंधान मूल्यांकन प्रणाली अंतरराष्ट्रीय कंप्यूटर विज्ञान मानदंडों के साथ असंगत है, जो शीर्ष स्तर के कॉन्फ्रेंस प्रकाशनों को कम महत्व देती है, जिससे प्रोत्साहन संबंधी विकृतियाँ उत्पन्न होती हैं और सफल शोधकर्ताओं का विदेश पलायन होता है, तथा यह राष्ट्रीय मूल्यांकन में CORE A* और A कॉन्फ्रेंस पेपर्स को D1 और Q1 जर्नल्स के समकक्ष रखने की सिफारिश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य तस्वीर: "गलत स्कोरबोर्ड"
कल्पना कीजिए कि एक स्पोर्ट्स लीग है जहाँ नियम कहते हैं कि केवल धीमी, 90 मिनट की लीग मैचों में किए गए गोल ही खिलाड़ी के करियर के आंकड़ों में गिने जाएंगे। लेकिन इस विशिष्ट खेल (कंप्यूटर साइंस) में, सबसे रोमांचक, उच्च-दांव वाले और महत्वपूर्ण खेल वास्तव में तेज़ गति वाले, 3-दिवसीय टूर्नामेंटों में खेले जाते हैं।
हंगरी में, "रेफरी" (विश्वविद्यालय मूल्यांकनकर्ता और फंडिंग निकाय) पुराने लीग मैचों (अकादमिक जर्नल्स) के आधार पर स्कोर रखते आए हैं। हालाँकि, दुनिया के सर्वश्रेष्ठ कंप्यूटर वैज्ञानिक इन टूर्नामेंटों (कॉन्फ्रेंसों) में खेल रहे हैं। क्योंकि हंगरी का स्कोरबोर्ड टूर्नामेंट की जीत को नहीं गिनता है, इसलिए यह एक भ्रमित करने वाली स्थिति पैदा कर रहा है जहाँ शोधकर्ताओं को यह चुनने के लिए मजबूर होना पड़ता है कि वे वह खेल खेलें जो दुनिया खेल रही है या वह खेल जो हंगरी मांग रहा है।
मूल समस्या: जर्नल्स बनाम कॉन्फ्रेंस
लंबे समय तक, विज्ञान एक पुस्तकालय की तरह था। आप एक विस्तृत पुस्तक (जर्नल लेख) लिखते थे, उसे संपादित होने के लिए एक साल प्रतीक्षा करते थे, और फिर उसे शेल्फ पर रख देते थे। यह स्वर्ण मानक था।
लेकिन कंप्यूटर साइंस अलग है। यह एक लाइव म्यूजिक फेस्टिवल की तरह है।
- गति: संगीत (नए विचार) इतनी तेज़ी से बदलता है कि "पुस्तक" प्रकाशित करने के लिए एक साल का इंतज़ार करने का मतलब है कि गाना पहले ही पुराना हो चुका है।
- स्थान: सबसे महत्वपूर्ण खोजें बड़े उत्सवों (जैसे NeurIPS या ICSE जैसी शीर्ष कॉन्फ्रेंस) में होती हैं, न कि शांत पुस्तकालय में।
- रैंकिंग: एक वैश्विक "फेस्टिवल गाइड" है जिसे CORE कहा जाता है। यह इन उत्सवों को A* (सबसे बड़े, सबसे विशिष्ट उत्सव) से लेकर C (छोटे स्थानीय कार्यक्रम) तक रैंक करता है।
- A* का मतलब है वेमली स्टेडियम में खेलना।
- A का मतलब है एक प्रमुख एरिना में खेलना।
- B और C छोटे वेन्यू हैं।
हंगेरियाई मुद्दा: हंगरी की मूल्यांकन प्रणाली अभी भी "पुस्तकालय की किताबों" (जर्नल्स) के प्रति जुनूनी है। यह एक शीर्ष-स्तरीय कॉन्फ्रेंस (A*) में प्रकाशित पेपर को ऐसे मानती है जैसे कि वह एक मामूली प्रकाशन हो, या उसे पूरी तरह से अनदेखा कर देती है। यह हंगेरियाई शोधकर्ताओं को स्थानीय नियमों को संतुष्ट करने के लिए "पुस्तकें" लिखने के लिए मजबूर करता है, भले ही दुनिया "लाइव संगीत" सुन रही हो।
डेटा क्या दिखाता है
लेखकों ने डेटा देखा और कुछ दिलचस्प पैटर्न पाए:
"सैद्धांतिक" बनाम "अनुप्रयुक्त" विभाजन:
- सैद्धांतिक कंप्यूटर साइंस (कोड के पीछे का गणित और तर्क) 1970 के दशक से इन बड़े उत्सवों में खेल रहा है। हंगेरियाई शोधकर्ताओं ने इसके साथ खुद को जल्दी ढाल लिया।
- अनुप्रत्युक्त (Applied) कंप्यूटर साइंस (वास्तविक सॉफ़्टवेयर और AI बनाना) ने इन उत्सवों में बाद में (1990 के दशक में) खेलना शुरू किया। यहाँ के हंगेरियाई शोधकर्ता अभी भी नए नियमों के साथ तालमेल बिठाने के लिए संघर्ष कर रहे हैं।
"ब्रेन ड्रेन" (प्रतिभा पलायन) का प्रभाव:
- अध्ययन में पाया गया कि सबसे सफल हंगेरियाई शोधकर्ता (वे जो A* उत्सवों में खेलते हैं) तेजी से हंगरी छोड़ रहे हैं।
- उपमा: कल्पना कीजिए कि एक स्थानीय फुटबॉल टीम अपने स्टार खिलाड़ियों को वर्ल्ड कप खेलने से मना कर देती है क्योंकि "हम केवल स्थानीय लीग मैच ही गिनते हैं।" अंततः, स्टार खिलाड़ी उन टीमों में शामिल होने के लिए दूसरे देशों में चले जाते हैं जो वर्ल्ड कप मैचों को गिनती हैं।
- डेटा दिखाता है कि कई शीर्ष हंगेरियाई शोधकर्ता अब विदेशों में या अंतर्राष्ट्रीय उद्योग में काम कर रहे हैं, जबकि जो यहाँ रुकते हैं उन्हें अक्सर हंगरी के लिए "पुस्तकें" लिखने और दुनिया के लिए "उत्सवों में खेलने" के बीच अपना समय विभाजित करना पड़ता है।
"डबल बुककीपिंग" का दुस्वप्न:
- वर्तमान में, एक शोधकर्ता एक शीर्ष कॉन्फ्रेंस (A*) में एक बड़ी सफलता प्रकाशित कर सकता है। हंगरी में पदोन्नति या फंडिंग पाने के लिए, उन्हें अक्सर उसी काम को फिर से लिखना पड़ता है, और उसे फिर से एक जर्नल में प्रकाशित करना पड़ता है।
- रूपक: यह एक शेफ की तरह है जिसने खाना पकाने की प्रतियोगिता में स्वर्ण पदक जीता है, लेकिन स्थानीय सरकार कहती है, "यह नहीं गिना जाएगा। आपको वेतन पाने के लिए उस व्यंजन के बारे में 50 पन्नों की रेसिपी बुक लिखनी होगी।" यह समय और ऊर्जा की बर्बादी है।
यह सबके लिए क्यों मायने रखता है
लेखकों का तर्क है कि यह केवल कंप्यूटर वैज्ञानिकों के लिए समस्या नहीं है; यह पूरे देश को प्रभावित करता है।
- "ऑपरेटिंग सिस्टम" की उपमा: कंप्यूटर साइंस आधुनिक अनुसंधान के लिए ऑपरेटिंग सिस्टम है। चाहे आप जीव विज्ञान, चिकित्सा या इंजीनियरिंग का अध्ययन कर रहे हों, आपको सिमुलेशन चलाने और डेटा का विश्लेषण करने के लिए कंप्यूटर विशेषज्ञों की आवश्यकता होती है।
- यदि हंगरी के सर्वश्रेष्ठ कंप्यूटर वैज्ञानिकों को स्थानीय नियमों को संतुष्ट करने के लिए "वैश्विक खेल" खेलना बंद करने के लिए मजबूर किया जाता है, तो पूरा देश नवीनतम उपकरणों और तकनीकों से वंचित रह जाएगा। यह एक ऐसे देश की तरह है जो आधुनिक शहर बनाने की कोशिश कर रहा है लेकिन "हम केवल 1950 के ईंटों का उपयोग करते हैं" क्योंकि वह नवीनतम निर्माण तकनीक का उपयोग करने से इनकार करता है।
प्रस्तावित समाधान
लेखक स्कोरबोर्ड को ठीक करने के लिए एक सरल नियम परिवर्तन का सुझाव देते हैं:
- एक A कॉन्फ्रेंस पेपर को D1 जर्नल पेपर की तरह मानें।* (जर्नल्स के उच्चतम स्तर की तरह)।
- एक A कॉन्फ्रेंस पेपर को Q1 जर्नल पेपर की तरह मानें। (जर्नल्स के शीर्ष 25% की तरह)।
उनका तर्क है कि CORE रैंकिंग पहले से ही विश्व स्तर पर विश्वसनीय है (चीन, ऑस्ट्रेलिया और अन्य द्वारा उपयोग की जाती है) और भरोसेमंद है। हंगरी को अपनी खुद की सूची बनाने की आवश्यकता नहीं है; इसे बस मौजूदा सूची को पहचानना है।
निष्कर्ष
पत्र का निष्कर्ष है कि हंगरी सही दिशा में छोटे कदम उठा रहा है, लेकिन उसे और आगे बढ़ने की जरूरत है। अपने नियमों को दुनिया के बाकी हिस्सों के साथ संरेखित करके, हंगरी शोधकर्ताओं को दो अलग-अलग खेल खेलने के लिए मजबूर करना बंद कर सकता है। इससे हंगरी में युवा प्रतिभाओं को बनाए रखने, हंगेरियाई विज्ञान को प्रतिस्पर्धी बनाए रखने और स्थानीय सांचे में फिट होने के लिए पेपर को फिर से लिखने की "बर्बादी" को रोकने में मदद मिलेगी।
संक्षेप में: मछली को पेड़ पर चढ़ने की क्षमता से न आंकें। यदि कंप्यूटर साइंस कॉन्फ्रेंस में जीवित रहता है, तो चलिए कॉन्फ्रेंस को गिनना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।