Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

तकनीकी सारांश: एजेंटिक कॉन्फ्रेंस डिनोमिनेटर गेमिंग (Agentic Conference Denominator Gaming)

समस्या विवरण
यह शोध पत्र शीर्ष स्तर के शैक्षणिक सम्मेलनों (conferences) में एक महत्वपूर्ण संरचनात्मक भेद्यता की पहचान करता है: तेजी से बढ़ती सबमिशन मात्रा के बावजूद अपेक्षाकृत स्थिर स्वीकृति दर (आमतौर पर 20-30%) बनाए रखने की अंतर्निहित नीति। यह स्थिरता, जो चयनात्मकता का संकेत देने के लिए बनाई गई है, एक ऐसी स्थिति पैदा करती है जिसे आसानी से लक्षित किया जा सकता है। लेखक एक नए प्रणालीगत खतरे को परिभाषित करते हैं जिसे "एजेंटिक कॉन्फ्रेंस डिनोमिनेटर गेमिंग" कहा गया है। इस परिदृश्य में, दुर्भावनापूर्ण कर्ता (malicious actors) अत्यधिक मात्रा में सतही रूप से विश्वसनीय लेकिन वैज्ञानिक रूप से निम्न-गुणवत्ता वाले शोध पत्र उत्पन्न करने और सबमिट करने के लिए पूरी तरह से स्वचालित वैज्ञानिक एजेंटों को तैनात करते हैं। इसका उद्देश्य इन निम्न-गुणवत्ता वाले पत्रों को स्वीकृत कराना नहीं है, बल्कि कुल सबमिशन संख्या (हर/denominator) को कृत्रिम रूप से बढ़ाना है। एक निश्चित स्वीकृति दर नीति के तहत, यह सम्मेलन को अपना लक्ष्य प्रतिशत बनाए रखने के लिए स्वीकृत पत्रों की पूर्ण संख्या बढ़ाने के लिए मजबूर करता है। परिणामस्वरूप, स्वीकृति की दहलीज (threshold) नीचे गिर जाती है, जिससे सांख्यिकीय रूप से लक्षित वैध, मानव-लिखित पत्रों के स्वीकृत होने की संभावना बढ़ जाती है, भले ही उनकी अंतर्निहित गुणवत्ता अपरिवर्तित रहे।

कार्यप्रणाली और थ्रेट मॉडलिंग (Threat Modeling)
शोध पत्र एक गणितीय मॉडल और एक प्रूफ-ऑफ-कांसेप्ट सिस्टम आर्किटेक्चर के माध्यम से इस खतरे को औपचारिक रूप देता है:

1. गणितीय औपचारिकता:
   मान लीजिए कि $N_h$ मानव सबमिशन हैं और $N_a$ AI-जनित सबमिशन हैं। यदि एक सम्मेलन एक स्थिर स्वीकृति दर $\alpha$ बनाए रखता है, तो कुल स्वीकृत पत्र $N_{acc} = \alpha(N_h + N_a)$ होगा। यह मानते हुए कि AI पेपर अस्वीकृत कर दिए जाते हैं ($N^a_{acc} \approx 0$), मानव पत्रों के लिए प्रभावी स्वीकृति दर $\hat{\alpha} \approx \alpha(1 + \frac{N_a}{N_h})$ हो जाती है। जैसे-जैसे मानव और AI सबमिशन का अनुपात बढ़ता है, गुणवत्ता के बावजूद मानव पत्रों के लिए प्रभावी स्वीकृति की संभावना आनुपातिक रूप से बढ़ जाती है।

2. सिस्टम आर्किटेक्चर (प्रूफ-ऑफ-कांसेप्ट):
   लेखक दो विशिष्ट एजेंटों वाला एक मल्टी-एजेंट पाइपलाइन प्रस्तावित करते हैं:

• रिसर्च एजेंट (Research Agent): यह विशिष्ट, शैलीगत रूप से विश्वसनीय पांडुलिपियों को उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करता है। महत्वपूर्ण रूप से, यह एजेंट वेन्यू की फॉर्मेटिंग आवश्यकताओं से पूरी तरह मेल खाने वाला "पेपर स्केलेटन" बनाने के लिए विशिष्ट कॉन्फ्रेंस लैटेक (LaTeX) टेम्पलेट्स (.sty और .tex फाइलें) डाउनलोड करता है, जिससे यह संरचनात्मक खामियों के आधार पर होने वाले प्रारंभिक डेस्क-रिजेक्शन को बायपास कर सके।
• सबमिशन एजेंट (Submission Agent): यह कॉन्फ्रेंस मैनेजमेंट प्लेटफॉर्म (जैसे OpenReview) का उपयोग करके लॉजिस्टिक प्रक्रिया को स्वचालित करता है। यह खाता पंजीकरण (संभवतः सिबिल हमलों के लिए शैक्षिक ईमेल का लाभ उठाते हुए), API के माध्यम से फॉर्म भरना और यहाँ तक कि स्वचालित रिबटल (rebuttal) भी संभालता है।
• व्यवहार्यता सत्यापन (Feasibility Validation): लेखकों ने एक नियंत्रित, छोटे पैमाने पर एंड-टू-एंड परीक्षण किया जहाँ एक वैज्ञानिक एजेंट ने एक ड्राफ्ट तैयार किया और एक सबमिशन एजेंट ने OpenReview के माध्यम से पांडुलिपि को पंजीकृत और सबमिट किया। प्रयोग ने इस तकनीकी निष्पादन क्षमता की पुष्टि की कि जनरेशन-रजिस्ट्रेशन-सबमिशन श्रृंखला तकनीकी रूप से संभव है।

प्रमुख योगदान

• एक नए खतरे के वेक्टर की परिभाषा: यह पत्र "एजेंटिक कॉन्फ्रेंस डिनोमिनेटर गेमिंग" को औपचारिक रूप से परिभाषित करता है, जो इसे साधारण सामग्री मुद्रास्फीति या पारंपरिक पेपर मिल्स से अलग करता है। यह यह रेखांकित करता है कि खतरा केवल सामग्री की गुणवत्ता में हेरफेर करने से नहीं, बल्कि स्वयं चयन तंत्र (selection mechanism) में हेरफेर करने से है।
• आर्थिक विषमता विश्लेषण: लेखक एक स्पष्ट असंतुलन प्रदर्शित करते हैं जहाँ हमलावर नगण्य सीमांत लागत (सस्ते LLM API और मुफ्त सबमिशन प्लेटफॉर्म का उपयोग करके) वहन करते हैं, जबकि शैक्षणिक समुदाय को अपूरित, उच्च-कुशल स्वयंसेवक श्रम (रिव्यूअर्स और चेयर्स) के रूप में रक्षात्मक बोझ उठाना पड़ता है।
• प्रणालीगत जोखिम मूल्यांकन: शोध पत्र व्यापक परिणामों का विश्लेषण करता है, जिसमें शामिल हैं:
  • रिव्यूअर बर्नआउट (Reviewer Burnout): निम्न-गुणवत्ता वाले पत्रों की बाढ़ सिग्नल-टू-नॉइज़ अनुपात को खराब करती है, जिससे थकान बढ़ती है और अनुभवी रिव्यूअर्स दूर जाने लगते हैं।
  • एपिस्टेमिक सुरक्षा संकट (Epistemic Security Crisis): मानव-संचालित से एजेंट-संचालित पेपर मिल्स में संक्रमण अकादमिक धोखाधड़ी की लागत को कम कर देता है, जिससे वैज्ञानिक साहित्य की प्रामाणिकता पर विश्वास करना कठिन हो जाता है।
  • प्रतिष्ठा का क्षरण: जैसे-जैसे स्वीकृति दहलीज को नीचे की ओर हेरफेर किया जाता है, कॉन्फ्रेंस प्रोसीडिंग्स की प्रतिष्ठा कम हो जाती है, जो संभावित रूप से घटते सबमिशन गुणवत्ता के दुष्चक्र को जन्म दे सकती है।

परिणाम और मूल्यांकन
यह शोध पत्र बड़े पैमाने पर सफल हमलों का अनुभवजन्य डेटा प्रस्तुत नहीं करता है (क्योंकि लेखकों ने जिम्मेदार प्रकटीकरण का पालन किया, और केवल एक न्यूनतम, एकल-रन व्यवहार्यता परीक्षण किया)। इसके बजाय, "परिणाम" सैद्धांतिक और विश्लेषणात्मक हैं:

• व्यवहार्यता: प्रूफ-ऑफ-कांसेप्ट यह पुष्टि करता है कि इस तरह के हमले को शुरू करने के लिए तकनीकी बाधाएं कम हैं।
• वर्तमान रक्षाओं की अप्रभावीता: लेखक संभावित रक्षाओं का मूल्यांकन करते हैं और उन्हें अपर्याप्त पाते हैं:
  • तकनीकी रक्षा (AI डिटेक्टर्स): उच्च फॉल्स-पॉजिटिव दरों और "चूहे-बिल्ली" की प्रकृति के कारण अविश्वसनीय माने जाते हैं, जहाँ जनरेटर विशिष्ट डिटेक्टरों से बचने के लिए फाइन-ट्यून किए जा सकते हैं।
  • नीतिगत रक्षा (सबमिशन शुल्क/बहु-चरणीय समीक्षा): हालांकि संभावित रूप से प्रभावी हैं, शुल्क समानता संबंधी चिंताएं पैदा करते हैं, और प्री-स्क्रीनिंग केवल बोझ को चेयर्स की ओर स्थानांतरित करती है बिना संसाधन की कमी को हल किए।
  • प्रणालीगत रक्षा: लेखक तर्क देते हैं कि एकमात्र मजबूत समाधान सबमिशन वॉल्यूम और स्वीकृत संख्या के बीच के संबंध को तोड़ना (जैसे, स्वीकृत पत्रों की पूर्ण संख्या को सीमित करना) या प्रतिष्ठा-आधारित सबमिशन सिस्टम लागू करना है।

महत्व और दावे
शोध पत्र का दावा है कि शैक्षणिक समुदाय एक ऐसी कम चर्चित भेद्यता का सामना कर रहा है जो वैज्ञानिक सत्यापन की अखंडता के लिए खतरा है। यह तर्क देता है कि एक दृढ़, स्वचालित विरोधी के खिलाफ मुख्य रूप से तकनीकी पहचान पर निर्भर रहना एक हारने वाली रणनीति है। इस कार्य का महत्व प्रतिक्रियात्मक तकनीकी सुधारों के बजाय प्रोएक्टिव, सिस्टम-लेवल पॉलिसी और इंसेंटिव रिफॉर्म्स के आह्वान में निहित है। लेखक आग्रह करते हैं कि समुदाय को—स्थिर स्वीकृति दर के मानदंड जैसी मूल संरचनात्मक भेद्यता को संबोधित करने के लिए—इस हमले के नियमित होने से पहले ही इसका समाधान करना चाहिए, ताकि शैक्षणिक प्रकाशन पारिस्थितिकी तंत्र के विश्वास और निरंतरता की रक्षा की जा सके।