AI evaluation may bias perceptions: The importance of context in interpreting academic writing

तकनीकी सारांश: AI मूल्यांकन धारणाओं को पक्षपाती बना सकता है

समस्या विवरण
यह शोध पत्र वैज्ञानिक लेखन में लार्ज लैंग्वेज मॉडल (LLM) के उपयोग का अनुमान लगाने के लिए वर्तमान पद्धतियों में एक गंभीर दोष को संबोधित करता है। मौजूदा दृष्टिकोण अक्सर एक "पुल्ड बेंचमार्क" (pooled benchmark) पर निर्भर करते हैं—जो सभी देशों और विषयों के संकलित डेटा पर प्रशिक्षित "AI-समानता" का एक एकल, वैश्विक मानक है। लेखक तर्क देते हैं कि यह दृष्टिकोण विभिन्न देश-क्षेत्र समूहों के बीच मौजूद महत्वपूर्ण पूर्व-मौजूदा शैलीगत विषमता (stylistic heterogeneity) की अनदेखी करता है। चूंकि वैज्ञानिक लेखन की परंपराएं, भाषाई मानदंड और अलंकारिक शैलियाँ भूगोल और विषय के अनुसार काफी भिन्न होती हैं, इसलिए एक एकीकृत बेंचमार्क प्राकृतिक शैलीगत भिन्नता को AI-जनित पाठ के साथ मिलाने का जोखिम उठाता है। यह मिश्रण व्यवस्थित गलत वर्गीकरण (misclassification) का कारण बन सकता है, जहाँ कुछ समूह वास्तव में LLM के उपयोग के बिना भी अधिक बार AI का उपयोग करते हुए प्रतीत होते हैं, क्योंकि उनकी आधारभूत लेखन शैली पुल्ड "AI-समान" प्रोफाइल के साथ अधिक मेल खाती है।

कार्यप्रणाली (Methodology)
यह अध्ययन Dimensions डेटाबेस से प्राप्त बड़े पैमाने के प्रकाशन डेटा का उपयोग करता है, जिसमें 2020 से 2025 तक के अंग्रेजी-भाषा के जर्नल प्रकाशन शामिल हैं। लेखक 18 देश समूहों और 13 अध्ययन क्षेत्रों को परिभाषित करते हैं, जिससे 234 विशिष्ट देश-क्षेत्र समूह बनते हैं।

1. डेटा निर्माण:

   • प्रशिक्षण कॉर्पस (2020): लेखक प्रत्येक देश-क्षेत्र समूह से 2020 (pre-LLM युग) के अपतित (sample) प्रकाशनों के रूप में अधिकतम 2,000 प्रकाशन लेते हैं। वे इन प्रकाशनों के एब्स्ट्रैक्ट्स (abstracts) को ChatGPT-4o-mini का उपयोग करके एक दो-चरणीय "आउटलाइन-एंड-एक्सपैंड" (outline-and-expand) प्रक्रिया के माध्यम से पुनर्गठित (rephrase) करते हैं। यह मूल मानव-लिखित और AI-पुनर्गठित एब्स्ट्रैक्ट्स के जोड़े बनाता है।
   • अनुमान कॉर्पस (Inference Corpus): 2021 (एक pre-LLM प्लेसबो के रूप में उपयोग किया गया) और 2025 (post-LLM युग) के प्रकाशनों का उपयोग बेंचमार्क का परीक्षण करने के लिए किया जाता है।

2. बेंचमार्क निर्माण:

   • पुल्ड बेंचमार्क (Pooled Benchmark): सभी 234 समूहों में 2020 के सभी प्रशिक्षण डेटा को संकलित करके एक एकल शब्द-स्तरीय लॉग-ऑड्स अनुपात (log-odds ratios) की गणना की जाती है। यह मानव बनाम AI पाठ में शब्द उपयोग की संभावनाओं के लिए एक वैश्विक आधार स्थापित करता है।
   • देश-क्षेत्र-विशिष्ट बेंचमार्क (Country-Field-Specific Benchmarks): 234 अलग-अलग बेंचमार्क बनाए जाते हैं, जहाँ प्रत्येक बेंचमार्क केवल अपने विशिष्ट देश-क्षेत्र समूह के भीतर के डेटा पर प्रशिक्षित होता है।
   • मीट्रिक: प्रत्येक शब्द $t$ के लिए, लॉग-ऑड्स अनुपात $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$ की गणना की जाती है, जहाँ $P_t$ और $Q_t$ क्रमशः मानव-लिखित और AI-पुनर्गठित एब्स्ट्रैक्ट्स में शब्द के आने की संभावनाएँ हैं। नकारात्मक मान उन शब्दों को दर्शाते हैं जिनके AI टेक्स्ट में आने की संभावना अधिक है।

3. अनुमान (Estimation):

   • लेखक मिश्रण भार ($\alpha$) का अनुमान लगाने के लिए मैक्सिमम लाइक्लीहुड एस्टिमेटर (MLE) का उपयोग करते हैं, जो AI द्वारा संशोधित पाठ के अंश को दर्शाता है।
   • वाक्य-स्तर के शब्द उद्भव को बर्नौली घटनाओं (Bernoulli events) के रूप में मॉडल किया जाता है। एक वाक्य की संभावना को मानव और AI वितरण के मिश्रण के रूप में मॉडल किया जाता है: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$।
   • एस्टिमेटर को 2025 के डेटा पर दो बार लागू किया जाता है: एक बार पुल्ड बेंचमार्क ($\alpha^{pool}_g$) का उपयोग करके और एक बार ग्रुप-विशिष्ट बेंचमार्क ($\alpha^g_g$) का उपयोग करके।

मुख्य निष्कर्ष

1. पूर्व-मौजूदा शैलीगत विषमता:
   2020 के डेटा (pre-LLM) का विश्लेषण "AI-समान" शब्द उपयोग में समूहों के बीच महत्वपूर्ण भिन्नता प्रकट करता है। ANOVA डिकंपोजिशन दिखाता है कि लॉग-ऑड्स अनुपातों में लगभग 80% भिन्नता एक ही क्षेत्र के भीतर देशों के बीच अंतर से उत्पन्न होती है, न कि विषयों के बीच के अंतर से। परम्यूटेशन सिमुलेशन पुष्टि करते हैं कि यह विषमता वास्तविक है और सांख्यिकीय शोर (noise) नहीं है।

2. Pre-LLM प्लेसबो (2021) में पूर्वाग्रह:
   जब 2021 के प्रकाशनों (जहाँ वास्तविक AI उपयोग शून्य के करीब होना चाहिए) पर पुल्ड बेंचमार्क लागू किया जाता है, तो यह अनुमानित AI उपयोग ($\alpha$) का एक अत्यधिक विषम वितरण प्रदान करता है।

   • अति-अनुमान (Overestimation): अंग्रेजी-प्रधान देशों (जैसे US, UK) और अर्थशास्त्र, प्रबंधन और मानविकी जैसे क्षेत्रों में कृत्रिम रूप से उच्च आधारभूत अनुमान (0.17 तक) दिखाई देते हैं।
   • अल्प-अनुमान (Underestimation): रूस जैसे देशों और गणितीय एवं भौतिक विज्ञान जैसे क्षेत्रों में लगभग शून्य आधारभूत मान दिखाई देते हैं।
     इसके विपरीत, देश-क्षेत्र-विशिष्ट बेंचमार्क 0.04–0.05 के करीब केंद्रित एक वितरण उत्पन्न करते हैं जिसमें काफी कम फैलाव (मानक विचलन 0.052 से घटकर 0.016 हो जाता है) होता है, जो एक अधिक विश्वसनीय आधार प्रदान करता है।

3. 2025 के अनुमानों में व्यवस्थित पूर्वाग्रह:
   2025 के अनुमानों की तुलना करने पर, पुल्ड बेंचमार्क व्यवस्थित रूप से AI उपयोग के भौगोलिक और विषयगत वितरण को विकृत करता है:

   • अति-अनुमान: अंग्रेजी-प्रधान देशों और उन क्षेत्रों में AI उपयोग का अति-अनुमान लगाया जाता है जिनकी लेखन शैली पुल्ड AI प्रोफाइल के समान है (जैसे अर्थशास्त्र, मनोविज्ञान, कंप्यूटर साइंस)।
   • अल्प-अनुमान: गैर-अंग्रेजी प्रधान देशों (जैसे रूस, ब्राजील, जापान) और विशिष्ट शैलीगत आधारों वाले क्षेत्रों (जैसे गणितीय विज्ञान, बायोमेडिकल विज्ञान) में AI उपयोग का अल्प-अनुमान लगाया जाता है।

महत्व और दावे
यह शोध पत्र तर्क देता है कि विज्ञान में AI के उपयोग के सटीक मूल्यांकन के लिए संदर्भ-जागरूक माप (context-aware measurement) की आवश्यकता है, न कि 'वन-साइज़-फिट्स-ऑल' मानकों की। लेखक दावा करते हैं कि पुल्ड बेंचमार्क केवल शोर ही नहीं पैदा करते, बल्कि वे एक संरचित पूर्वाग्रह भी उत्पन्न करते हैं जो AI अपनाने के कथित परिदृश्य को बदल देता है।

• समता और विश्वास: निष्कर्षों से पता चलता है कि वर्तमान पहचान विधियाँ मौजूदा असमानताओं को सुदृढ़ कर सकती हैं। अंग्रेजी-प्रधान, उच्च-आय वाले देशों के शोधकर्ताओं को "AI-समान" लेखन (जिसे प्रवाह के रूप में व्याख्या किया जा सकता है) के लिए अनुचित रूप से चिह्नित किया जा सकता है, जबकि अन्य क्षेत्रों या विषयों के शोधकर्ताओं को कम पहचाना जा सकता है या उन्हें विश्वसनीयता के दंड का सामना करना पड़ सकता है।
• नीतिगत निहितार्थ: लेखक अकादमिक अखंडता नीतियों, जर्नल स्क्रीनिंग और फंडिंग अनुपालन में समान AI डिटेक्शन थ्रेशोल्ड को अपनाने के प्रति आगाह करते हैं। वे वैज्ञानिक विमर्श और विशिष्ट क्षेत्रों या विषयों में विश्वास के क्षरण को रोकने के लिए संदर्भ-कैलिब्रेटेड बेंचमार्क की वकालत करते हैं।
• पद्धतिगत योगदान: यह अध्ययन प्रदर्शित करता है कि प्रासंगिक आधारों (contextual baselines) की अनदेखी करने से AI अपनाने के रुझानों की व्याख्या नाजुक हो जाती है। देश-क्षेत्र-विशिष्ट आधारों को शामिल करके, समूहों के बीच तुलना की विश्वसनीयता में काफी सुधार होता है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि कोई भी बेंचमार्क पूरी तरह से निष्पक्ष नहीं है, लेकिन संदर्भ-जागरूक माप की ओर बढ़ना वैज्ञानिक लेखन में AI के निष्पक्ष और सटीक मूल्यांकन को सुनिश्चित करने के लिए एक आवश्यक कदम है।