Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

तकनीकी सारांश: मानव-LLM सहयोग वैज्ञानिक ग्रंथों में जटिलता मेट्रिक्स को रूपांतरित कर रहा है

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से 2023 की शुरुआत में उनके व्यापक प्रसार के बाद से, मानव-AI भाषाई पारिस्थितिकी तंत्र में अभिन्न योगदानकर्ता बनते जा रहे हैं। जबकि LLMs को मानव भाषा पर प्रशिक्षित किया गया है, वैज्ञानिक संचार में उनका एकीकरण इस प्रश्न को जन्म देता है कि वे भाषा के उभरते गुणों (emergent properties) को कैसे बदलते हैं। यहाँ प्रतिस्पर्धी सैद्धांतिक दृष्टिकोण मौजूद हैं: एक सुझाव देता है कि LLMs सरलीकरण और प्रशिक्षण डेटा के पुनर्चक्रण (recycling) के माध्यम से शाब्दिक जटिलता (lexical complexity) को कम कर सकते हैं (जो भविष्य के मॉडल्स के AI-जनित आउटपुट पर प्रशिक्षित होने पर "मॉडल कोलैप्स" की ओर ले जा सकता है), जबकि दूसरा सुझाव देता है कि मिश्रित मानव-AI आबादी सामूहिक पूर्वाग्रहों और फीडबैक लूप्स के माध्यम से नवीन उभरती गतिशीलता (novel emergent dynamics) उत्पन्न कर सकती है। मुख्य समस्या जिसका समाधान किया जा रहा है वह यह है कि क्या वैज्ञानिक साहित्य (विशेष रूप से arXiv एब्स्ट्रैक्ट्स) में LLM-जनित या LLM-संशोधित पाठ का प्रवाह, ज़िप के नियम (Zipf's law), हीप्स के नियम (Heaps' law) और शब्द टर्नओवर दरों (word turnover rates) जैसे शाब्दिक जटिलता को नियंत्रित करने वाले सांख्यिकीय नियमों में पता लगाने योग्य बदलाव पैदा करता है।

कार्यप्रणाली
लेखक 2023 में जनरेटिव AI टूल्स के तीव्र अंगीकरण को एक "प्राकृतिक प्रयोग" के रूप में देखते हैं। वे जनवरी 2010 से सितंबर 2025 तक के 2.7 मिलियन से अधिक arXiv एब्स्ट्रैक्ट्स का विश्लेषण करते हैं, जिसमें प्रथम-संस्करण (v1) सबमिशन पर ध्यान केंद्रित किया गया है।

1. LLM स्टाइल इंडेक्स निर्माण: LLM प्रभाव को मापने के लिए, लेखकों ने एक संयुक्त "LLM-संबद्ध स्टाइल इंडेक्स" बनाया। यह इंडेक्स उन विशिष्ट शैलीगत मार्करों की मानकीकृत मासिक आवृत्तियों को एकत्रित करता है जो LLM उपयोग के साथ बढ़ते हैं: डैश का उपयोग (en-dashes, em-dashes, hyphens) और विशिष्ट शाब्दिक मार्कर ("significant," "crucial," "showcase")।
2. जटिलता मेट्रिक्स (Complexity Metrics): अध्ययन शाब्दिक संरचना के तीन प्राथमिक मापों को ट्रैक करता है:
   • शब्दावली आकार (Vocabulary Size): अद्वितीय शब्द प्रकारों की संख्या।
   • हीप्स लॉ एक्सपोनेंट ($b$): कॉर्पस आकार और शब्दावली वृद्धि के बीच संबंध का वर्णन करता है ($V(N) = aN^b$)।
   • ज़िप लॉ एक्सपोनेंट ($\alpha$): शब्दों के रैंक-आवृत्ति वितरण का वर्णन करता है ($P(r) \propto r^{-\alpha}$)।
   • टॉप-$y$ टर्नओवर (Top-$y$ Turnover): शीर्ष-$y$ रैंक वाली सामग्री शब्दों में प्रवेश करने वाले नए शब्दों का अंश, जो वर्ष-दर-वर्ष ट्रांसमिशन बायस (अनुरूपता बनाम नवीनता) के निदान के रूप में कार्य करता है।
3. सांख्यिकीय विश्लेषण:
   • बेंचमार्किंग: आधारभूत अंतर स्थापित करने के लिए मानव पाठ की तुलना GPT-3.5 का उपयोग करके HC3 कॉर्पस के माध्यम से की गई।
   • काल्पनिक रुझान (Temporal Trends): 2014 से 2025 तक arXiv कॉर्पस के लिए मासिक सांख्यिकी की गणना की गई।
   • रिग्रेशन मॉडलिंग: प्रकाशन वर्ष, LLM स्टाइल इंडेक्स, एक पोस्ट-2023 संकेतक और उनके इंटरैक्शन टर्म्स का उपयोग करके शाब्दिक जटिलता मेट्रिक्स की भविष्यवाणी करने के लिए मल्टीवेरिएट मॉडल नियोजित किए गए। यह दृष्टिकोण सामान्य धर्मनिरपेक्ष रुझानों (secular trends) से LLM स्टाइल के प्रभाव को अलग करता है।
   • अर्ली वार्निंग सिग्नल्स (EWS): टाइम सीरीज़ में क्रिटिकल स्लोइंग डाउन या अस्थिरता का पता लगाने के लिए रोलिंग लैग-1 ऑटोकोरिलेशन, स्क्यूनेस (skewness) और वेरिएंस का विश्लेषण किया गया।

प्रमुख परिणाम

• आधारभूत अंतर: HC3 कॉर्पस में, LLM-जनित पाठ ने मानव पाठ ($b=0.539$, $\alpha=1.681$) की तुलना में थोड़ा कम हीप्स एक्सपोनेंट ($b=0.522$) और थोड़ा उच्च ज़िप एक्सपोनेंट ($\alpha=1.741$) प्रदर्शित किया, जो LLM आउटपुट में मामूली रूप से कम शाब्दिक विविधता और उच्च एकाग्रता को दर्शाता है, हालांकि वितरण समान रहते हैं।
• arXiv में अस्थायी परिवर्तन:
  • स्टाइल इंडेक्स: 2023 में एक तीव्र उछाल देखा गया, जो ChatGPT जैसे टूल्स के व्यापक उपयोग के साथ मेल खाता है।
  • शाब्दिक मेट्रिक्स: ज़िप और हीप्स के नियमों के एक्सपोनेंट्स में परिवर्तन सूक्ष्म थे। हालांकि, शब्दावली आकार और हीप्स एक्सपोनेंट में 2023 के बाद मामूली रूप से त्वरित वृद्धि देखी गई।
  • इंटरैक्शन प्रभाव: महत्वपूर्ण रूप से, LLM स्टाइल इंडेक्स और शाब्दिक जटिलता मेट्रिक्स के बीच का संबंध 2022 के बाद बदल गया। शब्दावली आकार, हीप्स एक्सपोनेंट और ज़िप एक्सपोनेंट के साथ स्टाइल इंडेक्स का सकारात्मक सहसंबंध पोस्ट-2023 अवधि में फ्लैट (flat) हो गया। रिग्रेशन मॉडल ने पुष्टि की कि 2023 के बाद शब्दावली वृद्धि पूर्व के अस्थायी रुझानों से अपेक्षित वृद्धि से अधिक थी, जो एक अलग गतिशीलता की ओर संकेत करती है।
  • टर्नओवर: सबसे महत्वपूर्ण संरचनात्मक परिवर्तन 2023 से शुरू हुआ शीर्ष-रैंक वाले शब्दों के टर्नओवर में तीव्र वृद्धि थी। लिस्ट साइज के विरुद्ध टर्नओवर का स्केलिंग प्री-2023 के थोड़े कॉनकेव-अप ($b=1.15$) से पोस्ट-2023 के थोड़े कॉनकेव-डाउन ($b=0.969$) में बदल गया, जो शीर्ष रैंकों में नए शब्दों के प्रवेश की उच्च दर को दर्शाता है।
• EWS डायग्नोस्टिक्स: मानक अर्ली वार्निंग सिग्नल डायग्नोस्टिक्स (ऑटोकोरिलेशन, वेरिएंस) ने केवल मामूली बदलाव दिखाए, जिससे पता चलता है कि सिस्टम ने अस्थिरता के क्रिटिकल टिपिंग पॉइंट तक नहीं पहुँचा है, बावजूद इसके कि टर्नओवर में संरचनात्मक बदलाव हुए हैं।

महत्व और दावे
यह शोध दावा करता है कि वैज्ञानिक लेखन में LLMs का एकीकरण भाषाई पारिस्थितिकी तंत्र के उभरते गुणों को सूक्ष्म लेकिन मापने योग्य तरीकों से बदल रहा है। इस पर कि LLMs समान रूप से शाब्दिक विविधता को कम कर सकते हैं, विपरीत चलते हुए, लेखक पाते हैं कि वर्तमान LLM योगदान बढ़ी हुई शब्दावली समृद्धि (vocabulary richness) और उच्च-आवृत्ति वाले शब्दों में त्वरित टर्नओवर से जुड़े हैं।

LLM स्टाइल और जटिलता मेट्रिक्स के बीच के संबंध का सपाट होना यह सुझाव देता है कि एक मिश्रित मानव-AI आबादी की गतिशीलता शुद्ध मानव या शुद्ध AI जनरेशन से भिन्न है। बढ़ता हुआ टर्नओवर सिस्टम के "ट्रांसमिशन बायस" में बदलाव का संकेत देता है, जो संभावित रूप से नवीनता को इंजेक्ट करता है या वैज्ञानिक विमर्श की अनुरूपता (conformity) की गतिशीलता को बदल देता है।

लेखक निष्कर्ष निकालते हैं कि ये परिवर्तन अल्पकालिक दक्षता और दीर्घकालिक सूचनात्मक विविधता के बीच एक संभावित तनाव की ओर इशारा करते हैं। वे चेतावनी देते हैं कि यदि मानव-जनित और हाइब्रिड भाषा में विविधता समय के साथ घटती है, तो यह ऐसे भविष्य के AI सिस्टम को प्रभावित कर सकता है जो इस डेटा पर प्रशिक्षित होंगे। यह अध्ययन LLMs को केवल उपकरणों के रूप में नहीं, बल्कि सांस्कृतिक विकास में एक नए फीडबैक तंत्र के रूप में देखता है, जो लेखन या बाजारों के उद्भव के समान परिणामी महत्व रखता है, जिसके लिए इस बात की निरंतर निगरानी आवश्यक है कि मानव-AI सहयोग वैज्ञानिक ज्ञान की जटिलता को कैसे नया आकार दे रहा है।