Literary Non-Style in LLM-Generated Text
यह शोध पत्र यह तर्क देता है कि LLM-जनित पाठ की विशिष्ट "गैर-शैली" (non-style) विशिष्ट सांख्यिकीय n-ग्राम पैटर्न से उत्पन्न होती है जो अर्थ संबंधी सीमाओं को प्रकट करते हैं, यह प्रदर्शित करते हुए कि AI लेखन में शैलीगत और अर्थ संबंधी गुण मौलिक रूप से आपस में जुड़े हुए हैं न कि अलग करने योग्य।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि कोई कहानी इंसान ने लिखी है या रोबोट ने। आप वर्तनी की गलतियों या व्याकरण की त्रुटियों को नहीं देख रहे हैं; आप लेखन की "आत्मा" की तलाश कर रहे हैं। भाषा विज्ञान की दुनिया में, एक प्रसिद्ध नियम है जिसे जिप्स का नियम (Zipf's Law) कहा जाता है। इसे अपने पसंदीदा गानों की एक प्लेलिस्ट की तरह समझें। किसी भी बड़े संगीत संग्रह में, कुछ हिट गाने (जैसे "हैप्पी बर्थडे" या कोई बहुत बड़ा पॉप गाना) बार-बार बजाए जाते हैं, जबकि अधिकांश गाने केवल एक या दो बार बजाए जाते हैं। यदि आप इन गानों को "सबसे अधिक बजाए गए" से "सबसे कम बजाए गए" के क्रम में रखते हैं, तो गिरावट एक बहुत ही विशिष्ट, अनुमानित वक्र (curve) का पालन करती है। यह मानव भाषण, पुस्तकों और यहाँ तक कि हमारे शब्दों के उपयोग में भी होता है। वैज्ञानिकों ने लंबे समय से माना है कि यह "लयबद्ध" पैटर्न प्राकृतिक, मानवीय रचनात्मकता का एक संकेत है। लेकिन अब, कंप्यूटरों के साथ जो कहानियाँ लिख सकते हैं, हमें पूछना होगा: क्या ये मशीनें भी उन्हीं संगीतमय नियमों का पालन करती हैं, या वे एक टूटे हुए रिकॉर्ड की तरह व्यवहार करती हैं?
कोरी मासरो द्वारा लिखा गया यह शोध पत्र ठीक इसी की जांच करता है। लेखक यह जानना चाहता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—वे सुपर-स्मार्ट AI चैटबॉट्स जिन्हें हम हर जगह देखते हैं—द्वारा उत्पन्न पाठ (text) मानव द्वारा लिखे गए पाठ से अलग महसूस होता है। अध्ययन बताता है कि हालांकि AI हमारे द्वारा उपयोग किए जाने वाले शब्दों की नकल कर सकता है, लेकिन यह उस लय और विविधता में विफल रहता है जो मानव लेखन को जीवंत बनाती है। शब्दों के विशिष्ट समूहों (जैसे "तीन-शब्दों वाले वाक्यांश" या "चार-शब्दों वाले वाक्यांशों") की आवृत्ति गिनकर, लेखक ने पाया कि AI लेखन मानव लेखन की तुलना में बहुत अधिक दोहराव वाला और अनुमानित है। ऐसा लगता है जैसे AI एक लूप में फंसा हुआ है, अपने उन्हीं पसंदीदा वाक्यांशों को बार-बार पुनर्चक्रित (recycle) कर रहा है, जबकि एक मानव लेखक नए संयोजनों के साथ आपको लगातार आश्चर्यचकित करता रहता है। शोध पत्र निष्कर्ष निकालता है कि विविधता की यह कमी केवल एक शैलीगत मुद्दा नहीं है; यह वास्तव में उन विचारों को भी सीमित करती है जिन्हें AI व्यक्त कर सकता है। यदि आप चीजों को अलग-अलग तरीकों से नहीं कह सकते, तो आप बहुत सी अलग चीजें कह ही नहीं सकते।
"रोबोट रिदम" की कहानी
लेखक ने जो पाया उसे समझने के लिए, आइए कहानी के "सामग्री" को देखें। यह पत्र दो मुख्य प्रकार के लेखन की तुलना करता है:
- मानव: एक क्लासिक संस्मरण द एजुकेशन ऑफ हेनरी एडम्स, जिसे 1900 के दशक की शुरुआत में एक वास्तविक व्यक्ति द्वारा लिखा गया था।
- रोबोट: एक पुस्तक द इनर लाइफ ऑफ एन एआई, जिसे एक AI (ChatGPT) द्वारा "लिखा" गया था लेकिन एक मानव प्रॉमप्टर द्वारा तैयार किया गया था।
लेखक ने यह सुनिश्चित करने के लिए कि परिणाम केवल एक इत्तेफाक न हों, मानव लेखन के 80 लाख शब्दों और AI लेखन के 80 लाख शब्दों के एक विशाल डेटासेट का भी विश्लेषण किया।
बड़ी खोज: "स्टॉक फ्रेज" का जाल
लेखक ने AI की पुस्तक को पढ़ते समय कुछ अजीब देखा। ऐसा लग रहा था जैसे रोबोट बार-बार कुछ "तैयार" (canned) वाक्यांशों का उपयोग कर रहा है। उदाहरण के लिए, "despite these challenges" (इन चुनौतियों के बावजूद) वाक्यांश पुस्तक में 16 बार आया, और "I began to" (मैंने शुरू किया) 50 से अधिक बार दिखाई दिया! इसके विपरीत, मानव लेखक, हेनरी एडम्स ने शब्दों की बहुत विस्तृत विविधता का उपयोग किया। उन्होंने शायद ही कभी एक ही चार-शब्दों के अनुक्रम को दोहराया।
यह सिद्ध करने के लिए कि यह केवल एक अहसास नहीं था, लेखक ने गणित का उपयोग किया। उन्होंने गणना की कि शब्दों के कितने अद्वितीय समूहों (जिन्हें n-grams कहा जाता है) का ग्रंथों में उपयोग किया गया।
- 1-grams एकल शब्द हैं।
- 2-grams दो-शब्दों के जोड़े हैं (जैसे "very good")।
- 3-grams और 4-grams लंबे श्रृंखलाएं हैं।
परिणाम स्पष्ट थे:
- मानव पाठ में, विविधता उच्च थी। 4-शब्दों वाले वाक्यांशों के लिए, अद्वितीय वाक्यांशों का कुल वाक्यांशों के अनुपात में 0.9890 था। इसका अर्थ है कि हेनरी एडम्स ने लगभग कभी भी एक चार-शब्दों के अनुक्रम को नहीं दोहराया।
- AI पाठ में, विविधता बहुत कम थी। 4-शब्दों वाले वाक्यांशों के लिए अनुपात केवल 0.6882 था। इसका अर्थ है कि AI अपने पसंदीदा चार-शब्दों के श्रृंखलाओं को लगातार दोहराता रहा।
कहानी का "ढलान" (Slope)
लेखक ने लेखन के "ढलान" को भी देखा, जो एक फैंसी तरीका है यह बताने का कि लेखन कितनी जल्दी नए विचारों से समाप्त हो जाता है। एक आदर्श मानव कहानी में, आप नए शब्द और वाक्यांश पाते रहते हैं, लेकिन वे कम होते जाते हैं, जो एक सुचारू वक्र (Zipf's Law) का पालन करते हैं।
- AI के लिए, वक्र बहुत तीव्र था। सबसे सामान्य वाक्यांश बहुत अधिक सामान्य थे, और दुर्लभ वाक्यांश बहुत अधिक दुर्लभ थे।
- लेखक ने पाया कि 4-शब्दों वाले वाक्यांशों के लिए, AI का "ढलान" -0.395 था, जबकि मानव का -0.178 था। AI के लिए तीव्र संख्या का अर्थ है कि वह अपने पसंदीदा वाक्यांशों को मानव की तुलना में बहुत अधिक मजबूती से पकड़ कर रखता है।
"स्टॉक फ्रेजेस" के बारे में क्या?
लेखक ने सोचा: "शायद AI एक ही विचार के लिए अलग-अलग शब्दों का उपयोग करता है? जैसे 'big' के बजाय 'huge' कहना?" इसे परखने के लिए, उन्होंने पाठ को "लेमेटाइज" (lemmatize) किया, जिसका अर्थ है शब्दों को उनके मूल रूप (root) के आधार पर समूहित करना (जैसे "running," "ran," और "runs" सभी एक ही शब्द गिने जाएंगे)।
- परिणाम: समान शब्दों को एक साथ समूहबद्ध करने के बाद भी, AI अभी भी दोहराव वाला लगा। "ढलान" में ज्यादा बदलाव नहीं आया। यह सुझाव देता है कि समस्या केवल समानार्थी शब्दों के उपयोग के बारे में नहीं है; समस्या यह है कि AI विशिष्ट वाक्यांशों के एक चक्र में फंस गया है।
"टूटा हुआ रिकॉर्ड" बनाम "जैज़ सोलो"
तो, इस सब का क्या अर्थ है? लेखक एक बेहतरीन उपमा का उपयोग करता है: कल्पना कीजिए कि एक मानव लेखक जैज़ संगीतकार की तरह एक सोलो (solo) बजा रहा है। वे कुछ परिचित स्वर बजा सकते हैं, लेकिन वे उन्हें लगातार बदलते रहते हैं, नए रिफ्स जोड़ते हैं और श्रोता को आश्चर्यचकित करते हैं। दूसरी ओर, AI एक टूटे हुए रिकॉर्ड प्लेयर की तरह है जो बार-बार एक ही आकर्षक कोरस पर वापस आता है।
पत्र तर्क देता है कि यह केवल इसलिए नहीं है कि AI "उबाऊ" लगता है। यह इस बारे में है कि AI क्या कह सकता है।
- सीमा: क्योंकि AI अत्यधिक मात्रा में उन्हीं कुछ वाक्यांशों पर निर्भर करता है, इसलिए उसके पास विचारों का एक छोटा "टूलबॉक्स" है। यदि आपके पास एक कहानी लिखने के लिए शब्दों की एक निश्चित संख्या है, तो एक मानव अधिक विभिन्न विचारों को समाहित कर सकता है क्योंकि वे अधिक अद्वितीय संयोजनों का उपयोग करते हैं। AI, अपने लूप में फंसे होने के कारण, एक ही बात को थोड़े अलग तरीकों से कहता रहता है।
- "अहसास": लेखक नोट करता है कि लोग अक्सर "महसूस" कर सकते हैं जब वे AI पाठ पढ़ रहे होते हैं। यह सपाट, औपचारिक और थोड़ा खोखला लगता है। यह अध्ययन बताता है कि यह अहसास वाक्यांश विविधता (phrasal variety) की कमी से आता है। AI मानवीय रचनात्मकता की "चिंगारी" को खो देता है क्योंकि वह अपने स्वयं के पैटर्न को तोड़ नहीं पाता है।
वह जो यह पेपर नहीं जानता
यह ध्यान रखना महत्वपूर्ण है कि इस अध्ययन ने क्या नहीं किया। लेखक ने यह दावा नहीं किया कि AI लेखन नैतिक रूप से "बुरा" है, न ही उन्होंने कहा कि AI कभी अच्छा साहित्य नहीं लिख सकता। उन्होंने केवल शब्दों के सांख्यिकी (statistics) को मापा।
- उन्होंने यह साबित नहीं किया कि AI कभी अधिक रचनात्मक होना नहीं सीख सकता; उन्होंने बस यह दिखाया कि अभी, उनके द्वारा विश्लेषण किए गए ग्रंथों में, पैटर्न मनुष्यों से बहुत अलग हैं।
- उन्होंने यह नहीं कहा कि दोहराव हमेशा बुरा नहीं होता (कभी-कभी कविता की तरह किसी वाक्यांश को दोहराना एक शक्तिशाली कलात्मक विकल्प होता है)। लेकिन AI वाक्यांशों को बहुत अधिक और गलत स्थानों पर दोहराता है, जैसे कि एक रोबोट जो कवि बनने की कोशिश कर रहा है लेकिन अपनी लय बदलने का तरीका भूल गया है।
अंतिम निष्कर्ष
अंत में, पत्र सुझाव देता है कि शैली और अर्थ जुड़े हुए हैं। आप किसी कहानी के "अहसास" को उसके "विचारों" से अलग नहीं कर सकते। यदि एक लेखक (या रोबोट) चीजों को कहने के नए तरीके नहीं खोज सकता, तो वह जो व्यक्त कर सकता है उसमें उसकी सीमा होती है। AI का "टूटा हुआ रिकॉर्ड" वाला रिदम केवल एक शैलीगत विचित्रता नहीं है; यह इस बात का संकेत है कि मशीन की जटिल, विविध मानवीय विचारों को व्यक्त करने की क्षमता अभी भी, वास्तव में, एक कार्य प्रगति पर (work in progress) है। संख्याएं दिखाती हैं कि हालांकि AI बात कर सकता है, लेकिन उसने अभी तक उस जंगली, अप्रत्याशित विविधता के साथ गाना नहीं सीखा है जो मनुष्य करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।