Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity
यह शोध पत्र तर्क देता है कि n-gram नवीनता (novelty) पाठ्य रचनात्मकता के लिए एक अपर्याप्त स्टैंडअलोन मीट्रिक है क्योंकि यह उपयुक्तता को ध्यान में रखने में विफल रहती है, जो व्यापक मानव एनोटेशन के माध्यम से यह प्रदर्शित करती है कि जहाँ उच्च नवीनता अक्सर AI-जनित पाठ में व्यावहारिक मूल्य की कमी दर्शाती है, वहीं फ्रंटियर LLMs को पारंपरिक n-gram विधियों की तुलना में रचनात्मक और गैर-व्यावहारिक अभिव्यक्तियों को बेहतर ढंग से पहचानने के लिए फाइन-ट्यून किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं। वर्षों से, विजेता चुनने के लिए आपके पास केवल एक ही नियम था: "एक्ट ऐसा होना चाहिए जो आपने पहले कभी न देखा हो।"
यदि एक जादूगर टोपी से खरगोश निकालता, तो आप कहते, "बोरिंग, यह मैंने पहले भी देखा है!" लेकिन अगर एक जादूगर टोपी से एक ड्रैगन निकालता, तो आप चिल्लाते, "वाह! यह नया है! यह रचनात्मक है!"
यह बिल्कुल वैसा ही है जैसे हम लंबे समय से AI लेखन को माप रहे हैं। हम एक मीट्रिक का उपयोग करते हैं जिसे n-gram novelty कहा जाता है। यह मूल रूप से एक विशाल सर्च इंजन की तरह है जो पूछता है: "क्या यह सटीक वाक्यांश उन अरबों किताबों और वेबसाइटों में दिखाई दिया है जिन पर AI को प्रशिक्षित किया गया था?" यदि उत्तर "नहीं" है, तो हम मान लेते हैं कि AI रचनात्मक हो रहा है।
यह शोध पत्र उस टैलेंट शो जज की तरह है जिसे एहसास होता है कि वह नियम टूट चुका है।
यहाँ उस कहानी का विवरण है जो शोधकर्ताओं ने पाया, जिसे सरल भाषा में समझाया गया है:
1. "गिबरिश" (निरर्थक शब्द) की समस्या
शोधकर्ताओं (लेखकों और कंप्यूटर वैज्ञानिकों की एक टीम) ने 26 पेशेवर लेखकों से मानव और AI द्वारा लिखी गई कहानियाँ पढ़ने को कहा। उन्होंने केवल "नवीनता" की तलाश नहीं की; उन्होंने रचनात्मकता की तलाश की।
उन्होंने वास्तविक रचनात्मकता को दो ब्रेड स्लाइस वाले सैंडविच के रूप में परिभाषित किया:
- स्लाइस A (नवीनता/Novelty): इसे मौलिक और आश्चर्यजनक होना चाहिए।
- स्लाइस B (उपयुक्तता/Appropriateness): इसे समझ में आना चाहिए और कहानी में फिट बैठना चाहिए।
चौंकाने वाली खोज:
शोधकर्ताओं ने पाया कि "नयापन वाला नियम" (n-gram novelty) एक बहुत ही बुरा जज है।
- 91% बार, जब AI ने ऐसा टेक्स्ट बनाया जो "बेहद नया" (पहले कभी न देखा गया) था, तो वह वास्तव में कचरा था। यह ऐसा था जैसे एक जादूगर टोपी से ड्रैगन निकाले, लेकिन वह ड्रैगन स्पैगेटी से बना था और ऐसी भाषा में चिल्ला रहा था जिसे कोई समझ नहीं सकता था। वह नया तो था, लेकिन रचनात्मक नहीं था; वह बस निरर्थक था।
- इसके विपरीत, मनुष्यों द्वारा लिखी गई कुछ सबसे सुंदर, रचनात्मक पंक्तियों में 'लो नॉवेलिटी स्कोर' (कम नवीनता स्कोर) था। उन्होंने सामान्य शब्दों का उपयोग किया था, लेकिन जिस तरीके से उन्हें जोड़ा गया था, वह भावनात्मक रूप से एकदम सटीक था। "नयापन वाला नियम" इन्हें "बोरिंग" कहकर खारिज कर देता, भले ही वे उत्कृष्ट कृतियाँ थीं।
2. AI का "ओवर-इंजीनियर्ड" जाल
अध्ययन ने AI के लिखने के तरीके में एक अजीब पैटर्न पाया।
- मानव: जब मनुष्य रचनात्मक होने की कोशिश करते हैं, तो वे नए विचारों और अर्थपूर्ण होने के बीच संतुलन बनाते हैं।
- AI: जब AI "नवीन" (अपने ट्रेनिंग डेटा की नकल करने से बचने के लिए) होने की कोशिश करता है, तो वह टूटने लगता है। AI जितना अधिक अद्वितीय होने की कोशिश करता है, उतनी ही अधिक संभावना होती है कि वह ऐसे वाक्य लिखेगा जिनका संदर्भ में कोई अर्थ नहीं निकलता।
रूपक (Metaphor):
कल्पना कीजिए कि एक शेफ को बताया गया है, "आपको कभी भी ऐसी सामग्री का उपयोग नहीं करना है जो पहले कभी किसी रसोई में इस्तेमाल की गई हो।"
- एक मानव शेफ कह सकता है, "ठीक है, मैं जंगल से मिला एक दुर्लभ मशरूम इस्तेमाल करूँगा।" (स्वादिष्ट और नया)।
- AI शेफ, नियम का सख्ती से पालन करने की कोशिश में, कह सकता है, "ठीक है, मैं सूप में एक टायर और एक टोस्टर डाल दूँगा।" (तकनीकी रूप से नया, लेकिन खाने लायक नहीं)।
यह पेपर दिखाता है कि जैसे-जैसे AI मॉडल बड़े होते जाते हैं और अधिक "नवीन" होने की कोशिश करते हैं, वे अनजाने में "टायर सूप" परोसने लगते हैं।
3. "रोबोट जज" प्रयोग
शोधकर्ताओं ने फिर पूछा: "क्या हम एक सुपर-स्मार्ट AI (जैसे GPT-5) को इंसानों के बजाय जज बनने के लिए सिखा सकते हैं?"
उन्होंने इन AI जजों को कहानी के "अच्छे, रचनात्मक हिस्सों" और "बुरे, निरर्थक हिस्सों" को खोजने का कार्य दिया।
- अच्छी खबर: AI जज रैंडम अनुमान लगाने से कहीं बेहतर थे। वे कुछ रचनात्मक रत्नों को पहचान सके।
- बुरी खबर: वे "निरर्थक" हिस्सों को पहचानने में बहुत खराब थे। वे अक्सर "टायर सूप" को पकड़ने में विफल रहे क्योंकि, एक AI के लिए, अजीबोगरीब चीजें कभी-कभी रचनात्मकता जैसी लगती हैं।
4. आगे का नया रास्ता
पेपर इस निष्कर्ष पर पहुँचता है कि हमें रचनात्मकता के एकमात्र स्कोर के रूप में "n-gram novelty" का उपयोग करना बंद करने की आवश्यकता है। यह एक पेंटिंग को केवल इस आधार पर ग्रेड देने जैसा है कि कलाकार ने कितने रंगों का उपयोग किया, यह नजरअंदाज करते हुए कि चित्र वास्तव में कुछ दिखता भी है या नहीं।
मुख्य बात (The Takeaway):
सच्ची रचनात्मकता केवल अलग होने के बारे में नहीं है; यह अलग और अर्थपूर्ण होने के बारे में है।
- पुराना मीट्रिक: "क्या यह वाक्यांश नया है?" (AI: "हाँ! लेकिन यह निरर्थक है।")
- नया मीट्रिक: "क्या यह वाक्यांश नया है और क्या यह कहानी को बेहतर बनाता है?" (AI: "कभी-कभी हाँ, लेकिन अक्सर नहीं।")
लेखक सुझाव देते हैं कि केवल यह गिनने के बजाय कि कोई वाक्यांश कितना "दुर्लभ" है, हमें स्मार्ट AI जजों का उपयोग करने की आवश्यकता है जो संदर्भ और अर्थ को समझते हों, ठीक वैसे ही जैसे एक मानव संपादक करता है। उन्होंने साबित किया कि हालांकि AI लिख सकता है, लेकिन वह एक टूटे हुए रोबोट की तरह बहुत अधिक अद्वितीय दिखने की कोशिश किए बिना अच्छा लिखने में संघर्ष करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।