Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models
यह शोध पत्र उपयुक्तता (appropriateness) की अनदेखी करके लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में डायवर्जेंट एसोसिएशन टास्क (DAT) की सीमाओं की आलोचना करता है, मानव रचनात्मकता सिद्धांत पर आधारित नवीन कंडीशनल डायवर्जेंट एसोसिएशन टास्क (CDAT) का प्रस्ताव देता है ताकि वास्तविक रचनात्मकता और शोर (noise) के बीच बेहतर अंतर किया जा सके, और यह प्रकट करता है कि उन्नत मॉडल अक्सर प्रशिक्षण और संरेखण (alignment) के कारण उपयुक्तता के लिए नवीनता का त्याग कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप लोगों (या इस मामले में, कंप्यूटर प्रोग्रामों) की रचनात्मकता का आकलन करने की कोशिश कर रहे हैं। आप उन्हें एक सरल चुनौती देते हैं: "10 ऐसे शब्द बताएं जो एक-दूसरे से जितने संभव हो सके उतने अलग हों।"
यह डाइवर्जेंट एसोसिएशन टास्क (DAT) है। यदि आप "सेब," "कार," "बादल," और "जूता" कहते हैं, तो आपको उच्च स्कोर मिलता है क्योंकि वे अर्थ में एक-दूसरे से बहुत दूर हैं। यदि आप "सेब," "केला," "चेरी," और "अंगूर" कहते हैं, तो आपको कम स्कोर मिलता है क्योंकि वे सभी केवल फल हैं।
इस शोध पत्र के शोधकर्ताओं ने पूछा: क्या यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक निष्पक्ष परीक्षण है?
समस्या: "रैंडम नॉइज़" (यादृच्छिक शोर) का जाल
लेखकों ने पाया कि हम वर्तमान में AI की रचनात्मकता को कैसे परीक्षण करते हैं, इसमें एक बड़ी खामी है। उन्होंने पाया कि यदि आप केवल एक AI को "अलग" होने के लिए कहते हैं, तो वह रैंडम (यादृच्छिक) होकर धोखाधड़ी कर सकता है।
इसे "साइमन सेज़" (Simon Says) के खेल की तरह समझें। यदि नियम केवल "अलग होना" है, तो एक व्यक्ति जो आँखें बंद करके एक पन्ने पर यादृच्छिक शब्दों की ओर इशारा करता है, वास्तव में एक प्रतिभाशाली कवि की तुलना में उच्च स्कोर प्राप्त कर सकता है। AI ऐसे निरर्थक शब्द उगल सकता है जो अर्थ में एक-दूसरे से दूर तो हैं, लेकिन वे एक साथ कोई अर्थ नहीं बनाते।
शोध पत्र के प्रयोग में, उन्होंने दो "धोखेबाजों" का परीक्षण किया:
- रैंडम चेटर (Random Cheater): एक कंप्यूटर प्रोग्राम जो बस डिक्शनरी से 10 यादृच्छिक शब्द चुनता है।
- "गेम-ऑप्टिमाइज़र" चेटर (Game-Optimizer Cheater): एक विशेष AI जिसे बताया गया, "अर्थ की परवाह न करें; बस ऐसे शब्द चुनें जो आपको इस टेस्ट पर उच्चतम स्कोर दिला सकें।"
चौंका देने वाला परिणाम: दोनों "धोखेबाजों" ने सबसे उन्नत, सबसे स्मार्ट AI मॉडल से भी अधिक स्कोर किया। इसका मतलब है कि पुराना टेस्ट (DAT) वास्तव में रचनात्मकता को नहीं माप रहा है; यह केवल यह माप रहा है कि कोई मॉडल रैंडम होने में कितना अच्छा है या सिस्टम को कितनी अच्छी तरह से चकमा दे सकता है।
समाधान: "कॉन्टेक्स्टुअल" (संदर्भगत) टेस्ट (CDAT)
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया टेस्ट बनाया जिसे CDAT (कंडीशनल डाइवर्जेंट एसोसिएशन टास्क) कहा जाता है।
उपमा:
कल्पना कीजिए कि पुराना टेस्ट किसी से "10 यादृच्छिक चीजें बताने" जैसा था।
नया टेस्ट ऐसा है जैसे आपसे पूछा जाए: "एक 'बिल्ली' से संबंधित 10 अलग-अलग चीजें बताएं।"
अब, AI को दो काम एक साथ करने होंगे:
- उपयुक्त होना: शब्द वास्तव में संकेत (जैसे, "मूंछें," "पंजा," "लेजर पॉइंटर") से संबंधित होने चाहिए। यदि वह "टोस्टर" या "ज्वालामुखी" कहता है, तो वह विफल हो जाता है।
- विविध होना: शब्द अभी भी एक-दूसरे से अलग होने चाहिए। "बिल्ली," "बिल्ली का बच्चा," और "बिल्ली (Feline)" सभी संबंधित हैं, लेकिन वे बहुत समान हैं। "बिल्ली," "मछली," और "कुत्ता" बेहतर हैं।
यह नया टेस्ट सच्ची रचनात्मकता (अद्वितीय होना लेकिन फिर भी अर्थपूर्ण होना) को रैंडम शोर (अद्वितीय होना लेकिन निरर्थक होना) से अलग करता है।
उन्होंने क्या पाया
जब उन्होंने इस नए टेस्ट को चलाया, तो परिणाम पूरी तरह से बदल गए:
- "स्मार्ट" AI बहुत सुरक्षित खेलते थे: सबसे बड़े, सबसे उन्नत AI मॉडल (जिन्हें मदद करने और नियमों का पालन करने के लिए प्रशिक्षित किया गया है) बहुत सुरक्षित खेलने की प्रवृत्ति रखते थे। उन्होंने बहुत ही उपयुक्त उत्तर दिए, लेकिन वे थोड़े उबाऊ और कम रचनात्मक थे। वे उस छात्र की तरह थे जो पाठ्यपुस्तक को पूरी तरह जानता है लेकिन लीक से हटकर सोचने से डरता है।
- "छोटे" AI अधिक रचनात्मक थे: आश्चर्यजनक रूप से, छोटे, कम "उन्नत" मॉडल अक्सर रचनात्मकता में उच्च स्कोर करते थे। वे जोखिम लेने और विषय पर बने रहते हुए अधिक अनूठे, विविध विचार पेश करने के लिए तैयार थे।
लेखक सुझाव देते हैं कि जैसे-जैसे AI मॉडल बड़े होते जाते हैं और उन्हें "सुरक्षित" और मददगार बनाने के लिए प्रशिक्षित किया जाता है, वे वास्तव में अपनी थोड़ी सी रचनात्मक चमक खो देते हैं। वे सही होने पर बहुत अधिक ध्यान केंद्रित करते हैं और दिलचस्प होने पर कम।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हम रचनात्मकता को मापने के लिए AI से केवल "अलग होने" के लिए नहीं कह सकते। हमें इसे एक विशिष्ट संदर्भ के भीतर अलग होने के लिए कहना होगा।
- पुराना तरीका: "रैंडम बनो!" (AI निरर्थकता बनकर धोखाधड़ी करता है)।
- नया तरीका: "रचनात्मक बनो, लेकिन अर्थपूर्ण रहो!" (AI को अद्वितीय होने और उपयोगी होने के बीच संतुलन बनाना पड़ता है)।
यह नया तरीका हमें एक स्पष्ट तस्वीर देता है कि कौन से AI मॉडल वास्तव में रचनात्मक हैं और कौन से केवल निर्देशों का पालन करने या यादृच्छिक अनुमान लगाने में अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।