Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
यह शोध पत्र प्रकट करता है कि जहाँ बड़े भाषा मॉडल (LLMs) नवीनता जैसे आंतरिक गुणों पर मानवीय रचनात्मकता मूल्यांकनों के साथ संरेखित होते हैं, वहीं वे अपने संकीर्ण, मॉडल-विशिष्ट मानकों और प्रासंगिक जानकारी के प्रति अपनी असंवेदनशीलता के कारण महत्वपूर्ण रूप से भिन्न होते हैं, जिससे रचनात्मकता मूल्यांकन के लिए एक विशिष्ट LLM मूल्यांकनकर्ता का चयन करना एक परिणामोन्मुखी निर्णय बन जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाली आर्ट गैलरी में हैं जहाँ हर कोई यह अनुमान लगाने की कोशिश कर रहा है कि कौन सी पेंटिंग्स "रचनात्मक" हैं। कुछ लोग केवल पेंट और ब्रश के स्ट्रोक को देखते हैं। अन्य लोग इस बात पर ध्यान देते हैं कि इसे किसने बनाया, इसकी कीमत कितनी है, या क्या यह इस समय चलन में है। लंबे समय तक, इंसान ही इस गैलरी में एकमात्र निर्णायक रहे हैं। लेकिन अब, एक नया तरह का निर्णायक आया है: लार्ज लैंग्वेज मॉडल, या LLM। एक LLM को एक सुपर-स्मार्ट रोबोट के रूप में सोचें जिसने अब तक लिखी गई लगभग हर किताब, लेख और वेबसाइट को पढ़ा है। क्योंकि वह जानता है कि इंसान क्या कहते हैं, हमें उम्मीद थी कि वह रचनात्मकता को बिल्कुल इंसानों की तरह परख सकेगा। लेकिन यहाँ एक रहस्य है: कभी-कभी रोबोट हमसे सहमत होता है, और कभी-कभी ऐसा लगता है जैसे वह किसी बिल्कुल अलग पेंटिंग को देख रहा हो। वैज्ञानिक जानना चाहते हैं कि कब रोबोट हमारी तरह सोचता है, और कब वह अपने ही विचारों में खो जाता है? यह शोध उस प्रश्न की गहराई में जाने के लिए है ताकि यह देखा जा सके कि क्या हम इन डिजिटल निर्णायकों पर अपनी रचनात्मकता की प्रतियोगिताओं में विजेताओं को चुनने के लिए भरोसा कर सकते हैं।
शोधकर्ताओं ने यह पता लगाने की कोशिश की कि इन रोबोट निर्णायकों द्वारा वास्तव में किन नियमों का पालन किया जाता है। उन्होंने केवल यह नहीं पूछा, "क्या यह रचनात्मक है?" बल्कि उन्होंने रोबोट्स से उन 26 अलग-अलग चीजों की महत्ता को रैंक करने के लिए कहा जो इंसान आमतौर पर देखते हैं, जैसे "क्या यह नया है?", "क्या यह उपयोगी है?", या "क्या यह प्रसिद्ध है?"। उन्होंने छह सबसे लोकप्रिय LLMs (GPT, Grok, DeepSeek, ERNIE, Claude, और Gemini) का परीक्षण किया और उनके उत्तरों की तुलना वास्तविक इंसानों द्वारा दी गई जानकारी से की।
यहाँ उन्हें एक बड़ा आश्चर्य मिला: रोबोट सभी एक जैसा नहीं सोचते हैं, और वे बिल्कुल हमारी तरह भी नहीं सोचते हैं। जहाँ इंसान रचनात्मक विचारों को पकड़ने के लिए एक व्यापक जाल का उपयोग करते हैं—विचार के साथ-साथ उसके आसपास की दुनिया (जैसे उसकी प्रतिष्ठा या बाजार के रुझान) को भी देखते हैं—वहीं रोबोट मुख्य रूप से केवल विचार को ही देखते हैं। विशेष रूप से, रोबोट नवीनता (novelty) के प्रति जुनूनी हैं। यदि कोई विचार नया, अजीब या अप्रत्याशित है, तो रोबोट उसे पसंद करते हैं। उन्हें यह भी पसंद आता है कि कोई चीज़ मजेदार या कलात्मक हो। लेकिन जब बात "संदर्भगत" (contextual) सुरागों की आती है—जैसे कि कोई उत्पाद किसी प्रसिद्ध ब्रांड का है, या वह मास-मार्केट हिट है, या फैशन में है—तो रोबोट उन्हें लगभग पूरी तरह अनदेखा कर देते हैं। एक इंसान के लिए, एक प्रसिद्ध ब्रांड किसी विचार को अधिक रचनात्मक बना सकता है; एक रोबोट के लिए, वह केवल शोर है।
अध्ययन में यह भी पता चला कि सभी रोबोट एक जैसे नहीं बने हैं। कुछ मॉडल, जैसे GPT और Grok, एक "व्यापक जाल" रखते हैं। वे मानव मानकों के 26 में से अधिक पहलुओं को देखते हैं, इसलिए उनके निर्णय मानवीय विचारों से काफी मेल खाते हैं। अन्य, जैसे Claude और Gemini, का "जाल संकुचित" है। वे सख्ती से मूल विचार पर टिके रहते हैं और बाकी सब कुछ अनदेखा कर देते हैं। इसका अर्थ यह है कि यदि आप एक संकुचित रोबट को रचनात्मक विचार का निर्णय लेने के लिए कहते हैं, तो वह मानवीय दृष्टिकोण के मुकाबले चूक सकता है, क्योंकि वह उस सामाजिक या बाजार के संदर्भ को अनदेखा कर रहा है जिसकी इंसानों को परवाह होती है।
इसे साबित करने के लिए, शोधकर्ताओं ने दो और परीक्षण किए। पहले परीक्षण में, उन्होंने 1,100 से अधिक विचारों पर इंसानों और रोबोटों से निर्णय लिया। उन्होंने पाया कि "व्यापक जाल" वाले रोबोटों ने "संकीर्ण जाल" वाले रोबोटों की तुलना में मानवीय स्कोर के साथ बहुत बेहतर तालमेल दिखाया। दूसरे परीक्षण में, उन्होंने इंसानों और रोबोटों को बिल्कुल एक ही उत्पाद विवरण दिखाए, लेकिन कुछ मामलों में, उन्होंने उत्पाद के ब्रांड या बाजार की सफलता के बारे में एक वाक्य जोड़ दिया। अतिरिक्त संदर्भ देखने पर इंसानों की रेटिंग बढ़ गई; उन्हें लगा कि उत्पाद अधिक रचनात्मक था। रोबोट? उनकी रेटिंग में बहुत कम बदलाव आया। वे उन सामाजिक संकेतों के प्रति पूरी तरह अंधे थे जिन्होंने इंसानों के विचारों को प्रभावित किया था।
तो, इसका भविष्य के लिए क्या अर्थ है? यह सुझाव देता है कि हम सभी AI निर्णायकों को एक समान नहीं मान सकते। यदि आप जानना चाहते हैं कि क्या कोई विचार वास्तव में मौलिक और नया है, तो एक रोबोट एक बेहतरीन सहायक हो सकता है। लेकिन यदि आपको यह जानने की आवश्यकता है कि क्या कोई विचार वास्तविक दुनिया में सफल होगा, किसी ब्रांड के अनुकूल होगा, या लोगों के बीच चर्चा का विषय बनेगा, तो एक रोबोट मुख्य बिंदु को पूरी तरह से मिस कर सकता है। यह शोध बताता है कि सही AI निर्णायक चुनना एक बड़ी बात है: अलग-अलग मॉडल अलग-अलग नियम लागू करते हैं, इसलिए वे अलग-अलग विजेताओं को चुनेंगे। हमें यह मानने में सावधान रहने की जरूरत है कि रोबोट पूरी तस्वीर देख रहा है, क्योंकि वह अक्सर एक बहुत ही विशिष्ट और संकीर्ण लेंस से देख रहा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।