🤖 AI

Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

यह शोध पत्र लेखन, अपसारी चिंतन (divergent thinking) और वैज्ञानिक विचारोन्मेष (scientific ideation) के क्षेत्र में लार्ज लैंग्वेज मॉडल (LLM) के प्रदर्शन की भविष्यवाणी करने के लिए मौजूदा मानव रचनात्मकता परीक्षणों का व्यवस्थित रूप से मूल्यांकन करता है, जो उनकी सीमित वैधता को प्रकट करता है और 'डाइवर्जेंट रिमोट एसोसिएशन टेस्ट' (DRAT) को पहले सुदृढ़ उपकरण के रूप में प्रस्तुत करता है जो अभिसारी (convergent) और अपसारी दोनों प्रकार के चिंतन का एक साथ आकलन करके वैज्ञानिक विचारोन्मेष की भविष्यवाणी करने में सक्षम है।

मूल लेखक: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास बहुत बुद्धिमान रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) का एक विशाल पुस्तकालय है। आप जानना चाहते हैं कि उनमें से कौन वास्तव में "रचनात्मक" (creative) है। लेकिन हम एक मशीन में रचनात्मकता को कैसे माप सकते हैं?

लंबे समय से, वैज्ञानिक उन्हीं परीक्षणों का उपयोग कर रहे हैं जो वे मनुष्यों को ग्रेड देने के लिए करते हैं। यह एक मछली की पेड़ पर चढ़ने की क्षमता मापने की कोशिश करने जैसा है क्योंकि आप जानना चाहते हैं कि वह पेड़ पर चढ़ने में कितनी अच्छी है। यह शोध पत्र तर्क देता है कि हालांकि ये पुराने परीक्षण कुछ हद तक काम करते हैं, लेकिन वे अक्सर पूरी कहानी बताने में विफल रहते हैं, विशेष रूप से वैज्ञानिक विचारों के मामले में।

यहाँ शोधकर्ताओं द्वारा की गई खोजों और इसे ठीक करने के लिए उनके द्वारा बनाए गए समाधान का एक सरल विवरण दिया गया है।

1. समस्या: गलत पैमाने का उपयोग करना

शोधकर्ताओं ने "रचनात्मकता परीक्षणों" के दो मुख्य प्रकारों को देखा जिनका उपयोग मनुष्य करते हैं:

डाइवर्जेंट थिंकिंग (Divergent Thinking): किसी को एक प्रश्न के कई अलग-अलग, अजीब उत्तर देने के लिए कहना (जैसे "10 ऐसी चीजें सूचीबद्ध करें जो एक-दूसरे से पूरी तरह अलग हों")।
कन्वर्जेंट थिंकिंग (Convergent Thinking): किसी को तीन असंबंधित चीजों को जोड़ने वाला एक सही उत्तर खोजने के लिए कहना (जैसे "cottage," "Swiss," और "cake" $\rightarrow$ "cheese")।

टीम ने दर्जनों AI मॉडलों का इन मानव परीक्षणों का उपयोग करके परीक्षण किया। उन्होंने कुछ आश्चर्यजनक चीजें खोजीं:

"बुद्धिमत्ता" का जाल (The "Smartness" Trap): कई परीक्षण जो रचनात्मकता को मापते प्रतीत होते थे, वास्तव में केवल यह माप रहे थे कि रोबोट कितना "स्मार्ट" या जानकार था। यदि कोई रोबोट गणित और पढ़ने में अच्छा है, तो वह स्वाभाविक रूप से इन परीक्षणों पर उच्च स्कोर करता है, भले ही वह वास्तव में रचनात्मक न हो। यह एक छात्र को गणित के टेस्ट पर ग्रेड देने और इसे "रचनात्मकता परीक्षण" कहने जैसा है क्योंकि उसने उच्च स्कोर प्राप्त किया है।
"वैज्ञानिक" अंध बिंदु (The "Scientific" Blind Spot): सबसे चौंकाने वाली खोज यह थी कि कोई भी मौजूदा मानव परीक्षण विश्वसनीय रूप से यह अनुमान नहीं लगा सका कि क्या कोई AI अच्छे वैज्ञानिक विचार दे सकता है। आपके पास एक ऐसा रोबोट हो सकता है जो कहानियाँ लिखने या यादृच्छिक शब्द सूचीबद्ध करने में बहुत अच्छा हो, लेकिन एक नया वैज्ञानिक सिद्धांत आविष्कार करने में बहुत खराब हो। पुराने पैमाने इस काम के लिए काम नहीं आए।
नए मॉडलों का विरोधाभास (The Paradox of Newer Models): जैसे-जैसे AI मॉडल नए और अधिक शक्तिशाली होते गए, वे वास्तव में डाइवर्जेंट थिंकिंग (अद्वितीय, अजीब विचार उत्पन्न करने) में बदतर होते गए। वे अधिक कठोर और मानक बन गए, जैसे एक फैक्ट्री जो बार-बार एक ही कुकी बनाती है, बजाय एक ऐसे शेफ के जो एक नई रेसिपी का आविष्कार करता है।

2. समाधान: एक नया हाइब्रिड टेस्ट (DRAT)

चूंकि पुराने परीक्षण वैज्ञानिक रचनात्मकता की भविष्यवाणी करने में विफल रहे, इसलिए लेखकों ने डाइवर्जेंट रिमोट एसोसिएशन टेस्ट (DRAT) नामक एक नया परीक्षण बनाया।

सोचिए कि पुराने परीक्षण दो अलग-अलग उपकरणों की तरह हैं:

उपकरण A (Divergent): एक बड़ा हथौड़ा जो चीजों को तोड़कर देखता है कि आपको कितने अलग-अलग टुकड़े मिलते हैं।
उपकरण B (Convergent): एक पेचकस जो चीजों को आपस में कसता है ताकि एक आदर्श फिट मिल सके।

वैज्ञानिक रचनात्मकता के साथ समस्या यह है कि आपको एक ही समय में दोनों की आवश्यकता होती है। आपको कुछ नया खोजने के लिए विचारों को तोड़ना पड़ता है, लेकिन फिर आपको यह सुनिश्चित करने के लिए उन्हें जोड़ना पड़ता है कि वे वास्तव में समझ में आएं और समस्या में फिट बैठें।

DRAT कैसे काम करता है:
कल्पना कीजिए कि आप AI को तीन बहुत अलग "एंकर" शब्द देते हैं (जैसे "heartbeat," "pipeline," और "topology")।

चुनौती: AI को 10 ऐसे शब्द उत्पन्न करने होंगे जो आपस में अलग-अलग हों (Divergent)।
शर्त: लेकिन, उन 10 शब्दों में से प्रत्येक शब्द तीनों एंकर शब्दों से रूपक रूप से (metaphorically) जुड़ने में भी सक्षम होना चाहिए (Convergent)।

यह एक कवि को 10 पूरी तरह से अलग कविताएँ लिखने के लिए कहने जैसा है, लेकिन हर कविता गुप्त रूप से एक विशिष्ट, जटिल मशीन के बारे में होनी चाहिए। यदि AI यह कर सकता है, तो यह साबित करता है कि वह एक ही समय में जंगली (wild) और तार्किक (logical) दोनों तरह से सोच सकता है।

3. परिणाम

जब उन्होंने इस नए DRAT टूल का परीक्षण किया:

यह काम कर गया! यह पहला परीक्षण था जो सफलतापूर्वक भविष्यवाणी कर सका कि कौन से AI मॉडल वैज्ञानिक विचार देने में अच्छे हैं।
यह केवल हिस्सों का योग नहीं था: शोधकर्ताओं ने यह देखने के लिए पुराने "तोड़" (smash) परीक्षण और पुराने "जोड़ने" (screw) परीक्षण को मिलाने का प्रयास किया कि क्या वह काम करेगा। ऐसा नहीं हुआ। नए DRAT टूल ने कुछ ऐसा विशेष किया जो दो पुराने उपकरणों के अकेले करने में सक्षम नहीं थे। इसने साबित किया कि वैज्ञानिक रचनात्मकता को मापने के लिए, आपको जंगली और तार्किक होने की क्षमता का एक साथ परीक्षण करना होगा।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि हम AI रचनात्मकता को ग्रेड देने के लिए पुराने मानव परीक्षणों का उपयोग नहीं कर सकते।

यदि आप जानना चाहते हैं कि क्या कोई AI कहानियां लिखने में अच्छा है, तो "डाइवर्जेंट एसोसिएशन टास्क" (अजीब शब्द सूची) का उपयोग करें।
यदि आप जानना चाहते हैं कि क्या कोई AI डाइवर्जेंट थिंकिंग (कई विकल्प सूचीबद्ध करना) में अच्छा है, तो "कंडीशनल डाइवर्जेंट एसोसिएशन टास्क" का उपयोग करें।
लेकिन यदि आप जानना चाहते हैं कि क्या कोई AI नया विज्ञान आविष्कार कर सकता है, तो आपको नए DRAT परीक्षण की आवश्यकता है, क्योंकि यह जांचता है कि क्या मशीन एक ही समय में जंगली कल्पनाशील और तार्किक रूप से जुड़ी हुई है।

संक्षेप में: एक रोबोट की वैज्ञानिक प्रतिभा को मापने के लिए, आपको एक ऐसे परीक्षण की आवश्यकता है जो उसे एक पतली रस्सी पर चलते हुए (convergence) आग के साथ करतब दिखाने (divergence) के लिए मजबूर करे। पुराने परीक्षणों ने तो केवल एक ही चीज़ करने के लिए कहा था।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स (LLMs) की रचनात्मकता का आकलन करना

समस्या विवरण (Problem Statement)
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन के लिए मानव रचनात्मकता परीक्षणों (human creativity tests) के उपयोग में स्थापित वैधता (validity) के अभाव को संबोधित करता है। हालांकि LLMs को अभिसारी सोच (convergent thinking - एक सही उत्तर खोजना) और अपसारी सोच (divergent thinking - अद्वितीय प्रतिक्रियाएं उत्पन्न करना) को मापने वाले परीक्षणों के माध्यम से आंकना एक सामान्य अभ्यास है, लेकिन मशीनों में वास्तविक रचनात्मक उपलब्धि (creative achievement) की भविष्यवाणी करने की उनकी क्षमता अभी तक सिद्ध नहीं हुई है। इसके अलावा, मौजूदा परीक्षण अक्सर सामान्य मॉडल क्षमता (general model capability) और विशिष्ट रचनात्मक क्षमता के बीच अंतर करने में विफल रहते हैं, और वे विभिन्न रचनात्मक डोमेन में असंगत प्रदर्शन दिखाते हैं। विशेष रूप से, जबकि LLMs में रचनात्मक लेखन और वैज्ञानिक विचारोत्तेजना (scientific ideation) के स्कोर समय के साथ बढ़े हैं, अपसारी सोच के स्कोर में गिरावट आई है, जो यह सुझाव देता है कि वर्तमान मूल्यांकन मेट्रिक्स मशीन रचनात्मकता के पूर्ण स्पेक्ट्रम को कैप्चर नहीं कर पा रहे हैं या वे सामान्य क्षमता के साथ मिश्रित हो सकते हैं।

कार्यप्रणाली (Methodology)
लेखकों ने 10 प्रदाताओं के 54 इंस्ट्रक्शन-ट्यून्ड (instruction-tuned) LLMs को शामिल करते हुए एक बड़े पैमाने पर, व्यवस्थित अध्ययन किया। उन्होंने तीन लक्षित कंस्ट्रक्ट्स (constructs) में फैले छह बेंचमार्क के विरुद्ध मौजूदा स्वचालित रचनात्मकता परीक्षणों का मूल्यांकन किया:

रचनात्मक लेखन (Creative Writing): चैटबॉट एरिना क्रिएटिव राइटिंग, ईक्यू-बेंच (EQ-Bench) क्रिएटिव राइटिंग, और मेज़र (Mazur) क्रिएटिव राइटिंग।
अपसारी सोच (Divergent Thinking): हाइवमाइंड (Hivemind) और नोवेल्टीबेंच (NoveltyBench)।
वैज्ञानिक विचारोत्तेजना (Scientific Ideation): लाइवआइडियाबेंच (LiveIdeaBench)।

परीक्षण प्रभावशीलता का कठोरता से आकलन करने के लिए, लेखकों ने दो मूल्यांकन मेट्रिक्स पेश किए:

वैधता (Validity): एक टेस्ट स्कोर और एक बेंचमार्क स्कोर के बीच का कच्चा पियर्सन सहसंबंध ( $r$ )।
विशिष्टता (Specificity): एक टेस्ट स्कोर और एक बेंचमार्क के बीच का सेमी-पार्टियल सहसंबंध ( $r|g$ ), बेंचमार्क स्कोर को एक सामान्य क्षमता प्रॉक्सी ( $g$ ) पर रेसिडुअलाइज (residualize) करने के बाद, जहाँ $g$ को एरिना ओवरऑल एलो (Arena Overall Elo) और एमएमएलयू-प्रो (MMLU-Pro) सटीकता के संयोजन के रूप में परिभाषित किया गया है। यह मीट्रिक रचनात्मक उपलब्धि के उस विचरण (variance) को अलग करता है जो पहले से ही सामान्य मॉडल क्षमताओं द्वारा समझाया जा चुका है।

अध्ययन ने एक सैद्धांतिक ऊपरी सीमा (the "validity-specificity frontier") को भी सिद्ध किया, जो किसी टेस्ट द्वारा प्राप्त की जा सकने वाली अधिकतम विशिष्टता के लिए है, जो उसकी वैधता और सामान्य क्षमताओं के साथ बेंचमार्क के सहसंबंध पर निर्भर करती है।

मुख्य योगदान (Key Contributions)

व्यवस्थित मूल्यांकन: तीन अलग-अलग कंस्ट्रक्ट्स में मशीन रचनात्मक उपलब्धि के लिए मानव रचनात्मकता परीक्षणों की भविष्य कहने वाली शक्ति (predictive power) का आकलन करने वाला पहला बड़े पैमाने का अध्ययन।
मूल्यांकन ढांचा: "विशिष्टता" (specificity) को एक महत्वपूर्ण मीट्रिक के रूप में पेश करना ताकि यह सुनिश्चित किया जा सके कि रचनात्मकता परीक्षण सामान्य बुद्धिमत्ता/क्षमता से स्वतंत्र रचनात्मक क्षमता को मापते हैं।
सैद्धांतिक सीमाएं (Theoretical Bounds): एक प्रमाण जो किसी भी रचनात्मकता परीक्षण की संयुक्त वैधता और विशिष्टता के लिए सैद्धांतिक सीमा (frontier) स्थापित करता है।
मौजूदा परीक्षणों पर अनुभवजन्य निष्कर्ष (Empirical Findings):
- डाइवर्जेंट एसोसिएशन टास्क (DAT), रचनात्मक लेखन का सबसे अच्छा भविष्यवक्ता है।
- कंडीशनल DAT (CDAT), अपसारी सोच का सबसे अच्छा भविष्यवक्ता है।
- कोई भी मौजूदा परीक्षण विश्वसनीय रूप से वैज्ञानिक विचारोत्तेजना की भविष्यवाणी नहीं करता है।
- PACE (पैरेलल एसोसिएशन चेन इवैल्यूएशन) जैसे परीक्षण उच्च वैधता लेकिन निम्न विशिष्टता दिखाते हैं, जो यह संकेत देते हैं कि वे काफी हद तक सामान्य क्षमता के प्रॉक्सी के रूप में कार्य करते हैं न कि स्वतंत्र रूप से रचनात्मकता को मापने के लिए।
नया टेस्ट प्रस्ताव (DRAT): डाइवर्जेंट रिमोट एसोसिएशन टेस्ट (DRAT) का परिचय, जो एक अभिनव उपकरण है जो अभिसारी और अपसारी सोच दोनों का एक साथ मूल्यांकन करता है।

परिणाम (Results)

कंस्ट्रक्ट विशिष्टता (Construct Specificity): अध्ययन में पाया गया कि कोई भी एकल टेस्ट तीनों कंस्ट्रक्ट्स की अच्छी भविष्यवाणी नहीं करता है। एक टेस्ट की प्रभावशीलता इस बात पर अत्यधिक निर्भर है कि वह किस विशिष्ट कंस्ट्रक्ट को माप रहा है।
वैज्ञानिक विचारोत्तेजी अंतराल (Scientific Ideation Gap): मौजूदा परीक्षण, जिनमें नवीनता (novelty) और उपयुक्तता (appropriateness) दोनों को मापने वाले परीक्षण (जैसे CDAT) शामिल हैं, वैज्ञानिक विचारोत्तेजी के लिए महत्वपूर्ण वैधता या विशिष्टता प्राप्त करने में विफल रहे।
DRAT का प्रदर्शन: DRAT, जिसमें ऐसे शब्द उत्पन्न करने की आवश्यकता होती है जो एक-दूसरे से अधिकतम भिन्न हों (अपसारी) जबकि वे कई एंकर शब्दों के लिए रूपकात्मक रूप से लागू हों (अभिसारी), ने वैज्ञानिक विचारोत्तेजी की भविष्यवाणी करने में महत्वपूर्ण वैधता ( $r = +0.57$ ) और विशिष्टता ( $r|g = +0.50$ ) प्राप्त की।
गैर-रेखीय आवश्यकता (Non-Linear Necessity): प्रतिगमन विश्लेषण (Regression analysis) ने दिखाया कि DRAT की भविष्य कहने वाली शक्ति को अलग-अलग DAT और रिमोट एसोसिएट्स टेस्ट (RAT) के लीनियर कॉम्बिनेशन से प्राप्त नहीं किया जा सकता है। यह इंगित करता है कि वैज्ञानिक रचनात्मकता की भविष्यवाणी करने के लिए एक ही उपकरण के भीतर अभिसारी और अपसारी सोच का आकलन करना आवश्यक है।
मजबूती (Robustness): DRAT का प्रदर्शन विभिन्न एम्बेडिंग मॉडल्स और एंकर सेट साइज केAcross मजबूत रहा, जहाँ वैज्ञानिक शब्दों ने कॉन्सेप्टनेट (ConceptNet) के यादृच्छिक संज्ञाओं की तुलना में बेहतर परिणाम दिए।

महत्व और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि यह इस बात का पहला कठोर प्रमाण प्रदान करता है कि मानव रचनात्मकता परीक्षण मशीन रचनात्मकता मूल्यांकन के लिए समान रूप से अनुवादित नहीं होते हैं। यह तर्क देता है कि:

वर्तमान परीक्षण अक्सर रचनात्मकता को सामान्य क्षमता के साथ मिला देते हैं, जिसके लिए विशिष्टता मेट्रिक्स का उपयोग करना आवश्यक है।
बेहतर परीक्षणों को डिजाइन करने के लिए पर्याप्त "हेडरूम" (headroom) मौजूद है, क्योंकि मौजूदा परीक्षण सैद्धांतिक वैधता-विशिष्टता सीमा (validity-specificity frontier) से काफी नीचे हैं।
LLMs में वैज्ञानिक रचनात्मकता के लिए एक विशिष्ट प्रकार के संज्ञानात्मक मूल्यांकन की आवश्यकता होती है जो अभिसारी और अपसारी सोच को एकीकृत करता है, जिसे DRAT द्वारा भरा गया है।
DRAT पहला ऐसा टेस्ट है जो वैज्ञानिक विचारोत्तेजी क्षमता की महत्वपूर्ण भविष्यवाणी करता है, जो शोधकर्ताओं को AI सिस्टम में वैज्ञानिक रचनात्मकता का मूल्यांकन करने और संभावित रूप से सुधारने के लिए एक नया उपकरण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि उनके निष्कर्ष विशिष्ट रचनात्मक कंस्ट्रक्ट्स के लिए उपयुक्त परीक्षणों के चयन पर व्यावहारिक मार्गदर्शन प्रदान करते हैं और AI में वैज्ञानिक रचनात्मकता के मापन को आगे बढ़ाने के लिए एक नई कार्यप्रणाली का प्रस्ताव करते हैं।

1. समस्या: गलत पैमाने का उपयोग करना

2. समाधान: एक नया हाइब्रिड टेस्ट (DRAT)

3. परिणाम

मुख्य निष्कर्ष

इसी तरह के और पेपर