CREATE: Testing LLMs for Associative Creativity

यहाँ शोध पत्र "CREATE: Testing LLMs for Associative Creativity" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में एक महत्वपूर्ण अंतराल को संबोधित करता है: "एसोसिएटिव क्रिएटिविटी" (associative creativity) को वस्तुनिष्ठ रूप से कैसे मापा जाए। जबकि रचनात्मकता वैज्ञानिक खोज, परिकल्पना निर्माण और समस्या समाधान के लिए केंद्रीय है, मौजूदा बेंचमार्क अक्सर इसे पकड़ने में विफल रहते हैं।

• वर्तमान बेंचमार्क की सीमाएँ: वास्तविक दुनिया के रचनात्मक कार्य व्यक्तिपरक होते हैं और उन्हें बड़े पैमाने पर मूल्यांकित करना कठिन होता है। इसके विपरीत, प्रतीकात्मक या अमूर्त कार्य (जैसे "ईंट" और "बोतल" के बीच संबंध खोजना) LLMs के लिए बहुत आसान हैं क्योंकि उनके पास विशाल प्रशिक्षण डेटा है और वे वास्तविक दुनिया के तर्क की जटिलता को नहीं दर्शाते हैं।
• मुख्य चुनौती: लेखक इस समस्या को वास्तविक दुनिया की अवधारणाओं के बीच नवीन लेकिन अर्थपूर्ण संबंध उत्पन्न करने की क्षमता के रूप में परिभाषित करते हैं। इसके लिए ऐसे पथों (paths) को खोजने के लिए एक विशाल खोज स्थान (search space) को नेविगेट करने की आवश्यकता है जो उच्च-गुणवत्ता (विशिष्ट, तथ्यात्मक, मजबूत) और विविध (अन्य उत्पन्न पथों से भिन्न) दोनों हों।

2. कार्यप्रणाली: CREATE बेंचमार्क (Methodology: The CREATE Benchmark)

लेखक CREATE (Connecting Real-world Entities via Associative Thinking) पेश करते हैं, जो वास्तविक दुनिया के नॉलेज ग्राफ का उपयोग करके ओपन-एंडेड एसोसिएटिव रीजनिंग पर LLMs का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है।

A. कार्य संरचना (Task Formulation)

• इनपुट: दो विशिष्ट संस्थाओं (entities) के बीच संबंधों के बारे में पूछने वाला एक प्राकृतिक भाषा का प्रश्न (जैसे, "डकोटा जॉनसन का उन लोगों से क्या संबंध है जिन्होंने फैंटेसी/साइ-फाई फिल्में की हैं?")।
• आउटपुट: शुरुआती संस्था से लक्ष्य स्थिति तक जोड़ने वाले पथों (triples की श्रृंखला) का एक सेट।
• बाधाएं (Constraints): पथ संरचनात्मक रूप से वैध (entities की निरंतर श्रृंखला) और तथ्यात्मक रूप से सही होने चाहिए।

B. डेटा निर्माण (Data Construction)

• स्रोत: Wikidata।
• प्रक्रिया: लेखकों ने मैन्युअल रूप से 12 विविध संबंध-श्रेणी युग्मों (जैसे, cast member, Goodfellas) का चयन किया। उन्होंने निम्नलिखित द्वारा प्रश्न उत्पन्न किए:
  1. एक क्लास से दो संस्थाओं का चयन करना (जैसे, Goodfellas के दो अभिनेता)।
  2. एक संस्था को एक अतिरिक्त सूचनात्मक 'हॉप' (hop) के साथ विस्तारित करना (जैसे, अभिनेता A $\to$ व्यवसाय $\to$ चित्रकार)।
  3. पहली संस्था को विस्तारित संस्था के गुण से जोड़ते हुए एक प्रश्न तैयार करना।
• डेटासेट का आकार: मूवीज, राजनीति, जीन और केमिस्ट्री जैसे डोमेन को कवर करने वाले 931 प्राकृतिक भाषा के प्रश्न।

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

लेखक गुणवत्ता (Quality) और विविधता (Diversity) के आधार पर रचनात्मकता को मापने के लिए एक एकीकृत ढांचा प्रस्तावित करते हैं।

1. गुणवत्ता ($f(u)$):
   • विशिष्टता (Specificity) पर आधारित: एक पथ तब मजबूत होता है जब उसके संबंध अनन्य (exclusive) हों (जैसे, "नागरिक" की तुलना में "सौतेली बेटी" अधिक विशिष्ट है)।
   • इसे पथ के सबसे कमजोर ट्रिपल की विशिष्टता के रूप में गणना की जाती है।
   • तथ्यात्मकता एक बाइनरी गेट है ($q(u)=1$ यदि सभी ट्रिपल सत्य हैं)।
2. दूरी ($d(u_i, u_j)$):
   • पथों के स्ट्रिंग एम्बेडिंग्स के कोसाइन डिस्टेंस (cosine distance) के माध्यम से मापा जाता है।
   • एक ट्रांसफॉर्मेशन फंक्शन दूरियों को पुनर्गठित करता है ताकि मामूली पैराफ्रेसिंग को दंडित किया जा सके और विशिष्ट वैचारिक छलांगों को पुरस्कृत किया जा सके।
3. क्रिएटिव यूटिलिटी ($s(U)$):
   • गुणवत्ता और विविधता को संयोजित करने वाला एक एकीकृत मीट्रिक, जो सबमॉड्यूलर फंक्शन्स (submodular functions) से प्रेरित है।
   • सूत्र: $s(U) = \max_{\tau} \sum \gamma^{i-1} f(u_{\tau(i)}) \min_{j<i} d(u_{\tau(i)}, u_{\tau(j)})$।
   • पेशेंस ($\gamma$): मात्रा और गुणवत्ता के बीच संतुलन को नियंत्रित करने वाला एक पैरामीटर। कम $\gamma$ उच्च-गुणवत्ता वाले एकल पथों को प्राथमिकता देता है; उच्च $\gamma$ बड़े, विविध सेटों को पुरस्कृत करता है।
4. विशिष्टता ($\nu$ - Distinctiveness): यह मापता है कि मॉडल का सर्वश्रेष्ठ आउटपुट "जनसंख्या" (सभी मॉडल आउटपुट) से कितना अलग है, जो ऐतिहासिक नवीनता को पकड़ता है।

3. मुख्य योगदान (Key Contributions)

1. CREATE बेंचमार्क: एक नया, ज्ञान-आधारित बेंचमार्क जो अमूर्त प्रतीकात्मक तर्क और व्यक्तिपरक वास्तविक दुनिया की रचनात्मकता के बीच के अंतर को पाटता है। यह सत्यापन योग्य (नॉलेज ग्राफ के माध्यम से) है लेकिन इतना जटिल है कि फ्रंटियर मॉडल्स को चुनौती दे सके।
2. रचनात्मकता के लिए एकीकृत मीट्रिक: क्रिएटिव यूटिलिटी मेट्रिक का परिचय, जो गणितीय रूप से अन्य उत्पन्न विचारों के सापेक्ष एक संबंध की मजबूती और उसकी विशिष्टता को संतुलित करता है।
3. "थिंकिंग" मॉडल्स का अनुभवजन्य विश्लेषण: यह कठोरता से परीक्षण करना कि क्या "चेन-ऑफ-थॉट" (CoT) या "थिंकिंग" मॉडल्स (जो रीजनिंग के लिए अधिक टोकन खर्च करते हैं) वास्तव में रचनात्मक प्रदर्शन में सुधार करते हैं।
4. प्रॉम्प्टिंग हस्तक्षेप (Prompting Interventions): यह देखने के लिए रणनीतियों का मूल्यांकन कि क्या वे बेहतर एसोसिएटिव रीजनिंग को अनलॉक कर सकती हैं: "Be Creative", "Verbalized Sampling", और "Iterative Regeneration"।

4. परिणाम (Results)

लेखकों ने फ्रंटियर मॉडल्स (GPT-4.1, GPT-5, Claude-3/4, Gemini-3, Qwen, OLMo) का मूल्यांकन किया और पाया:

• फ्रंटियर मॉडल्स अग्रणी हैं: सबसे मजबूत मॉडल (GPT-5, Gemini-3-Pro) उच्चतम क्रिएटिव यूटिलिटी स्कोर प्राप्त करते हैं, जो उच्च-गुणवत्ता और विविध पथ दोनों उत्पन्न करते हैं।
• "थिंकिंग" विरोधाभास (The "Thinking" Paradox): तर्क प्रयास (टोकन बजट) बढ़ाने से जरूरी नहीं कि उच्च रचनात्मकता स्कोर मिले।
  • "थिंकिंग" मॉडल अक्सर गैर-थिंकिंग मॉडल्स की तरह ही समान संस्थाओं और संबंधों की खोज करते हैं, लेकिन अधिक दोहराव के साथ।
  • केवल अधिक कंप्यूट खर्च करने से "सुई को घास के ढेर में ढूंढने" (अत्यधिक विशिष्ट, अस्पष्ट कनेक्शन) की गारंटी नहीं मिलती।
• प्रॉम्प्टिंग की सीमाएँ:
  • इटरेटिव/रीसैंपलिंग (Iterative/Resampling): पिछले उत्तरों को देखने के बाद मॉडल को अलग उत्तर उत्पन्न करने के लिए कहना (Iterative) या रीसैंपलिंग (Resample) यूटिलिटी में सबसे अच्छा सुधार लाता है।
  • "Be Creative" निर्देश: मॉडल को केवल "रचनात्मक होने" के लिए कहना नगण्य प्रभाव डालता है।
  • वर्बलाइज्ड सैंपलिंग (Verbalized Sampling): मॉडल से उनकी संभाव्यता वितरण (probability distributions) आउटपुट करने के लिए कहने से वैध पथों की संख्या काफी कम हो गई।
• गुणवत्ता बनाम तथ्यात्मकता ट्रेड-ऑफ:
  • Gemini-3-Pro जैसे मॉडल अत्यधिक विविध पथ उत्पन्न करते हैं लेकिन उनकी तथ्यात्मकता कम होती है।
  • GPT-5 एक बेहतर संतुलन बनाए रखता है, सख्त तथ्यात्मकता बाधाओं के तहत भी उच्च यूटिलिटी प्राप्त करता है, जबकि ओपन-सोर्स मॉडल सख्त तथ्यात्मकता लागू होने पर प्रदर्शन में काफी गिरावट दिखाते हैं।
• विशिष्टता (Distinctiveness): शीर्ष मॉडल भी अन्य मॉडल्स की "जनसंख्या" से वास्तव में भिन्न पथ उत्पन्न करने में संघर्ष करते हैं, जो वर्तमान LLM रचनात्मकता में एक सीमा (ceiling) का सुझाव देता है।

5. महत्व (Significance)

• रिट्रीवल से परे: शोध पत्र यह प्रदर्शित करता है कि एसोसिएटिव क्रिएटिविटी केवल एक रिट्रीवल कार्य नहीं है, बल्कि एक संरचित खोज समस्या है जिसके लिए डाइवर्जेंट थिंकिंग (कई पथों की खोज) और कन्वर्जेंट थिंकिंग (मजबूत लिंक खोजने के लिए छंटनी) की आवश्यकता होती है।
• वर्तमान AI की सीमाएँ: परिणाम बताते हैं कि वर्तमान स्केलिंग लॉ (अधिक टोकन = बेहतर तर्क) रचनात्मक कार्यों के लिए घटते प्रतिफल (diminishing returns) रखते हैं। मानव ज्ञान का "खोज स्थान" वर्तमान मॉडल्स के लिए बहुत विशाल है जिसे बिना विशिष्ट आर्किटेक्चरल या प्रशिक्षण नवाचारों के कुशलतापूर्वक नेविगेट किया जा सके।
• भविष्य की दिशाएँ: यह बेंचमार्क LLMs की एसोसिएटिव रचनात्मकता की क्षमता में सुधार के लिए नए तरीकों को विकसित करने हेतु एक "सैंडबॉक्स" प्रदान करता है, जो वैज्ञानिक खोज, परिकल्पना निर्माण और स्वचालित अनुसंधान जैसे अनुप्रयोगों के लिए आवश्यक है।
• जिम्मेदार AI: लेखक इस बात पर जोर देते हैं कि जबकि ये उपकरण मानव रचनात्मकता को बढ़ा सकते हैं, रचनात्मक प्रक्रियाओं को पूरी तरह से स्वचालित करने से नौकरी विस्थापन और रचनात्मक आउटपुट के एकरूपता (homogenization) के जोखिम जुड़े हैं।

संक्षेप में, CREATE LLM रचनात्मकता को मापने के लिए एक कठोर, वस्तुनिष्ठ मानक स्थापित करता है, जो यह प्रकट करता है कि हालांकि फ्रंटियर मॉडल्स सक्षम हैं, फिर भी उनमें महत्वपूर्ण मानवीय मार्गदर्शन या आर्किटेक्चरल बदलावों के बिना वास्तव में नवीन और विशिष्ट जुड़ाव उत्पन्न करने की क्षमता की कमी है।