Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
यह शोध पत्र एक स्केलेबल, डोमेन-अज्ञेय (domain-agnostic) ढांचे को प्रस्तुत करता है जो विचलित नवीनता (divergent novelty) को मापने के लिए सिमेंटिक एंट्रॉपी को कन्वर्जेंट कार्य पूर्ति (convergent task fulfilment) का आकलन करने वाले रिट्रीवल-आधारित मल्टी-एजेंट जज के साथ जोड़कर, ओपन-एंडेड कार्यों में लार्ज लैंग्वेज मॉडल की रचनात्मकता को परिमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टैलेंट स्काउट (प्रतिभा खोजकर्ता) हैं जो यह आंकने की कोशिश कर रहे हैं कि नए AI लेखक, आविष्कारक और समस्या-समाधानकर्ता कितने "रचनात्मक" (creative) हैं। अतीत में, रचनात्मकता को आंकना एक पेंटिंग को स्केल (रूलर) से मापने जैसा था: यह अव्यवस्थित था, इसके लिए हर एक कृति के लिए एक मानव विशेषज्ञ की आवश्यकता होती थी, और यह केवल कला के विशिष्ट प्रकारों पर ही काम करता था।
यह शोध पत्र एक नया, स्वचालित "क्रिएटिविटी स्कोरकार्ड" पेश करता है जो किसी भी प्रकार के ओपन-एंडेड कार्य के लिए काम करता है, जैसे कि किसी पहेली को हल करना या कहानी लिखना। लेखक रचनात्मकता को दो अलग-अलग सुपरपावर्स में विभाजित करते हैं और उन्हें अलग-अलग मापते हैं: डाइवर्जेंट थिंकिंग (Divergent Thinking) (कई अलग-अलग विचार सोचने की क्षमता) और कन्वर्जेंट थिंकिंग (Convergent Thinking) (सबसे अच्छे विचार को चुनने और उसे सफल बनाने की क्षमता)।
यहाँ उनका सिस्टम कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए दिया गया है:
1. "सपनों" को मापना (डाइवर्जेंट क्रिएटिविटी)
समस्या: आप यह कैसे जानेंगे कि एक AI केवल अलग शब्दों में एक ही विचार को दोहरा रहा है, या वह वास्तव में नए क्षेत्रों की खोज कर रहा है?
पुराना तरीका: शब्दों को गिनना या यह देखना कि वाक्य सतही तौर पर कैसे दिखते हैं। यह एक शेफ को इस आधार पर आंकने जैसा है कि वह "सूप" का वर्णन करने के लिए कितने अलग शब्दों का उपयोग करता है, भले ही उन सबका स्वाद एक जैसा ही हो।
नया तरीका (सिमेंटिक एंट्रॉपी): लेखक सिमेंटिक एंट्रॉपी (Semantic Entropy) नामक एक अवधारणा का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि आप एक AI से पूछते हैं, "मैं नदी पार कैसे करूँ?"
- एक कम-रचनात्मकता वाला AI कह सकता है: "पुल बनाओ," "पुल बनाओ," "पुल का निर्माण करो।" ये अलग दिखते हैं लेकिन इनका अर्थ बिल्कुल एक ही है। यहाँ "एंट्रॉपी" (विविधता) कम है।
- एक उच्च-रचनात्मकता वाला AI कह सकता है: "पुल बनाओ," "ड्रोन उड़ाकर पार करो," "बेलों को आपस में बांधो," "पानी के जमने का इंतज़ार करो।" ये वास्तव में अलग रास्ते हैं। यहाँ "एंट्रॉपी" अधिक है।
- परिणाम: यह विधि एक "वैरायटी मीटर" (विविधता मापने वाले यंत्र) की तरह काम करती है। यह सतही शब्द परिवर्तनों को अनदेखा करती है और यह मापती है कि AI कितने अलग-अलग वैचारिक दिशाओं की खोज करता है। शोध पत्र में पाया गया कि यह मीटर पिछले तरीकों की तुलना में उस चीज़ से कहीं बेहतर मेल खाता है जिसे मनुष्य "रचनात्मक" मानते हैं।
2. "करने" को मापना (कन्वर्जेंट क्रिएटिविटी)
समस्या: जंगली विचार पैदा करना आसान है; यह सुनिश्चित करना कि वे विचार वास्तव में समस्या को हल करें, कठिन है। एक AI नदी पार करने के लिए "ड्रैगन उड़ाने" का सुझाव दे सकता है, जो रचनात्मक तो है लेकिन बेकार है।
पुराना तरीका: एक एकल AI जज या किसी इंसान द्वारा उत्तर को पढ़ना। यह धीमा, महंगा और स्केल करने में कठिन है।
नया तरीका (द रिट्रीवल-बेस्ड मल्टी-एजेंट टीम): लेखकों ने विशेषज्ञ AI "जजों" की एक टीम बनाई है जो मिलकर काम करती है, लेकिन इसमें समय और पैसा बचाने के लिए एक ट्विस्ट दिया गया है।
- उपमा: कल्पना कीजिए कि विशेषज्ञों का एक पैनल (एक सुरक्षा अधिकारी, एक व्यवहार्यता विशेषज्ञ और एक कहानी आलोचक) एक प्रोजेक्ट की समीक्षा कर रहा है।
- पुराना तरीका: हर बार जब वे बोलते हैं, तो वे बातचीत के पूरे इतिहास को शुरू से पढ़ते हैं। यह एक ऐसी मीटिंग की तरह है जहाँ हर कोई बोलने से पहले पिछले 100 पन्नों के नोट्स को फिर से पढ़ता है। यह बहुत बड़ा और महंगा हो जाता है।
- नया तरीका: टीम एक "स्मार्ट फाइलिंग सिस्टम" का उपयोग करती है। सब कुछ फिर से पढ़ने के बजाय, वे केवल उन विशिष्ट नोट्स को निकालते हैं जो वर्तमान में चर्चा किए जा रहे बिंदु के लिए प्रासंगिक हैं।
- परिणाम: यह "रिट्रीवल-बेस्ड" दृष्टिकोण कंप्यूटिंग लागत को 63% तक कम कर देता है, जबकि यह मानव विशेषज्ञों के समान ही सटीक रहता है। यह सुनिश्चित करता है कि AI केवल बकवास नहीं रच रहा है, बल्कि वास्तव में कार्य की आवश्यकताओं को पूरा कर रहा है।
3. बड़ी खोज: दो अलग कौशल
इस शोध पत्र की सबसे आश्चर्यजनक खोज यह है कि ये दो कौशल—सपना देखना (Dreaming) और करना (Doing)—अपने आप एक साथ विकसित नहीं होते हैं।
- उपमा: एक कार के बारे में सोचें। आपके पास एक बहुत शक्तिशाली इंजन (कन्वर्जेंट/कार्य पूर्ति) हो सकता है जो आपको गंतव्य तक पूरी तरह से पहुँचा देता है, लेकिन इसका मतलब यह नहीं है कि ड्राइवर ऑफ-रोड रास्तों की खोज करने में भी अच्छा है (डाइवर्जेंट/रचनात्मकता)।
- निष्कर्ष: जैसे-जैसे AI मॉडल निर्देशों का पालन करने में बड़े और स्मार्ट (कन्वर्जेंट) होते जाते हैं, वे जरूरी नहीं कि जंगली, नए विचारों की खोज करने में (डाइवर्जेंट) भी बेहतर होते जाएं। वास्तव में, सबसे बड़े, सबसे "सही" मॉडल कभी-कभी छोटे मॉडलों की तुलना में कम खोज करते हैं। शोध पत्र सुझाव देता है कि वर्तमान प्रशिक्षण AI को "सही" होने में बेहतर बनाता है, लेकिन आवश्यक रूप से अधिक "रचनात्मक" नहीं।
4. सिस्टम का परीक्षण
लेखकों ने इस फ्रेमवर्क का तीन बहुत अलग "प्लेग्राउंड्स" पर परीक्षण किया:
- मैकग्येवर (MacGyver): रोजमर्रा की वस्तुओं के साथ भौतिक समस्याओं को हल करना (जैसे, "मोजे से लीकेज कैसे ठीक करें?")।
- हाइपोजेन (HypoGen): नए वैज्ञानिक अनुसंधान विचार सोचना।
- बुकएमआईए (BookMIA): विशिष्ट शुरुआती और अंतिम बिंदुओं के साथ रचनात्मक कहानियाँ लिखना।
इन तीनों मामलों में, उनके सिस्टम ने सफलतापूर्वक मापा कि AI के विचार कितने "व्यापक" थे और अंतिम समाधान कितने "अच्छे" थे, जिससे यह सिद्ध हुआ कि यह विभिन्न प्रकार की रचनात्मकता पर काम करता है।
सारांश
यह शोध पत्र रचनात्मकता के लिए एक सार्वभौमिक, स्वचालित पैमाने के रूप में कार्य करता है। यह कई अद्वितीय विचार उत्पन्न करने की क्षमता को समस्या को सही ढंग से हल करने की क्षमता से अलग करता है। यह दिखाता है कि जबकि AI समस्याओं को हल करने में बेहतर हो रहा है, यह स्वाभाविक रूप से अधिक कल्पनाशील नहीं हो रहा है, और हमें उस विशिष्ट "रचनात्मक चिंगारी" को मापने और प्रोत्साहित करने के लिए नए उपकरणों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।