AGC-Bench: Measuring Artificial General Creativity
यह शोध पत्र AGC-Bench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क और मूल्यांकन ढांचा है जो कृत्रिम सामान्य रचनात्मकता (artificial general creativity) का एक एकीकृत मापन स्थापित करता है, जो सामान्य बुद्धिमत्ता से भिन्न एक एकल रचनात्मक कारक को प्रकट करता है और यह प्रदर्शित करता है कि शीर्ष मानव रचनाकार अभी भी वर्तमान अत्याधुनिक LLMs से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास परीक्षणों का एक विशाल पुस्तकालय है जिसे यह देखने के लिए बनाया गया है कि अलग-अलग लोग कितने "रचनात्मक" (creative) हैं। कुछ परीक्षण आपसे ईंट के नए उपयोग सोचने के लिए कहते हैं, कुछ आपको एक मज़ेदार चुटकुला लिखने के लिए कहते हैं, और कुछ आपको एक वैज्ञानिक पहेली हल करने के लिए कहते हैं। लंबे समय से, शोधकर्ता बहस कर रहे हैं: क्या रचनात्मकता एक बड़ी "सुपर-पावर" है जो आपको इन सभी चीजों में अच्छा प्रदर्शन करने में मदद करती है (जैसे गणित में अच्छा होना आपको भौतिकी में मदद कर सकता है), या यह अलग-अलग कौशलों का एक संग्रह है जहाँ आप एक महान कवि हो सकते हैं लेकिन इंजीनियरिंग में बहुत खराब हो सकते हैं?
अब, हमारे पास आर्टिफिशियल इंटेलिजेंस (AI) मॉडल हैं जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और चुटकुले सुना सकते हैं। लेकिन हमारे पास यह मापने का तरीका नहीं था कि एक AI की रचनात्मकता एक सामान्य सुपर-पावर है या केवल अलग-अलग चालों का एक समूह।
यह शोध पत्र AGC-Bench पेश करता है, जो AI के लिए एक विशाल नया "क्रिएटिविटी जिम" (creativity gym) है। उन्होंने क्या किया और क्या पाया, इसे सरल रूप में यहाँ समझाया गया है:
1. परम रचनात्मकता जिम का निर्माण
शोधकर्ताओं ने केवल एक नया परीक्षण नहीं बनाया। इसके बजाय, उन्होंने पुस्तकालयाध्यक्षों और जासूसों की तरह काम किया। उन्होंने AI के लिए बने हर एक रचनात्मक परीक्षण को खोजने के लिए 3,000 से अधिक वैज्ञानिक शोध पत्रों को स्कैन किया। उन शोध पत्रों के पहाड़ से, उन्होंने 78 विशिष्ट परीक्षण (जैसे कि एक "ब्रेनस्टॉर्मिंग" परीक्षण, एक "कहानी सुनाने" वाला परीक्षण, और एक "हास्य" परीक्षण) चुने और उन सभी को एक साथ चलाने के लिए एक एकीकृत प्रणाली बनाई।
इसे एक ही जिम बनाने जैसा समझें जिसमें एक ट्रेडमिल, एक वेट रैक, एक क्लाइंबिंग वॉल और एक स्विमिंग पूल है, जो एक ही एथलीट को मापने के लिए कैलिब्रेट किए गए हैं। उन्होंने इस जिम पर 83 अलग-अलग AI मॉडलों का परीक्षण किया।
2. "जज" की समस्या और नया रेफरी
जब आप एक AI को दूसरे AI के चुटकुले या कहानी को ग्रेड करने के लिए कहते हैं, तो AI जज पक्षपाती हो सकता है—कभी बहुत सख्त, तो कभी बहुत उदार। यह एक ऐसे रेफरी की तरह है जो एक टीम को पसंद करता है और दूसरी से नफरत करता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने जज रिस्पॉन्स थ्योरी (Judge Response Theory) नामक एक चतुर तकनीक का उपयोग किया। उन्होंने तीन अलग-अलग "सुपर-AI" रेफरी से प्रत्येक उत्तर को ग्रेड करवाया। फिर, उन्होंने गणित का उपयोग करके यह पता लगाया कि कौन सा रेफरी "सख्त कोच" था और कौन सा "उदार कोच" था। उन्होंने स्कोर को समायोजित किया ताकि सभी का निष्पक्ष रूप से मूल्यांकन किया जा सके। अंत में, उन्होंने एक नया, ओपन-सोर्स AI (जिसे AGC-Judge कहा जाता है) प्रशिक्षित किया जो एक आदर्श रेफरी के रूप में कार्य करता है जो इस निष्पक्ष पैनल की नकल करता है, ताकि बाद में कोई भी बिना तीन महंगे सुपर-AI के इसका उपयोग कर सके।
3. बड़ी खोज: क्या रचनात्मकता एक चीज़ है या कई?
यही इस शोध पत्र का मुख्य प्रश्न है। उन्होंने पूछा: यदि एक AI कहानियाँ लिखने में अच्छा है, तो क्या वह विज्ञान की समस्याओं को हल करने में भी स्वतः ही अच्छा होगा?
उत्तर: हाँ, अधिकतर।
जब उन्होंने स्कोर का विश्लेषण किया, तो उन्होंने पाया कि AI में रचनात्मकता एक एकल, शक्तिशाली इंजन की तरह कार्य करती है। वे इसे "C फैक्टर" कहते हैं (जैसे मनुष्यों में सामान्य बुद्धिमत्ता के लिए "g फैक्टर")।
- रूपक (Metaphor): कल्पना कीजिए कि रचनात्मकता एक टॉर्च की तरह है। यदि एक AI के पास एक चमकदार टॉर्च (उच्च "C") है, तो वह सभी अलग-अलग परीक्षणों पर चमकता है, चाहे वह कविता लिख रहा हो या चुटकुला बना रहा हो।
- आंकड़ा: इस एकल "C फैक्टर" ने मॉडलों के बीच के 81.5% अंतर को स्पष्ट किया। यदि आप जानते हैं कि एक AI किसी एक रचनात्मक कार्य पर कैसा प्रदर्शन करता है, तो आप भविष्यवाणी कर सकते हैं कि वह लगभग किसी भी अन्य रचनात्मक कार्य पर कैसा करेगा।
हालाँकि, ठीक वैसे ही जैसे एक इंसान गणितज्ञ से बेहतर लेखक हो सकता है, शीर्ष AI मॉडलों की भी हल्की प्राथमिकताएँ होती हैं। कुछ हास्य में थोड़े बेहतर थे, जबकि अन्य विज्ञान के विचारों में थोड़े बेहतर थे, लेकिन समग्र "क्रिएटिव इंजन" एक ही था।
4. क्या AI की रचनात्मकता केवल "तर्क" (Reasoning) का छद्म रूप है?
कुछ लोगों ने सोचा, "शायद AI रचनात्मक नहीं हो रहा है; यह बस तर्क और तथ्यों में बहुत अच्छा है।"
शोधकर्ताओं ने यह परीक्षण करने के लिए कि मॉडल "रचनात्मक" बनाम "तार्किक" होने के लिए कहें, उन्हें आजमाया।
- परिणाम: AI को "रचनात्मक होने" के लिए कहने से उसके स्कोर में "अपने तर्क वाले मस्तिष्क का उपयोग करने" के आदेश की तुलना में बहुत अधिक वृद्धि हुई। यह साबित करता है कि यह परीक्षण वास्तव में रचनात्मकता को माप रहा है, न कि केवल तर्क को।
5. मानव बनाम AI: कौन अधिक लचीला है?
उन्होंने AI के परिणामों की तुलना वास्तविक मनुष्यों के एक समूह से की जिन्होंने वही परीक्षण दिए।
- निष्कर्ष: मनुष्य बहुत "विशेषज्ञ" (specialized) होते हैं। एक इंसान जो कविता लिखने में बहुत अच्छा है, वह इंजीनियरिंग की पहेलियों को सुलझाने में बहुत अच्छा नहीं हो सकता है। उनकी रचनात्मकता अलग-अलग बकेटों (buckets) में विभाजित है।
- AI का अंतर: AI आश्चर्यजनक रूप से "सामान्य" (general) है। एक AI जो एक चीज़ में अच्छा है, वह आमतौर पर हर चीज़ में अच्छा होता है। यह मनुष्यों की तुलना में कम विशेषज्ञता वाला है।
- विजेता: भले ही AI अधिक लचीला है, लेकिन कमरे में मौजूद सबसे अच्छे इंसान ने सबसे कठिन कार्यों पर सबसे अच्छे AI को भी हरा दिया। शीर्ष मानव अभी भी शीर्ष AI से थोड़ा आगे था, लेकिन AI तेजी से बराबरी कर रहा है।
सारांश
इस शोध पत्र ने AI रचनात्मकता को मापने के लिए एक विशाल, निष्पक्ष और मानकीकृत खेल का मैदान बनाया। उन्होंने पाया कि AI रचनात्मकता एक एकल, सामान्य क्षमता है (एक सुपर-बैटरी की तरह) जो सभी प्रकार के रचनात्मक कार्यों में प्रदर्शन को शक्ति प्रदान करती है, न कि कई अलग-अलग कौशलों का एक समूह। हालांकि सबसे अच्छा AI अविश्वसनीय रूप से सर्वश्रेष्ठ मानव के करीब है, लेकिन शीर्ष मानव अभी भी ताज पहने हुए है, और मानव रचनात्मकता AI के "जैक-ऑफ-ऑल-ट्रेड्स" (हर काम में माहिर) दृष्टिकोण की तुलना में अधिक विशिष्ट है।
उन्होंने अपने सभी उपकरण, डेटा और "निष्पक्ष रेफरी" AI को जनता के लिए जारी कर दिया है ताकि अन्य लोग इन मॉडलों का परीक्षण और सुधार करना जारी रख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।