← नवीनतम पेपर
💻 computer science

The Human Creativity Benchmark

यह शोध पत्र ह्यूमन क्रिएटिविटी बेंचमार्क (HCB) को प्रस्तुत करता है, जो तकनीकी शुद्धता पर पेशेवर अभिसरण (convergence) और सौंदर्यपरक रुचि में विचलन (divergence) के बीच अंतर करता है ताकि यह तर्क दिया जा सके कि रचनात्मक AI का मूल्यांकन करने के लिए इन विशिष्ट संकेतों को एक एकल गुणवत्ता मीट्रिक में समाहित करने के बजाय उन्हें संरक्षित करना आवश्यक है।

मूल लेखक: Aspen Hopkins, Allison Nulty, Alexandria Minetti, Anoop Pakki, Angad Singh

प्रकाशित 2026-06-30
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Aspen Hopkins, Allison Nulty, Alexandria Minetti, Anoop Pakki, Angad Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "द ह्यूमन क्रिएटिविटी बेंचमार्क" (The Human Creativity Benchmark) पेपर की सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए व्याख्या दी गई है।

मुख्य विचार: "अच्छा" होना जटिल क्यों है

कल्प Imagine कीजिए कि आप एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) को जज करने की कोशिश कर रहे हैं।

  • "ऑब्जेक्टिव" (वस्तुनिष्ठ) जज: यह जज चेक करता है कि खाना वास्तव में पका है या नहीं, नमक डाला गया है या नहीं, और प्लेट टूटी तो नहीं है। इस पर हर कोई सहमत होता है। अगर स्टेक कच्चा है, तो वह फेल है।
  • "सब्जेक्टिव" (व्यक्तिपरक) जज: यह जज पूछता है, "क्या मुझे इसका स्वाद पसंद आया?" एक व्यक्ति को तीखा खाना पसंद हो सकता है, जबकि दूसरा इसे नापसंद कर सकता है। दोनों गलत नहीं हैं; बस उनकी पसंद अलग है।

समस्या: आज के अधिकांश AI टेस्ट ऐसे काम करते हैं जैसे उनके पास केवल "ऑब्जेक्टिव" जज हो। वे सभी को एक ही स्कोर पर सहमत होने के लिए मजबूर करने की कोशिश करते हैं (जैसे, "यह AI 8/10 है")। इस पेपर के लेखक कहते हैं कि रचनात्मक कार्यों (जैसे विज्ञापन, वेबसाइट या वीडियो बनाना) में, यह दृष्टिकोण गलत है। यह डेटा के सबसे महत्वपूर्ण हिस्से को फेंक देता है: यह तथ्य कि लोगों की पसंद पर अलग-अलग राय होनी चाहिए।

समाधान: रचनात्मकता का "मार्टिनी" (The "Martini" of Creativity)

लेखक AI को टेस्ट करने का एक नया तरीका प्रस्तावित करते हैं जिसे ह्यूमन क्रिएटिविटी बेंचमार्क (HCB) कहा जाता है। वे रचनात्मक प्रक्रिया को एक तिरछे मार्टिनी ग्लास (पेपर के चित्र 1 को देखें) के रूप में देखते हैं:

  1. चौड़ा हिस्सा (Ideation - विचार मंथन): शुरुआत में, आप बहुत सारे जंगली और अलग-अलग विचारों को चाहते हैं। यह वह जगह है जहाँ "डाइवर्जेंस" (अलग-अलग राय) अच्छी होती है।
  2. सिकुड़ता हुआ हिस्सा (Mockup - नमूना बनाना): आप सबसे अच्छे विचारों को चुनना शुरू करते हैं और उन्हें वास्तविक रूप देते हैं।
  3. डंठल (Refinement - परिष्करण): अंत में, आप अंतिम उत्पाद को पॉलिश करते हैं। यहाँ, आपको तकनीकी विवरणों जैसे स्पेलिंग, लेआउट और क्या उत्पाद वास्तव में काम करता है, इस पर "कन्वर्जेंस" (सबकी सहमति) की आवश्यकता होती है।

उन्होंने इसका परीक्षण कैसे किया

यह पूछने के बजाय कि "क्या यह AI अच्छा है?", उन्होंने पेशेवर क्रिएटिव्स (डिजाइनर, वीडियो एडिटर, कोडर) से AI आउटपुट का तीन विशिष्ट तरीकों से मूल्यांकन करने के लिए कहा:

  1. प्रॉम्प्ट अडहेरेंस (Prompt Adherence): क्या AI ने ठीक वही किया जो उसे बताया गया था? (जैसे एक रेसिपी का पालन करने वाला)।
  2. यूजेबिलिटी (Usability): क्या वास्तव में इसका उपयोग वास्तविक काम में किया जा सकता है? (क्या टेक्स्ट पढ़ने योग्य है? क्या बटन क्लिक करने योग्य है?)।
  3. विजुअल अपील (Visual Appeal): क्या यह सुंदर है? (यहीं पर 'टेस्ट' या पसंद का मामला आता है)।

उन्होंने पांच अलग-अलग क्षेत्रों के विशेषज्ञों से 15,000 निर्णयों के माध्यम से यह टेस्ट चलाया: लैंडिंग पेज, डेस्कटॉप ऐप्स, विज्ञापन इमेज, ब्रांड इमेज और प्रोडक्ट वीडियो।

उन्हें क्या मिला (The "Aha!" Moments)

1. सहमति बनाम असहमति अलग संकेत हैं

  • कन्वर्जेंस (सहमति): जब AI कोई गलती करता है (जैसे अपठनीय टेक्स्ट या खराब लेआउट), तो सभी विशेषज्ञ सहमत होते हैं कि यह बुरा है। जब AI नियमों का पूरी तरह से पालन करता है, तो वे भी सहमत होते हैं कि यह अच्छा है।
  • डाइवर्जेंस (असहमति): जब AI तकनीकी रूप से सही होता है, तो विशेषज्ञ अपनी पसंद (taste) के आधार पर असहमत होने लगते हैं। एक विशेषज्ञ कह सकता है, "यह विज्ञापन लग्जरी फैशन जैसा दिखता है," जबकि दूसरा कह सकता है, "यह सस्ता लगता है।" पेपर का तर्क है कि यह असहमति कोई गलती नहीं है; यह एक फीचर है। इसका मतलब है कि AI अलग-अलग रचनात्मक दिशाएं पेश कर रहा है।

2. कोई भी एक AI सब कुछ नहीं जीतता
यदि आप केवल औसत स्कोर देखते हैं, तो आप सोच सकते हैं कि एक AI "सबसे अच्छा" है। लेकिन पेपर ने पाया कि कोई भी मॉडल हर चीज़ में सर्वश्रेष्ठ नहीं है।

  • कुछ मॉडल Ideation चरण (जंगली, रचनात्मक अवधारणाएं लाने) में बेहतरीन होते हैं।
  • अन्य मॉडल Refinement चरण (टाइपो ठीक करने और चीजों को पेशेवर बनाने) में बेहतर होते हैं।
  • उपमा: यह कहने जैसा है कि एक फॉर्मूला 1 कार पिकअप ट्रक से "बेहतर" है। F1 कार रेस ट्रैक (Refinement) पर जीतती है, लेकिन पिकअप ट्रक निर्माण स्थल (Ideation/Utility) पर जीतता है। आपको काम के विशिष्ट चरण के लिए सही टूल की आवश्यकता होती है।

3. "सिंगल स्कोर" का जाल
पेपर चेतावनी देता है कि यदि आप इन सभी अलग-अलग मतों को एक एकल संख्या में बदल देते हैं (जैसे, "मॉडल X 4.2 स्टार है"), तो आप सबसे उपयोगी जानकारी खो देते हैं। आप यह देखना बंद कर देते हैं कि मॉडल कहाँ विश्वसनीय है (तकनीकी शुद्धता) और कहाँ लचीला है (रचनात्मक शैली)।

मनुष्यों और AI के लिए निष्कर्ष

लेखकों का सुझाव है कि हमें AI को "सुंदर" की एक एकल परिभाषा पर सहमत होने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, हमें:

  • उन AI मॉडल्स का उपयोग करना चाहिए जो तकनीकी शुद्धता (convergence) के लिए आवश्यक होने पर विश्वसनीय (reliable) हों।
  • उन AI मॉडल्स का उपयोग करना चाहिए जो रचनात्मक विविधता (divergence) के लिए आवश्यक होने पर स्टीयरेबल (steerable/नियंत्रण योग्य) हों।

संक्षेप में: AI से हर चीज़ में परफेक्ट होने के लिए न कहें। उसे प्रक्रिया के सही हिस्से में परफेक्ट होने के लिए कहें। यह बेंचमार्क हमें यह समझने में मदद करता है कि कौन सा AI भोजन के विशिष्ट कोर्स को पकाने के लिए सही "शेफ" है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →