How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning
यह अध्ययन प्रदर्शित करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (multimodal large language models) ज़ीरो-शॉट सेटिंग में मानवीय रेटिंग के साथ पर्याप्त संरेखण (alignment) के साथ दृश्य रचनात्मकता का प्रभावी ढंग से मूल्यांकन कर सकते हैं, जबकि उनकी चरण-दर-चरण तर्क प्रक्रिया स्कोरिंग सटीकता में सुधार न करने के बावजूद मूल्यांकन प्रक्रिया में व्याख्यात्मक अंतर्दृष्टि प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान कला समीक्षक है जिसने कभी कला की कोई कक्षा नहीं ली है, कभी किसी इंसान को ड्राइंग ग्रेड करते हुए नहीं देखा है, और उसे कभी बताया नहीं गया है कि "रचनात्मकता" (creativity) कैसी दिखती है। आप बस उसे एक तस्वीर थमाते हैं और पूछते हैं, "1 से 5 के पैमाने पर, यह कितनी रचनात्मक है?"
मूल रूप से यह शोध पत्र यही करता है। शोधकर्ताओं ने छह अलग-अलग उन्नत एआई मॉडलों (इन्हें अलग-अलग "डिजिटल जजों" के रूप में सोचें) से ठीक यही करने को कहा। वे यह देखना चाहते थे कि क्या ये एआई बिना किसी विशेष प्रशिक्षण या अभ्यास के, यह अनुमान लगा सकते हैं कि इंसान चित्रों की रचनात्मकता को कैसे रेट करेंगे।
यहाँ इस कहानी का विवरण दिया गया है कि उन्हें क्या मिला, जिसे सरल भागों में विभाजित किया गया है:
1. "ज़ीरो-शॉट" (Zero-Shot) जादू का खेल
आमतौर पर, एआई को कला का मूल्यांकन करना सिखाने के लिए, आपको उसे हजारों उदाहरण दिखाने होते हैं कि कौन सी ड्राइंग "अच्छी" है और कौन सी "बुरी", साथ ही उनके मानवीय स्कोर भी देने होते हैं। यह एक छात्र को सिखाने जैसा है जैसे उसे ग्रेड किए हुए परीक्षाओं का ढेर दिखाया जाए।
लेकिन इन शोधकर्ताओं ने कुछ अलग आज़माया: ज़ीरो-शॉट (Zero-Shot)। उन्होंने एआई को केवल तस्वीर दी और एक सरल निर्देश दिया: "इसे 1 से 5 के बीच रेट करें।" कोई उदाहरण नहीं, कोई प्रशिक्षण नहीं। यह सड़क पर खड़े किसी अजनबी से एक पेंटिंग को ग्रेड करने के लिए कहने जैसा था जिसे उसने पहले कभी नहीं देखा।
परिणाम: आश्चर्यजनक रूप से, एआई जज इसमें काफी अच्छे थे। उनकी रेटिंग मानवीय रेटिंग से काफी मेल खाती थी।
- एआई-जनित छवियों के लिए (कंप्यूटर द्वारा बनाई गई पॉलिश की हुई तस्वीरें), एआई जज और इंसान काफी मजबूती से सहमत थे।
- हाथ से बने रेखाचित्रों (स्केच) के लिए (इंसानों द्वारा बनाए गए कच्चे, अनगढ़ चित्र), सहमति तो थी, लेकिन थोड़ी कमजोर थी।
2. "पॉलिश बनाम कच्चापन" का पूर्वाग्रह (The "Polished vs. Rough" Bias)
शोधकर्ताओं ने देखा कि एआई जजों में एक अजीब व्यक्तित्व संबंधी खामी थी, जैसे कि एक ऐसा आलोचक जिसे हाई-डेफिनिशन फोटो पसंद हैं लेकिन पेंसिल स्केच से नफरत है।
- "पॉलिश" का पूर्वाग्रह: जब चिकनी, कंप्यूटर-जनित छवियों को देख रहे थे, तो एआई जज बहुत उदार थे। उन्होंने इंसानों की तुलना में अधिक स्कोर दिए।
- "कच्चेपन" का पूर्वाग्रह: जब साधारण, हाथ से बने रेखाचित्रों को देख रहे थे, तो एआई जज बहुत सख्त थे। उन्होंने इंसानों की तुलना में कम स्कोर दिए।
ऐसा लगता है कि एआई मॉडल गुप्त रूप से "विस्तृत" (elaborate) और "जटिल" छवियों को पसंद करते हैं। यदि किसी ड्राइंग में बहुत सारी रेखाएं और विवरण हैं, तो एआई सोचता है कि वह रचनात्मक है, भले ही मानव जज को लगे कि वह केवल "व्यस्त" (busy) है। एआई मॉडल "विस्तृत" होने को "रचनात्मक" होने के साथ भ्रमित करने लगे।
3. "विचार प्रक्रिया" (The Chain of Thought)
कुछ एआई मॉडलों में एक विशेष विशेषता होती है: अपना अंतिम स्कोर देने से पहले, वे अपनी "विचार प्रक्रिया" लिखते हैं। यह एक छात्र द्वारा गणित के टेस्ट में अपना काम दिखाने जैसा है।
शोधकर्ताओं ने इन विचार प्रक्रियाओं में झाँका ताकि देख सकें कि एआई ने स्कोर पर निर्णय कैसे लिया। उन्होंने पाया कि एआई एक सुसंगत चार-चरणीय रेसिपी का पालन करता है:
- प्रत्यक्षण (Perception): "मैं एक बिल्ली और एक पेड़ देख रहा हूँ।" (वहाँ क्या है उसका वर्णन करना)।
- मौलिकता (Originality): "यह अजीब और नया है!" (यह परखना कि क्या यह अद्वितीय है)।
- गुणवत्ता (Quality): "रेखाएं चिकनी और सुंदर हैं।" (यह परखना कि इसे कितनी अच्छी तरह बनाया गया है)।
- औचित्य (Justification): "इसलिए, मैं इसे 4 देता हूँ।" (संख्या चुनना)।
बड़ा आश्चर्य: शोधकर्ताओं ने सोचा था कि यदि एआई इन चरणों को लिखने के लिए समय लेगा, तो वह मानवीय स्कोर से बेहतर ढंग से मेल खाएगा। ऐसा नहीं हुआ। "सोचने" से स्कोर अधिक सटीक नहीं हुआ। हालाँकि, इसने शोधकर्ताओं को यह देखने की खिड़की दी कि एआई ने उस स्कोर को क्यों दिया। इससे पता चला कि एआई "गुणवत्ता" (कि यह कितना सुंदर है) पर ध्यान दे रहा था, न कि केवल "मौलिकता" (कि यह कितना अजीब है) पर, जो यह समझाता है कि उन्हें पॉलिश की हुई एआई छवियां इतनी क्यों पसंद आईं।
4. क्या एआई को यह जानने की ज़रूरत है कि वह क्या देख रहा है?
शोधकर्ता सोचने लगे: "यदि एआई भ्रमित हो जाता है और कुत्ते के चित्र को बिल्ली समझ लेता है, तो क्या उसकी रचनात्मकता का स्कोर कम हो जाता है?"
उत्तर: वास्तव में नहीं।
भले ही एआई ने गलत पहचान की हो कि वह क्या था, या जब ड्राइंग इतनी अमूर्त (abstract) थी कि इंसान भी इस पर सहमत नहीं हो पा रहे थे कि वह क्या था, फिर भी एआई का रचनात्मकता स्कोर मानवीय स्कोर से काफी अच्छी तरह मेल खाता था। यह सुझाव देता है कि एआई केवल "क्या यह कुत्ता है? हाँ/नहीं" की चेकलिस्ट की जाँच नहीं कर रहा है। वह छवि के "वाइब" (vibe), संरचना और विचित्रता को देख रहा है, भले ही वह वस्तु को ठीक से न पहचानता हो।
निष्कर्ष (The Takeaway)
यह शोध पत्र दिखाता है कि हम इन बड़े, सामान्य एआई मॉडलों का उपयोग बिना उन्हें पहले प्रशिक्षित किए "रचनात्मकता के न्यायाधीश" के रूप में कर सकते हैं। वे इसमें आश्चर्यजनक रूप से अच्छे हैं, लेकिन उनका एक पूर्वाग्रह है: वे जटिल, विस्तृत छवियों को पसंद करते हैं और सरल, कच्चे रेखाचित्रों को नापसंद करते हैं।
उनकी "विचार प्रक्रियाओं" को देखकर, हम देख सकते हैं कि वे कहाँ सही हैं और कहाँ वे गलत हैं। यह एक ऐसे आलोचक को रखने जैसा है जो अपने तर्क समझा सकता है, भले ही उनकी पसंद हमसे थोड़ी अलग हो। शोधकर्ताओं ने एक मुफ्त ऐप भी बनाया है ताकि कोई भी अपनी तस्वीरों पर इस "एआई जज" को आज़मा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।