CresOWLve: Benchmarking Creative Problem-Solving Over Real-World Knowledge
यह शोध पत्र CresOWLve को प्रस्तुत करता है, जो वास्तविक दुनिया के ज्ञान पर आधारित रचनात्मक समस्या-समाधान कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह प्रकट करता है कि जहाँ मॉडल तथ्यात्मक पुनर्प्राप्ति में उत्कृष्ट हैं, वहीं वे रचनात्मक समाधानों के लिए आवश्यक सूचनाओं के गैर-स्पष्ट एकीकरण में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "डॉट्स को कनेक्ट करने" (Connect the Dots) का खेल खेल रहे हैं, लेकिन यहाँ डॉट्स के बजाय आप ज्ञान की पूरी दुनिया को जोड़ रहे हैं। यह मूल रूप से CRESOWLVE नामक शोध पत्र (paper) के बारे में है।
यहाँ इस शोध पत्र की कहानी सरल शब्दों में दी गई है:
1. समस्या: "वह रोबोट जिसे सब कुछ पता है पर सोचना नहीं आता"
लंबे समय से, हम AI (लार्ज लैंग्वेज मॉडल्स) का परीक्षण उसी तरह कर रहे हैं जैसे हम उस छात्र का परीक्षण करते हैं जिसने लाइब्रेरी की हर किताब रट ली है। हम उनसे पूछते हैं: "पहला राष्ट्रपति कौन था?" या "2+2 क्या है?" AI इसका सटीक उत्तर देता है।
लेकिन वास्तविक जीवन की रचनात्मकता केवल तथ्यों को याद रखने के बारे में नहीं है। यह पार्श्व सोच (lateral thinking) के बारे में है। यह एक ऐसे कमरे में होने जैसा है जहाँ एक बंद दरवाजा है, और चाबी खोजने के बजाय, आपको एहसास होता है कि वह दरवाजा वास्तव में एक पेंटिंग है, और आपको फ्रेम के माध्यम से अंदर जाना है।
वर्तमान AI परीक्षण उन पहेलियों की तरह हैं जिनके उत्तर स्पष्ट हैं या जो वास्तविक दुनिया में मौजूद ही नहीं हैं। वे हमें यह नहीं बताते कि क्या AI वास्तव में रचनात्मक रूप से सोच सकता है या वह केवल जानकारी को याद (recall) कर रहा है।
2. समाधान: CRESOWLVE नामक एक नया "बाधा दौड़" (Obstacle Course)
शोधकर्ताओं ने CRESOWLVE नामक एक नया परीक्षण बनाया। उन्होंने फर्जी पहेलियाँ नहीं बनाईं; वे एक प्रसिद्ध रूसी टीवी गेम शो "What? Where? When?" (इसे 'व्हाट? व्हेयर? व्हेन?' के रूप में सोचें—यह 'जियोपार्डी!' का एक उच्च-स्तरीय, बौद्धिक संस्करण है, जिसमें ऐसी पहेलियाँ होती हैं जिनमें गहरी सांस्कृतिक समझ और "अहा!" वाले क्षणों की आवश्यकता होती है) के पास गए।
उन्होंने हजारों वास्तविक पहेलियों को लिया, उन्हें साफ-सुथरा किया और उनका अंग्रेजी में अनुवाद किया।
उपमा (Analogy):
कल्पना कीजिए कि AI एक ऐसा शेफ है जिसने अब तक की लिखी गई हर रेसिपी बुक पढ़ ली है।
- पुराने परीक्षण: शेफ से पूछते हैं, "अंडा कैसे उबालते हैं?" शेफ इसे पूरी तरह जानता है।
- CRESOWLVE: शेफ को यादृच्छिक (random) सामग्री की एक टोकरी दी जाती है: एक केला, एक रिंच (wrench) और इटली का एक नक्शा। चुनौती यह है कि एक ऐसा व्यंजन बनाना जो "एक यात्रा" का प्रतिनिधित्व करे। शेफ को यह समझना होगा कि केला एक नाव है, रिंच एक स्टीयरिंग व्हील है और नक्शा समुद्र है। यही रचनात्मक समस्या-समाधान (creative problem-solving) है।
3. उन्होंने क्या पाया: "ज्ञान बनाम बुद्धिमत्ता" का अंतर
शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-4, Gemini और अन्य) का इस नए कोर्स पर परीक्षण किया। परिणाम यह रहा:
- तथ्य-जांचकर्ता (The Fact-Checkers): जब प्रश्न केवल तथ्यों के बारे में थे (जैसे, "यह पुस्तक किसने लिखी?"), तो AI ने ठीक प्रदर्शन किया। वे अपनी स्मृति से उत्तर निकाल सकते थे।
- रचनात्मक अंतर (The Creative Gap): जब प्रश्नों के लिए दो असंबंधित चीजों को जोड़ने की आवश्यकता थी (जैसे, "एक कवि घड़ी की तरह कैसे है?"), तो AI बुरी तरह लड़खड़ा गया। उनके स्कोर में 17% तक की गिरावट आई।
रूपक (Metaphor):
AI एक ऐसे व्यक्ति की तरह है जिसके सिर में एक पूर्ण पुस्तकालय है लेकिन उसे नेविगेट करने के लिए कोई मानचित्र नहीं है। उनके पास सभी पुस्तकें (तथ्य) हैं, लेकिन उन्हें यह नहीं पता कि "इतिहास" की एक किताब और "संगीत" की एक किताब को कैसे खोलें और यह महसूस करें कि वे दोनों एक ही चीज़ के बारे में बात कर रहे हैं। वे सीधे लिंक को खोजने की कोशिश में फंस जाते हैं, और उस रचनात्मक "छलांग" (leap) को चूक जाते हैं जो मनुष्य स्वाभाविक रूप से लेते हैं।
4. "सोचने वाले" मॉडल: तेज होने के लिए धीमे होना
शोध पत्र में एक नए प्रकार के AI का भी परीक्षण किया गया जिसे "सोचने वाले मॉडल" (Thinking Models) कहा जाता है। ये वे मॉडल हैं जिन्हें उत्तर देने से पहले "सोचने" (तर्क की श्रृंखला लिखने) के लिए मजबूर किया जाता है।
- परिणाम: ये मॉडल काफी बेहतर प्रदर्शन करते हैं।
- उपमा: यह उस छात्र के बीच के अंतर जैसा है जो जो याद आता है वही बोल देता है (Non-thinking) और उस छात्र के बीच का अंतर जो गहरी सांस लेता है, एक आरेख (diagram) बनाता है, और बोलने से पहले बिंदुओं को जोड़ता है (Thinking)। "सोचने वाले" मॉडल रचनात्मक पहेलियों को हल करने में बेहतर थे।
5. यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि जबकि AI तथ्यों को याद रखने में स्मार्ट हो रहा है, यह वास्तव में रचनात्मक होने के लिए अभी भी संघर्ष कर रहा है। यह पहेली के टुकड़ों को प्राप्त तो कर सकता है, लेकिन यह अक्सर उस चित्र को देखने में विफल रहता जो वे मिलकर बनाते हैं।
मुख्य बात (Takeaway):
हमने AI बनाया है जो एक चलते-फिरते विश्वकोश (encyclopedia) जैसा है, लेकिन हमने अभी तक एक रचनात्मक जीनियस नहीं बनाया है। CRESOWLVE एक नया पैमाना है जो ठीक से मापता है कि इस अंतर को पाटने के लिए हमें कितनी दूर जाना है। यह हमें दिखाता है कि AI में अगली बड़ी छलांग केवल अधिक तथ्य जानने के बारे में नहीं होगी; यह उन्हें आश्चर्यजनक, मानव-समान तरीकों से जोड़ने के बारे में होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।