GenExam: A Multidisciplinary Text-to-Image Exam
GenExam टेक्स्ट-टू-इमेज जनरेशन के लिए पहला बहुआयामी बेंचमार्क है जो 10 विषयों में 1,000 परीक्षा-शैली के प्रॉम्प्ट्स के माध्यम से ग्राउंड-ट्रुथ इमेजेस और सूक्ष्म स्कोरिंग के जरिए मॉडल्स का मूल्यांकन करता है, जो ओपन-सोर्स और अग्रणी क्लोज्ड-सोर्स मॉडल्स के बीच महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करते हुए उनकी एकीकृत समझ, तर्क और जनरेशन क्षमताओं का आकलन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक रोबोट को चित्र बनाना सिखाने में कई साल बिताए हैं। आप उसे बिल्लियों, कारों और सूर्यास्त की तस्वीरें दिखाते हैं, और वह उन्हें वास्तविक दिखाने में काफी कुशल हो जाता है। लेकिन फिर, आप उसे एक विश्वविद्यालय की फाइनल परीक्षा (final exam) थमा देते हैं।
परीक्षा में उससे बिल्ली का सुंदर चित्र बनाने के लिए नहीं कहा जाता। इसमें लिखा है: "800 ईसा पूर्व के इटली का एक विशिष्ट मानचित्र बनाएं, एट्रस्कन (Etruscan) भूमियों को नारंगी रंग से भरें, गॉल (Gauls) को पीला रंग दें, और सुनिश्चित करें कि सीमाएं बिल्कुल सही हों। साथ ही, एक रासायनिक अभिक्रिया (chemical reaction) का चित्र बनाएं जहाँ एक अणु अपना आकार बदलता है, लेकिन परमाणुओं के साथ कोई गड़बड़ी न करें।"
यह बिल्कुल वैसा ही है जैसा कि पेपर GenExam के बारे में है। यह एक नया, अत्यंत कठिन "टेस्ट" है जिसे यह देखने के लिए बनाया गया है कि क्या AI वास्तव में एक विशेषज्ञ की तरह सोच और तर्क कर सकता है, न कि केवल वही कॉपी करता है जो उसने पहले देखा है।
यहाँ कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इस "परीक्षा" का विवरण दिया गया है:
1. समस्या: "कला छात्र" बनाम "इंजीनियर"
वर्तमान में, अधिकांश AI इमेज जनरेटर प्रतिभाशाली कला छात्रों की तरह हैं। वे शैली (style) में बहुत अच्छे हैं। यदि आप कहें "सूर्यास्त की पेंटिंग बनाओ," तो वे एक सुंदर सूर्यास्त बनाएंगे। लेकिन यदि आप कहें "एक ऐसे पुल का ब्लूप्रिंट बनाओ जो 50 टन भार सह सके," तो वे एक ऐसा पुल बना सकते हैं जो दिखने में तो अच्छा हो, लेकिन यदि आप उस पर एक पंख भी रखें तो वह ढह जाए।
AI के मौजूदा परीक्षण केवल यह देखते हैं कि चित्र सुंदर दिख रहा है या नहीं, या शब्द चित्र से मेल खाते हैं या नहीं। वे यह नहीं देखते कि चित्र तार्किक रूप से सही है या नहीं।
- पुराना टेस्ट: "क्या यह एक ग्राफ जैसा दिखता है?" (हाँ, इसमें रेखाएं हैं।)
- GenExam: "क्या वह रेखा वास्तव में समीकरण है? क्या यह सटीक बिंदु (1,1) से गुजरती है? क्या छायांकन (shading) सही जगह पर है?"
2. समाधान: GenExam (द "फाइनल एग्जाम")
शोधकर्ताओं ने GenExam बनाया है, जो AI के लिए एक विश्वविद्यालय की फाइनल परीक्षा की तरह है।
- विषय: इसमें गणित और भौतिकी से लेकर इतिहास और संगीत तक 10 अलग-अलग विषय शामिल हैं।
- प्रश्न: प्रॉम्प्ट वास्तविक परीक्षा के प्रश्नों की तरह हैं। वे सटीक, जटिल और गहरे ज्ञान की मांग करते हैं।
- उदाहरण: "आर्कटिक टुंड्रा के लिए एक खाद्य जाल (food web) बनाएं। सुनिश्चित करें कि लेमिंग (lemming) लाइकेन (lichen) को खाती है, लेकिन भालू सीधे लाइकेन को नहीं खाता है।"
- उत्तर कुंजी (Answer Key): प्रत्येक प्रश्न के साथ एक "ग्राउंड ट्रुथ" (परफेक्ट उत्तर) और एक ग्रेडिंग रूब्रिक (grading rubric) आता है।
- किसी इंसान द्वारा केवल इसे देखकर "अच्छा लग रहा है" कहने के बजाय, सिस्टम विशिष्ट बिंदुओं की जाँच करता है: "क्या आपने लेमिंग को लेबल किया? हाँ/नहीं। क्या तीर सही दिशा में इशारा कर रहा है? हाँ/नहीं।"
3. ग्रेडिंग सिस्टम: "सख्त शिक्षक"
यह पेपर एक बहुत ही सख्त ग्रेडिंग पद्धति पेश करता है, जो इसकी मुख्य विशेषता है।
- "सख्त" स्कोर (The "Strict" Score): यह एक ऐसे प्रोफेसर की तरह है जो आपको एक छोटी सी टाइपिंग मिस्टेक के लिए भी फेल कर देता है। यदि AI एक ग्राफ बनाता है लेकिन X-अक्ष को गलत लेबल करता है, या अणु में एक परमाणु भी छोड़ देता है, तो उसे शून्य मिलता है। यह सब या कुछ भी नहीं (all or nothing) वाला मामला है।
- "रिलैक्स्ड" स्कोर (The "Relaxed" Score): यह एक ऐसे शिक्षक की तरह है जो आंशिक क्रेडिट (partial credit) देता है। "आपने आकार सही बनाया, लेकिन लेबल अव्यवस्थित हैं। आपको 60% अंक मिलते हैं।"
4. परिणाम: "झटका"
शोधकर्ताओं ने 17 अलग-अलग AI मॉडल का परीक्षण किया (बड़े तकनीकी दिग्गजों के महंगे, गुप्त मॉडल और मुफ्त, ओपन-सोर्स मॉडल दोनों)।
- अच्छी खबर: शीर्ष स्तर के, क्लोज्ड-सोर्स मॉडल (जैसे Google का Nano Banana Pro) ठीक-ठाक प्रदर्शन करते हैं। वे सख्त टेस्ट में लगभग 72% अंक प्राप्त करते हैं। वे सवाल समझने के लिए पर्याप्त स्मार्ट हैं।
- बुरी खबर: लगभग हर दूसरा मॉडल बुरी तरह विफल रहा।
- कई ओपन-सोर्स मॉडल्स को 3% से भी कम अंक मिले।
- कुछ को 0% मिले।
- उपमा: कल्पना कीजिए कि एक छात्र पूरी डिक्शनरी रट सकता है लेकिन एक साधारण गणित का सवाल हल करने में विफल रहता है। AI एक अणु का सुंदर चित्र बना सकता है, लेकिन वह रसायन विज्ञान को नहीं समझता। वह परमाणुओं को गलत जगहों पर इसलिए बनाता है क्योंकि वह अनुमान लगा रहा है, तर्क नहीं कर रहा है।
5. यह क्यों महत्वपूर्ण है
पेपर का तर्क है कि AI के वास्तव में "बुद्धिमान" (जैसे एक मानव विशेषज्ञ) होने के लिए, उसे केवल एक फोटोकॉपी मशीन नहीं होना चाहिए जो सुंदर चित्र बनाती है। उसे एक समस्या समाधानकर्ता (problem solver) होना चाहिए।
- वर्तमान AI: "मैं पुल के बारे में एक प्रॉम्प्ट देख रहा हूँ। मैं एक ऐसा चित्र बनाऊंगा जो पुल जैसा दिखता है।"
- भविष्य का AI (लक्ष्य): "मैं एक पुल के बारे में भौतिकी की गणना करूँगा, सामग्रियों को समझूँगा, और एक ऐसा पुल बनाऊँगा जो वास्तव में काम करता है।"
निष्कर्ष
GenExam एक चेतावनी (wake-up call) है। यह दिखाता है कि भले ही AI कला बनाने में अद्भुत होता जा रहा है, लेकिन यह चित्रों के माध्यम से विज्ञान, इंजीनियरिंग और तर्क करने में अभी भी बहुत खराब है। यह एक ऐसे चित्रकार की तरह है जो सर्जन का एक आदर्श चित्र तो बना सकता है, लेकिन यदि आप उनसे वास्तव में सर्जरी करने को कहें, तो उन्हें पता ही नहीं होगा कि क्या करना है।
शोधकर्ता इस "परीक्षा" को जनता के लिए जारी कर रहे हैं ताकि शोधकर्ता इस अंतर को भरने का प्रयास कर सकें, जिससे AI को एक "रचनात्मक कलाकार" से एक "सच्चा विशेषज्ञ" बनने की ओर धकेला जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।