How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
यह शोध पत्र एक नवीन प्रॉम्प्ट-चेनिंग फ्रेमवर्क का उपयोग करके मानक कंप्यूटर विज़न कार्यों पर GPT-4o जैसे अग्रणी मल्टीमॉडल फाउंडेशन मॉडल्स का बेंचमार्किंग करता है ताकि यह प्रकट किया जा सके कि हालांकि वे मजबूत सिमेंटिक समझ के साथ सम्मानजनक सामान्यज्ञों के रूप में कार्य करते हैं, फिर भी वे ज्यामितीय कार्यों में विशेषज्ञ मॉडल्स से पीछे हैं और विशिष्ट विफलता मोड प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास अविश्वसनीय रूप से बुद्धिमान, विद्वान पुस्तकालयाध्यक्षों का एक समूह है (ये मल्टीमॉडल फाउंडेशन मॉडल्स या MFM हैं, जैसे GPT-4o, Gemini और Claude)। इन पुस्तकालयाध्यक्षों ने इंटरनेट की लगभग हर किताब पढ़ ली है और वे किसी तस्वीर का सुंदर, काव्यमय विवरण दे सकते हैं। वे "इस फोटो में क्या हो रहा है?" या "इस कुत्ते के बारे में एक कहानी लिखें" जैसे सवालों के जवाब देने के लिए प्रसिद्ध हैं।
लेकिन EPFL के शोधकर्ताओं ने एक अलग सवाल पूछा: "क्या ये पुस्तकालयाध्यक्ष वास्तव में एक पेशेवर फोटोग्राफर या एक 3D आर्किटेक्ट का काम कर सकते हैं?"
यह जानने के लिए, उन्होंने केवल उनसे बातचीत करने के लिए नहीं कहा; बल्कि उन्होंने उन्हें कई कठिन, तकनीकी परीक्षाओं से गुजारा जो आमतौर पर विशेष कंप्यूटर विजन रोबोटों के लिए आरक्षित होती हैं। उन्होंने यह कैसे किया और उन्हें क्या मिला, इसे सरल भाषा में यहाँ समझाया गया है।
चुनौती: "केवल टेक्स्ट" की समस्या
मुख्य समस्या यह है कि ये AI मॉडल बात करने के लिए प्रशिक्षित हैं, चित्र बनाने या मापने के लिए नहीं। यदि आप एक मानक विजन रोबोट को "बिल्ली खोजो" कहते हैं, तो वह उसके चारों ओर एक बॉक्स बना देता है। यदि आप एक टेक्स्ट-आधारित AI से पूछते हैं, तो वह कह सकता है, "मुझे एक बिल्ली दिख रही है।"
उन्हें निष्पक्ष रूप से परखने के लिए, शोधकर्ताओं ने एक अनुवाद खेल बनाया जिसे "प्रॉम्प्ट चेनिंग" (Prompt Chaining) कहा गया।
- उपमा: कल्पना कीजिए कि आप एक विशाल पुस्तकालय में एक विशिष्ट पुस्तक खोजने के लिए आंखों पर पट्टी बांधे हुए हैं। आप देख नहीं सकते, लेकिन आप एक गाइड से सवाल पूछ सकते हैं।
- विधि: AI को "बिल्ली के चारों ओर बॉक्स बनाने" (जो वह स्वाभाविक रूप से नहीं कर सकता) के बजाय, शोधकर्ताओं ने कार्य को छोटे, टेक्स्ट-आधारित चरणों में तोड़ दिया। उन्होंने AI से पूछा: "क्या ऊपर-बाएँ कोने में बिल्ली है?" "नहीं।" "क्या वह बीच में है?" "हाँ।" फिर, "क्या वह बीच के ऊपरी हिस्से में है?" "हाँ।"
- इन छोटे "हाँ/नहीं" वाले सवालों को एक साथ जोड़कर (चेनिंग करके), AI अंततः इस बात का नक्शा बना लेता है कि वस्तु कहाँ है, जिससे वह प्रभावी रूप से केवल टेक्स्ट के माध्यम से एक बॉक्स या मास्क "बना" लेता है। इसने शोधकर्ताओं को इन "बात करने वाले" मॉडल्स की तुलना "करने वाले" (विशेषज्ञ मॉडल्स) से ठीक उसी कार्य पर करने की अनुमति दी।
परीक्षा: उन्होंने क्या परीक्षण किया?
शोधकर्ताओं ने मॉडल्स को आसान से लेकर बहुत कठिन तक, छह अलग-अलग प्रकार के परीक्षण दिए:
- वर्गीकरण (Classification): "यह क्या है?" (जैसे जेब्रा की पहचान करना)।
- ऑब्जेक्ट डिटेक्शन (Object Detection): "जेब्रा कहाँ है?" (उसके चारों ओर एक बॉक्स बनाना)।
- सेगमेंटेशन (Segmentation): "कौन से पिक्सेल जेब्रा के हैं?" (जेब्रा को पूरी तरह से रंगना)।
- ग्रुपिंग (Grouping): "यदि मैं जेब्रा के कान को छूता हूँ, तो कौन से अन्य पिक्सेल उसी जेब्रा के हैं?"
- डेप्थ प्रेडिक्शन (Depth Prediction): "कौन सा हिस्सा कैमरे के अधिक करीब है?" (एक 3D दूरी मानचित्र बनाना)।
- सरफेस नॉर्मल्स (Surface Normals): "सतह किस दिशा में है?" (क्या यह दीवार बाईं ओर, दाईं ओर, ऊपर या नीचे की ओर है?)।
परिणाम: "जनरलिस्ट" बनाम "स्पेशलिस्ट"
1. वे "जनरलिस्ट" के रूप में शानदार हैं, लेकिन "स्पेशलिस्ट" नहीं।
ये AI मॉडल्स जनरलिस्ट होने के नाते आश्चर्यजनक रूप से अच्छा प्रदर्शन करते हैं। वे वस्तुओं की पहचान कर सकते हैं और सामान्य दृश्य को रैंडम अनुमान लगाने से बेहतर समझ सकते हैं। हालाँकि, वे अभी भी विशेषज्ञ रोबोटों से काफी पीछे हैं जो विशेष रूप से इन कामों के लिए बनाए गए हैं।
- उपमा: AI एक अत्यंत बुद्धिमान जनरल प्रैक्टिशनर (सामान्य चिकित्सक) की तरह है जो हर चीज़ के बारे में थोड़ा बहुत जानता है। विशेषज्ञ मॉडल न्यूरोसर्जन की तरह हैं। जनरल प्रैक्टिशनर सिरदर्द का निदान कर सकता है, लेकिन वह सर्जन की तरह ब्रेन सर्जरी नहीं कर सकता।
2. "सिमेंटिक" बनाम "जियोमेट्रिक" अंतर
मॉडल्स सिमेंटिक कार्यों (चीजें क्या हैं यह समझने) में जियोमेट्रिक कार्यों (चीजें 3D स्थान में कहाँ हैं यह समझने) की तुलना में बहुत बेहतर थे।
- वे आसानी से बता सकते थे कि "वह एक जेब्रा है।"
- लेकिन उन्हें यह बताने में संघर्ष करना पड़ा कि "वह जेब्रा 5 मीटर दूर है और उसकी पीठ थोड़ी बाईं ओर झुकी हुई है।"
- उपमा: वे एक फिल्म के कथानक का वर्णन करने में बहुत अच्छे हैं, लेकिन सेट डिजाइन बनाने या विस्फोटों के भौतिकी (physics) की गणना करने में खराब हैं।
3. "धुंधली दृष्टि" (Blurry Vision) की समस्या
जब शोधकर्ताओं ने AI को सटीक रूपरेखा (outlines) बनाने के लिए कहा, तो मॉडल्स अक्सर बारीक विवरणों में संघर्ष करते थे। ऐसा लग रहा था जैसे उनकी "दृष्टि धुंधली" हो।
- इसे ठीक करने के लिए, शोधकर्ताओं को AI को छवि के "ज़ूम-इन" किए गए क्रॉप्स (जैसे आवर्धक लेंस से देखना) देने पड़े ताकि वह किनारों को स्पष्ट रूप से देख सके। इस मदद के बिना, AI की रूपरेखा अव्यवस्थित थी।
4. "रीज़निंग" (तर्क करने वाले) मॉडल्स गेम बदल रहे हैं
शोधकर्ताओं ने "रीज़निंग मॉडल्स" (जैसे o1, o3, और o4-mini) नामक एक नए प्रकार के AI का परीक्षण किया। ये मॉडल्स उत्तर देने से पहले अतिरिक्त समय लेकर "सोचते" हैं।
- परिणाम: ये सोचने वाले मॉडल्स मानक मॉडल्स की तुलना में कठिन 3D ज्यामिति कार्यों (डेप्थ और सरफेस नॉर्मल्स) में बहुत बेहतर थे। वे स्थानिक संबंधों (spatial relationships) को समझने के लिए तर्क का उपयोग करते प्रतीत होते थे, जबकि मानक मॉडल्स केवल पैटर्न के आधार पर अनुमान लगाते थे।
5. "हैलुसिनेशन" (भ्रम) की समस्या
जब शोधकर्ताओं ने नवीनतम GPT-4o का परीक्षण किया, जो वास्तव में चित्र बना सकता है (चित्र खींच सकता है) न कि केवल बात कर सकता है, तो उन्होंने पाया कि यह हैलुसिनेशन के प्रति संवेदनशील है।
- उपमा: यदि आप इसे "जेब्रा बनाने" के लिए कहते हैं, तो यह जेब्रा तो बना सकता है, लेकिन यह गलती से एक यूनिकॉर्न का सींग भी जोड़ सकता है या जेब्रा के पैरों को गलत जगह रख सकता है। इमेज जनरेशन आशाजनक है लेकिन वर्तमान में अविश्वसनीय है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि ये विशाल AI मॉडल्स प्रभावशाली "जनरलिस्ट" हैं जो छवि के अर्थ को समझ सकते हैं, लेकिन वे अभी तक इंजीनियरों और वैज्ञानिकों द्वारा सटीक माप और 3D पुनर्निर्माण के लिए उपयोग किए जाने वाले विशेष उपकरणों को बदलने के लिए तैयार नहीं हैं।
हालाँकि, "रीज़निंग" मॉडल्स इस अंतर को पाटने के पहले संकेत दिखा रहे हैं, जो यह सुझाव देते हैं कि जैसे-जैसे AI गहराई से "सोचना" सीखता है, इसकी भौतिक 3D दुनिया को समझने की क्षमता भाषा को समझने की इसकी क्षमता के बराबर आने लगती है।
महत्वपूर्ण नोट: शोधकर्ता इस बात पर जोर देते हैं कि उनका "प्रॉम्प्ट चेनिंग" तरीका एक परीक्षण उपकरण है, न कि वास्तविक जीवन में इन मॉडल्स का उपयोग करने का व्यावहारिक तरीका। यह एक मॉडल की ऊंचाई मापने के लिए स्केल (रूलर) का उपयोग करने जैसा है; यह एक संख्या प्राप्त करने का एक तरीका है, लेकिन आप घर बनाने के लिए स्केल का उपयोग नहीं करेंगे। लक्ष्य केवल यह देखना था कि ये मॉडल्स वास्तव में कितने अच्छे हैं, और उत्तर है: "तस्वीरों के बारे में बात करने में बहुत अच्छे, लेकिन अभी भी उन्हें मापने के लिए सीख रहे हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।