ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
यह शोध पत्र ORIC फ्रेमवर्क और बेंचमार्क प्रस्तुत करता है जो संदर्भ संबंधी विसंगति (contextual incongruity) के तहत लार्ज विजन-लैंग्वेज मॉडल्स की वस्तु पहचान क्षमताओं का मूल्यांकन और सुधार करने के लिए है, जो यह प्रदर्शित करता है कि ऐसे परिदृश्य प्रदर्शन को महत्वपूर्ण रूप से कम कर देते हैं और लक्षित विजुअल रीइन्फोर्समेंट फाइन-ट्यूनिंग इन विफलताओं को प्रभावी ढंग से कम कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है जिसने लाखों तस्वीरें देखी हैं और दुनिया के बारे में बहुत कुछ जानता है। यह मित्र एक लार्ज विजन-लैंग्वेज मॉडल (LVLM) है। यदि आप उन्हें रसोई की एक तस्वीर दिखाते हैं, तो वे बता सकते हैं, "यह एक फ्रिज, एक टोस्टर और एक कॉफी कप है।" वे आमतौर पर इसमें बहुत माहिर होते हैं।
लेकिन, किसी भी इंसान की तरह, उनकी एक अजीब सी कमजोरी है: संदर्भ (Context)।
यदि आप एक रसोई में एक टोस्टर रखते हैं, तो आपका मित्र कहता है, "हाँ, यह एक टोस्टर है।"
लेकिन यदि आप एक टोस्टर को एक स्विमिंग पूल के बीच में रख देते हैं, तो आपका मित्र भ्रमित हो सकता है। वे कह सकते हैं, "नहीं, यह एक टोस्टर नहीं हो सकता; टोस्टर पूल में नहीं जाते!" और वे इसे पूरी तरह से अनदेखा कर सकते हैं। या, इससे भी बुरा, यदि आप उन्हें बेसबॉल के मैदान की एक तस्वीर दिखाते हैं और उनसे पूछते हैं, "क्या यहाँ कोई हॉट डॉग है?" तो वे कह सकते हैं, "हाँ!", भले ही वहाँ कोई न हो, सिर्फ इसलिए क्योंकि हॉट डॉग आमतौर पर बेसबॉल मैचों में होते हैं।
यह शोध पत्र, जिसका शीर्षक ORIC है, उन्हें ठीक इसी तरह की "भ्रमित करने वाली स्थिति" पर परखने के बारे में है।
मुख्य समस्या: संदर्भ का "दिमागी धुंध" (Brain Fog)
लेखक इसे "कॉन्टेक्स्टुअल इनकोग्रुइटी" (Contextual Incongruity) कहते हैं। यह तब होता है जब कोई वस्तु ऐसी जगह पर होती है जहाँ वह नहीं होनी चाहिए, या जब कोई वस्तु जो वहाँ होनी चाहिए थी, वह गायब होती है।
इसे एक ऐसे जासूस की तरह समझें जो वास्तविक साक्ष्य देखने के बजाय अपने "अंतर्ज्ञान" (कि उसे क्या देखने की उम्मीद है) पर बहुत अधिक भरोसा करता है।
- गलती: AI एक ऑफिस में ट्रेन देखता है। उसका "अंतर्ज्ञान" कहता है, "ट्रेनें ऑफिस में नहीं जातीं!" इसलिए वह ट्रेन को अनदेखा कर देता है।
- भ्रम (Hallucination): AI एक बेसबॉल का मैदान देखता है। उसका "अंतर्ज्ञान" कहता है, "बेसबॉल के मैदानों में गेंदें होती हैं!" इसलिए वह एक ऐसी गेंद का आविष्कार कर देता है जो वहाँ है ही नहीं।
शोध पत्र का तर्क है कि वर्तमान AI अपने "अंतर्ज्ञान" पर बहुत अधिक आत्मविश्वासी है और जब वास्तविकता उसकी अपेक्षाओं के विपरीत होती है, तो वह विफल हो जाता है।
समाधान: ORIC फ्रेमवर्क
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे ORIC-Bench कहा जाता है। उन्होंने केवल रैंडम फोटो नहीं उठाए; उन्होंने "चालाकी भरे" प्रश्न बनाने के लिए एक चतुर दो-चरणीय प्रक्रिया का उपयोग किया:
"सरप्राइज" जासूस (LLM-गाइडेड सैंपलिंग):
उन्होंने एक सुपर-स्मार्ट AI (जैसे GPT-5) से एक फोटो देखने और यह कहने के लिए कहा, "हे, इस तस्वीर में एक अजीब वस्तु है जो दृश्य के अनुकूल नहीं है।"- उदाहरण: "मैं एक डेस्क पर एक केला देख रहा हूँ। यह अजीब है! चलिए देखते हैं कि क्या अन्य AI इसे नोटिस करते हैं।"
"इमेजिनेशन" कलाकार (CLIP-गाइडेड सैंपलिंग):
उन्होंने AI को उस वस्तु की कल्पना करने के लिए कहा जो वहाँ होनी चाहिए थी लेकिन नहीं है।- उदाहरण: "यह एक सॉकर फील्ड है। इसमें एक सॉकर बॉल गायब है। चलिए देखते हैं कि क्या AI इसे खुद से बना लेता है (hallucinates)।"
उन्होंने ऐसे 1,000 चालाकी भरे प्रश्न बनाए। यह एक ड्राइवर के टेस्ट की तरह है जहाँ, केवल एक सीधी सड़क पर गाड़ी चलाने के बजाय, आपको निर्माण कार्य वाले क्षेत्र, अचानक छाई धुंध और एक ऐसी सड़क से होकर गुजरना पड़ता है जो झील में समाप्त होती है।
निष्कर्ष: "स्मार्ट" AI भी मात खा गए
उन्होंने 18 अलग-अलग AI मॉडलों (GPT-5, Qwen और Llama जैसे बड़े नामों सहित) का इस नए परीक्षण पर परीक्षण किया।
- परिणाम: स्मार्ट मॉडल, जो सामान्य परीक्षणों पर 95-100% अंक प्राप्त करते हैं, इस कठिन परीक्षण पर लगभग 60-70% तक गिर गए।
- उपमा: एक छात्र की कल्पना करें जो स्पष्ट अंकों वाले गणित के टेस्ट में 'A' ग्रेड पाता है, लेकिन जब उसे एक ट्विस्ट वाला शब्द-समस्या (word problem) दी जाती है, तो वह फेल हो जाता है क्योंकि वह वास्तविक शब्दों को पढ़ने के बजाय इस आधार पर अनुमान लगा रहा होता है कि सवाल आमतौर पर कैसा दिखता है।
उन्होंने पाया कि AI या तो:
- वास्तविक वस्तुओं को अनदेखा कर रहे थे क्योंकि वे दृश्य के अनुकूल नहीं थीं (जैसे ऑफिस में ट्रेन को मिस करना)।
- नकली वस्तुओं का आविष्कार कर रहे थे क्योंकि दृश्य उनकी "मांग" कर रहा था (जैसे खाली मैदान पर गेंद देखना)।
समाधान: AI को "बोलने से पहले सोचने" के लिए सिखाना
शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने की कोशिश भी की। उन्होंने एक तकनीक का उपयोग किया जिसे विजुअल रीइन्फोर्समेंट फाइन-ट्यूनिंग (Visual-RFT) कहा जाता है।
इसे AI को कोचिंग देने के रूप में समझें।
- पुराना तरीका: AI "हाँ" या "ना" का अनुमान लगाता है। यदि वह सही है, तो उसे एक कुकी मिलती है। यदि वह गलत है, तो उसे कुछ नहीं मिलता।
- नया तरीका (Visual-RFT): AI को अपना काम दिखाना होगा। उसे पहले अपना तर्क लिखना होगा: "मैं एक लाल आकार देख रहा हूँ। यह एक गेंद जैसा दिखता है। लेकिन रुकिए, बैकग्राउंड एक लाइब्रेरी है। लाइब्रेरी में गेंदें नहीं होतीं। मुझे और करीब से देखने दें। आह, यह वास्तव में एक लाल किताब है।"
उन्होंने AI को इन 600 "चालाकी भरे" उदाहरणों पर प्रशिक्षित किया, और उसे केवल तभी पुरस्कृत किया जब उसने न केवल वस्तु को सही ढंग से पहचाना बल्कि यह भी समझाया कि क्यों, भले ही संदर्भ अजीब क्यों न हो।
परिणाम:
इस "कोचिंग" के बाद, AI बहुत बेहतर हो गया। इसने अपने अंतर्ज्ञान के आधार पर अनुमान लगाना बंद कर दिया और वास्तविक साक्ष्यों को देखना शुरू कर दिया। इसमें न केवल इस कठिन परीक्षण में, बल्कि अन्य मानक परीक्षणों में भी सुधार हुआ, जिससे यह समग्र रूप से अधिक विश्वसनीय बन गया।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक चेतावनी है। यह दिखाता है कि AI के लिए वास्तव में उपयोगी होने के लिए (जैसे कि सेल्फ-ड्राइविंग कारों या चिकित्सा निदान में), यह केवल इंटरनेट से सीखे गए पैटर्न पर निर्भर नहीं रह सकता। इसे आश्चर्यों को संभालने में सक्षम होना चाहिए।
यदि एक सेल्फ-ड्राइविंग कार हाईवे पर एक गाय देखती है, तो उसे यह नहीं कहना चाहिए कि, "यह असंभव है, गायें हाईवे पर नहीं चलतीं," और उसे अनदेखा नहीं करना चाहिए। उसे गाय को देखना चाहिए, विसंगति को पहचानना चाहिए, और रुकना चाहिए।
संक्षेप में: ORIC पेपर ने एक "ट्रिक क्वेश्चन" टेस्ट बनाया यह दिखाने के लिए कि AI अपने ही अपेक्षाओं से आसानी से मूर्ख बन जाता है, और उन्होंने एक तरीका खोजा जिससे उसे अपने अंतर्ज्ञान के बजाय साक्ष्यों पर भरोसा करना सिखाया जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।