BRUCE: Benchmarking Robustness Under Corruption Escalation for Scientific Vision-Language Reasoning
यह शोधपत्र BRUCE को प्रस्तुत करता है, जो एक नवीन ढांचा है जो प्रदर्शन में गिरावट को मापने के लिए नए मेट्रिक्स का उपयोग करके और OCR, स्थानिक, प्रतीकात्मक और अर्थ संबंधी डोमेन में तर्क विफलताओं का एक व्याख्यात्मक विश्लेषण प्रदान करके, बढ़ती छवि विकृतियों (image corruptions) के विरुद्ध वैज्ञानिक विजन-लैंग्वेज मॉडलों की मजबूती का बेंचमार्क करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को तस्वीरें दिखाकर और सवाल पूछकर दुनिया को समझना सिखा रहे हैं। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। इन मॉडल्स को एक ऐसे छात्र के रूप में समझें जिसने लाइब्रेरी की हर किताब पढ़ ली है और जो अब तक खींची गई हर फोटो को भी देख सकता है। वे तब बेहतरीन जवाब देते हैं जब तस्वीर एकदम साफ हो और रोशनी एकदम सही हो। लेकिन वास्तविक दुनिया में, चीजें हमेशा वैसी नहीं होतीं। तस्वीरें धुंधली हो सकती हैं, कंट्रास्ट कम हो सकता है, या चित्र का कुछ हिस्सा कटा हुआ हो सकता है। बड़ा सवाल वैज्ञानिक यह पूछ रहे हैं: यदि आप इस सुपर-स्मार्ट छात्र को एक थोड़ी खराब या बिखरी हुई फोटो देते हैं, तो क्या वे अभी भी सही उत्तर देंगे, या वे पूरी तरह से बिखर जाएंगे?
यहीं पर रोबस्टनेस (Robustness - मजबूती/दृढ़ता) का विचार आता है। यह केवल इस बारे में नहीं है कि रोबोट कितना स्मार्ट है जब सब कुछ आसान हो; यह इस बारे में है कि वह थोड़े से शोर-शराबे या अव्यवस्था को कितनी अच्छी तरह संभालता है। आमतौर पर, जब हम इन रोबोट्स का परीक्षण करते हैं, तो हम केवल यह देखते हैं कि क्या वे एकदम सही तस्वीरों पर सही उत्तर देते हैं। लेकिन यह शोधपत्र तर्क देता है कि यह एक कार को केवल एक चिकने रेसट्रैक पर टेस्ट करने जैसा है और कभी यह नहीं देखना कि वह गड्ढों या बारिश वाले दिन में कैसा प्रदर्शन करती है। हमें यह जानने की जरूरत है कि क्या रोबोट का तर्क (reasoning) स्थिर रहता है जब दृश्य जानकारी खराब होने लगती है, क्योंकि असल जिंदगी में, छवियां शायद ही कभी पूर्ण होती हैं।
"BRUCE" फ्रेमवर्क: रोबोट के दिमाग का स्ट्रेस-टेस्टिंग
इस शोधपत्र में, शोधकर्ताओं ने BRUCE (बेंचमार्किंग रोबस्टनेस अंडर करप्शन एस्केलेशन) नामक एक नई परीक्षण प्रणाली पेश की है। कल्पना कीजिए कि BRUCE इन AI मॉडल्स के लिए एक बहुत ही सख्त, थोड़ा शरारती जिम कोच है। केवल मॉडल्स को सवालों के जवाब देने देने के बजाय, BRUCE उन तस्वीरों के साथ छेड़छाड़ करना शुरू कर देता है जिन्हें वे देख रहे हैं। यह केवल एक छोटा सा बदलाव नहीं करता; यह प्रगतिशील रूप से छवियों को बदतर और बदतर बनाता जाता है, कदम-दर-कदम।
कोच तस्वीर को थोड़ा धुंधला कर सकता है, फिर थोड़ा और, फिर बहुत अधिक। या, यह तस्वीर को क्रॉप (काटना) करना शुरू कर सकता है, किनारों को धीरे-धीरे काटते हुए जब तक कि केवल एक छोटा सा हिस्सा शेष न रह जाए। यह "ट्रैवर्सिंग" (traversing) भी आज़माता है, जो कि इमेज को ऊपर-से-नीचे या बाएँ-से-दाएँ धीरे-धीरे ढकने जैसा है, सूचना को टुकड़ों में हटाना ताकि यह देखा जा सके कि मॉडल ठीक कब घबराकर हार मान लेता है।
इस तनाव को झेलने की क्षमता को मापने के लिए, लेखकों ने दो नए स्कोरकार्ड बनाए हैं:
- RCI (Robustness Corruption Index): यह मापता है कि जैसे-जैसे छवि अधिक अस्त-व्यस्त होती जाती है, मॉडल का प्रदर्शन कितनी तेजी से गिरता है। यह एक "भंगुरता मीटर" (fragility meter) की तरह है।
- T-RCI (Traversal-RCI): यह "काटने या हटाने" वाले परीक्षणों के लिए एक विशेष स्कोर है। यह जाँचता है कि क्या मॉडल किसी विशिष्ट दिशा से जानकारी हटाए जाने पर विफल हो जाता है, जिससे यह पता चलता है कि क्या मॉडल पूरे सवाल को हल करने के लिए केवल छवि के एक छोटे से हिस्से पर निर्भर है।
उन्होंने क्या पाया: "स्मार्ट" छात्र बनाम "स्थिर" छात्र
शोधकर्ताओं ने सात अलग-अलग AI मॉडल्स का कठिन विज्ञान और गणित की समस्याओं पर परीक्षण किया, जिसमें केमिस्ट्री डायग्राम और ज्योमेट्री पहेलियाँ शामिल थीं। यहाँ उनकी खोजें दी गई हैं:
1. "स्मार्ट" होने का मतलब "मजबूत" होना नहीं है
सबसे आश्चर्यजनक खोज यह है कि एक मॉडल एकदम सही तस्वीरों पर अविश्वसनीय रूप से स्मार्ट हो सकता है लेकिन थोड़ी सी क्षति होने पर बहुत खराब हो सकता है। उदाहरण के लिए, GPT-4.1 साफ चित्रों के साथ केमिस्ट्री की समस्याओं को हल करने में बहुत अच्छा था, लेकिन जैसे ही शोधकर्ताओं ने छवि के कुछ हिस्सों को हटाना शुरू किया (traversal), इसका प्रदर्शन लगभग किसी भी अन्य मॉडल की तुलना में अधिक तेजी से गिरा। यह पता चला कि GPT-4.1 उस छात्र की तरह था जिसने डायग्राम के सटीक लेआउट को रट लिया था लेकिन अगर एक टुकड़ा गायब हो जाए तो वह तर्क नहीं निकाल पाता था।
2. "स्पेशलिस्ट" हमेशा सर्वश्रेष्ठ नहीं होता
उन्होंने ChemVLM-8B का परीक्षण किया, जो विशेष रूप से केमिस्ट्री के लिए प्रशिक्षित एक मॉडल है। आप सोच सकते हैं कि केमिस्ट्री विशेषज्ञ केमिस्ट्री की समस्याओं के लिए सबसे अच्छा होगा। हालाँकि, परिणामों ने दिखाया कि यह अनिवार्य रूप से सामान्य-उद्देश्य वाले मॉडल्स की तुलना में अधिक मजबूत नहीं था। वास्तव में, जब दृश्य प्रमाण दूषित थे, तो इसे भी उतना ही संघर्ष करना पड़ा, यदि उससे भी अधिक। यह सुझाव देता है कि केवल केमिस्ट्री के तथ्य जानना पर्याप्त नहीं है; मॉडल को शोर के बीच भी "देखने" में भी कुशल होना चाहिए।
3. "स्थिर" विजेता
दो मॉडल सबसे लचीले पाए गए: InternVL2.5-8B और Qwen2.5-VL-72B। इन मॉडल्स ने न केवल सही उत्तर दिए; बल्कि वे तब भी सही उत्तर देते रहे जब छवियां धुंधली थीं या उनमें बड़े हिस्से गायब थे। विशेष रूप से, Qwen2.5-VL-72B की क्लीन एक्यूरेसी (87.23%) सबसे अधिक थी और इसने उच्च सटीकता (84.18%) बनाए रखी, भले ही छवियां दूषित थीं। ऐसा लगता है कि इन मॉडल्स के पास सोचने का अधिक वितरित (distributed) तरीका है, जहाँ वे पहेली को हल करने के लिए छवि के केवल एक हिस्से पर निर्भर नहीं रहते।
4. "दिशा" मायने रखती है
अध्ययन में पाया गया कि सूचना को कैसे हटाया जाता है, यह महत्वपूर्ण है। कुछ मॉडल्स के लिए, ऊपर-से-नीचे इमेज हटाना ठीक था, लेकिन दाएँ-से-बाएँ हटाने से वे तुरंत विफल हो गए। यह सुझाव देता है कि इन AI मॉडल्स के पास "ब्लाइंड स्पॉट्स" या पूर्वाग्रह होते हैं कि वे तस्वीर को कैसे देखते हैं। वे सुरागों के लिए छवि के दाहिने हिस्से को देख रहे हो सकते हैं, और यदि आप उस तरफ को ढक देते हैं, तो वे खो जाते हैं।
5. असली समस्या: तर्क, न कि केवल देखना
जब छवियां खराब हुईं, तो मॉडल्स ने केवल वस्तुओं को "देखना" बंद नहीं किया। इसके बजाय, उन्होंने "तर्क करना" (reasoning) बंद कर दिया। शोधकर्ताओं ने पाया कि विफलता का सबसे बड़ा प्रकार सिंबोलिक रीजनिंग (Symbolic Reasoning) था। इसका मतलब है कि मॉडल्स अभी भी आकृतियों और संख्याओं को देख सकते थे, लेकिन वे गणित या विज्ञान की समस्या को हल करने के लिए बिंदुओं को जोड़ नहीं पा रहे थे। यह उस छात्र की तरह है जो घड़ी पर नंबर तो पढ़ सकता है लेकिन अगर सुइयां थोड़ी धुंधली हों तो वह समय का पता नहीं लगा पाता।
निष्कर्ष (The Takeaway)
यह शोधपत्र निष्कर्ष निकालता है कि हम केवल यह नहीं देख सकते कि एक AI आदर्श परीक्षणों पर कैसा प्रदर्शन करता है। हमें उन्हें धुंधली, टूटी हुई और अधूरी छवियों के साथ तनाव-परीक्षण (stress-test) करने की आवश्यकता है ताकि यह देखा जा सके कि क्या उनका तर्क बना रहता है। लेखक सुझाव देते हैं कि AI को वास्तव में उपयोगी बनाने के लिए—जहाँ तस्वीरें अक्सर धुंधली या कटी हुई होती हैं—हमें ऐसे मॉडल्स की आवश्यकता है जो न केवल स्मार्ट हों, बल्कि वास्तविकता की अव्यवस्था को बिना अपना तर्क खोए संभालने के लिए पर्याप्त मजबूत (robust) भी हों। "BRUCE" फ्रेमवर्क हमें यह पता लगाने के उपकरण देता है कि कौन से मॉडल्स वास्तव में वास्तविक दुनिया के लिए तैयार हैं और कौन से केवल आदर्श फोटो लेने में अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।