Unveiling Fine-Grained Visual Traces: Evaluating Multimodal Interleaved Reasoning Chains in Multimodal STEM Tasks
यह शोधपत्र StepSTEM प्रस्तुत करता है, जो 283 समस्याओं वाला एक कठोर स्नातक-स्तरीय बेंचमार्क है और इसमें एक नवीन स्टेप-लेवल मूल्यांकन ढांचा है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में सूक्ष्म स्तर पर क्रॉस-मोडल तर्क क्षमता का आकलन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल्स अभी भी वास्तविक दृश्य-पाठ्य एकीकरण के बजाय अत्यधिक रूप से टेक्स्टुअल शॉर्टकट्स पर निर्भर हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कठिन विज्ञान पहेली हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि यह समझना कि एक पुल कैसे टिका हुआ है या किसी उपग्रह की कक्षा की गणना करना। आप रोबोट को पुल की एक तस्वीर और समस्या का एक लिखित विवरण दिखाते हैं।
समस्या: "चीट कोड" वाला रोबोट
वर्तमान में, सबसे बुद्धिमान AI रोबोट (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) उन छात्रों की तरह हैं जो पढ़ने में तो बहुत अच्छे हैं लेकिन देखने में बहुत खराब। जब आप उन्हें एक चित्र के साथ विज्ञान की समस्या देते हैं, तो वे अक्सर चित्र को पूरी तरह से अनदेखा कर देते हैं। वे केवल टेक्स्ट को पढ़ते हैं, अपनी याददाश्त के आधार पर उत्तर का अनुमान लगाते हैं, और कहते हैं, "मैंने इसे हल कर लिया!"
इस शोध पत्र में इसे "मोडैलिटी कोलैप्स" (modality collapse) कहा गया है। यह उस छात्र की तरह है जो गणित की परीक्षा दे रहा है, जिसके सामने एक ग्राफ है, लेकिन वह केवल प्रश्न के शब्दों को पढ़ने का निर्णय लेता है और ग्राफ को अनदेखा कर देता है क्योंकि यह आसान है। मौजूदा परीक्षण अक्सर उन्हें इससे बचने देते हैं क्योंकि वे केवल यह देखते हैं कि अंतिम उत्तर सही है या नहीं। यदि रोबोट बिना चित्र देखे सही संख्या का अनुमान लगा लेता है, तो परीक्षण कहता है, "बहुत अच्छा!" लेकिन रोबोट ने वास्तव में दृश्य संकेतों (visual clues) का उपयोग करना नहीं सीखा।
समाधान: STEPSTEM (एक "सख्त शिक्षक")
लेखकों ने एक नया, बहुत ही सख्त परीक्षण बनाया है जिसे STEPSTEM कहा जाता है। इसे एक "स्नातक-स्तरीय" (graduate-level) परीक्षा के रूप में समझें जो रोबोट को अपना काम दिखाने के लिए मजबूर करती है।
- द ट्रैप (जाल): उन्होंने 283 पेचीदा समस्याएं डिजाइन कीं जिन्हें आप बिना चित्र देखे हल नहीं कर सकते। केवल टेक्स्ट एक बंद रास्ता है; चित्र ही कुंजी है। यह एक खजाने की खोज की तरह है जहाँ मानचित्र (चित्र) ही खजाना खोजने का एकमात्र तरीका है, और सुराग (टेक्स्ट) बिना चित्र के बेकार हैं।
- आवश्यकता: रोबोट को केवल उत्तर देने की अनुमति नहीं है; उसे समाधान को चरण-दर-चरण बताना होगा, जिसमें टेक्स्ट लिखने और चित्र बनाने के बीच बारी-बारी से बदलाव करना होगा। यह एक छात्र को भौतिकी (physics) की समस्या हल करने के लिए कहने जैसा है जहाँ उसे पहले एक स्पष्टीकरण लिखना है, फिर एक बल आरेख (force diagram) बनाना है, फिर अगला चरण लिखना है, फिर एक नया आरेख बनाना है, और इसी तरह आगे बढ़ना है।
- ग्रेडिंग (मूल्यांकन): केवल अंतिम संख्या की जाँच करने के बजाय, लेखकों ने एक "स्मार्ट ग्रेडर" बनाया है जो हर एक चरण की जाँच करता है।
- क्या रोबोट ने चित्र के सही हिस्से को देखा? (वे "बाउंडिंग बॉक्स" का उपयोग करते हैं जो डिजिटल स्टिकी नोट्स की तरह होते हैं)।
- क्या टेक्स्ट और ड्राइंग आपस में मेल खाते थे?
- क्या रोबोट ने एक तार्किक पथ का पालन किया, या वह सीधे निष्कर्ष पर कूद गया?
परिणाम: रोबोट अभी भी सीख रहे हैं
जब उन्होंने अपने शीर्ष-स्तरीय रोबोटों को इस सख्त परीक्षण के माध्यम से चलाया, तो परिणाम आश्चर्यजनक थे:
- "टेक्स्ट-ओनली" विशेषज्ञ: सबसे शक्तिशाली रोबोट जो केवल टेक्स्ट लिख सकते हैं (जैसे Claude Opus 4.6 और Gemini 3.1 Pro), उन्होंने लगभग 38% उत्तर सही दिए। वे टेक्स्ट वाले हिस्सों में अच्छे थे लेकिन ड्राइंग वाले हिस्सों में पूरी तरह विफल रहे क्योंकि वे वास्तव में चित्र बना ही नहीं सकते।
- "ऑल-राउंडर" रोबर्स: वे रोबोट जो पढ़ भी सकते हैं और बना भी सकते हैं (जैसे Gemini 2.5 Flash Image), वे ड्राइंग करने में बेहतर थे, लेकिन वे अभी भी सही अंतिम उत्तर पाने के लिए संघर्ष कर रहे थे। वे एक चित्र तो बना सकते थे, लेकिन अक्सर उनकी तर्क प्रक्रिया गलत हो जाती थी।
- बड़ा अंतर: शोध पत्र में पाया गया कि सर्वश्रेष्ठ रोबोट भी वास्तविक "विजुअल थिंकर" (दृश्य विचारक) होने से बहुत दूर हैं। वे टेक्स्ट पर बहुत अधिक निर्भर करते हैं और वास्तव में देखने और सोचने को जोड़ने में विफल रहे हैं।
निष्कर्ष (टेकअवे)
यह शोध पत्र तर्क देता है कि हमें केवल रोबोट से यह पूछना बंद करना चाहिए कि "उत्तर क्या है?" और इसके बजाय पूछना शुरू करना चाहिए, "मुझे दिखाओ कि तुम वहां तक कैसे पहुंचे।"
एक जासूस की कल्पना करें। यदि एक जासूस अपराध को सुलझाता है लेकिन उसने उंगलियों के निशान या अपराध स्थल की तस्वीरों को नहीं देखा, तो हम उसके समाधान पर भरोसा नहीं करेंगे, भले ही उसने सही नाम का अनुमान लगाया हो। STEPSTEM वह उपकरण है जो AI जासूस को सबूतों (चित्रों) को देखने और यह समझाने के लिए मजबूर करता है कि उस सबूत ने चरण-दर-चरण निष्कर्ष तक पहुँचने में कैसे मदद की।
लेखक निष्कर्ष निकालते हैं कि हालांकि AI स्मार्ट हो रहा है, लेकिन इसे वास्तव में "देखने" और विज्ञान की समस्याओं के बारे में वैसे ही "सोचने" के लिए कि एक मानव विशेषज्ञ करता है, अभी भी एक लंबा रास्ता तय करना है। उन्हें उम्मीद है कि यह नया परीक्षण शोधकर्ताओं को ऐसे रोबोट बनाने में मदद करेगा जो केवल अनुमान नहीं लगाते, बल्कि दृश्य दुनिया को वास्तव में समझते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।