MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence
यह शोध पत्र MMArch प्रस्तुत करता है, जो वास्तुकला और सिविल इंजीनियरिंग के लिए एक कठोर बेंचमार्क है जो इंजीनियरिंग सिद्धांतों के साथ वितरित दृश्य साक्ष्यों को संश्लेषित करने की मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जो वर्तमान एआई प्रणालियों और मानव विशेषज्ञों के बीच एक महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को आर्किटेक्ट (वास्तुकार) बनना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि वह यह पहचान सके कि एक तस्वीर में घर दिख रहा है; आप चाहते हैं कि वह यह भी समझे कि वह घर गिरेगा क्यों नहीं। यह "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) की दुनिया है। इन मॉडल्स को एक सुपर-स्मार्ट डिजिटल दिमाग के रूप में सोचें जो टेक्स्ट पढ़ सकता है और साथ ही साथ तस्वीरों को देख भी सकता है। वे जो देखते हैं उसका वर्णन करने में बहुत अच्छे हैं, जैसे यह कहना कि, "वह एक नीला दरवाजा है," या "यह चार्ट ऊपर जाती हुई एक रेखा दिखाता है।" लेकिन इंजीनियरिंग की वास्तविक दुनिया में, केवल यह जानना पर्याप्त नहीं है कि आप क्या देख रहे हैं। आपको एक ड्राइंग, भौतिकी (फिजिक्स) के नियम और सुरक्षा कोड के बीच संबंध जोड़ना होगा ताकि एक निर्णय लिया जा सके। यह एक जासूस होने जैसा है जिसे एक अपराध स्थल की फोटो देखनी है, एक विशिष्ट कानून को याद करना है, और फिर तय करना है कि संदिग्ध दोषी है या नहीं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये AI जासूस वास्तव में केस सुलझा सकते हैं, या वे केवल देखे गए सुरागों के आधार पर अनुमान लगा रहे हैं?
यहीं पर एक नया अध्ययन जिसका नाम MMArch है, काम आता है। शोधकर्ताओं ने विशेष रूप से आर्किटेक्चर और सिविल इंजीनियरिंग के लिए एक विशाल, कठिन टेस्ट बनाया है ताकि यह देखा जा सके कि क्या AI वास्तव में एक इंजीनियर की तरह "सोच" सकता है। उन्होंने AI से केवल एक तस्वीर का वर्णन करने के लिए नहीं कहा; उन्होंने उसे एक ऐसी पहेली दी जहाँ उत्तर एक ड्राइंग के विभिन्न हिस्सों में छिपा हुआ था और उसे हल करने के लिए भौतिकी के एक विशिष्ट नियम की आवश्यकता थी। परिणाम थोड़े चौंकाने वाले थे। जबकि सबसे स्मार्ट AI मॉडल लगभग आधे सवालों को सही कर सके, विशेषज्ञों की एक टीम ने लगभग सभी को सही किया। अध्ययन से पता चला कि AI इसलिए विफल नहीं हो रहा है क्योंकि वह तस्वीर को "देख" नहीं पा रहा है; वह इसलिए विफल हो रहा है क्योंकि वह तस्वीर को सही नियम से जोड़ने और उत्तर प्राप्त करने के लिए गणित करने में असमर्थ है। यह ऐसा है जैसे AI मेनू पढ़ सकता है और सामग्री देख सकता है, लेकिन वह यह नहीं समझ पाता कि व्यंजन कैसे पकाया जाए।
बड़ा टेस्ट: MMArch
शोधकर्ताओं ने MMArch (मल्टीमॉडल आर्किटेक्चर) नामक एक बेंचमार्क बनाया। इसे AI के लिए एक फाइनल एग्जाम की तरह समझें, लेकिन बहुविकल्पीय प्रश्नों (मल्टीपल चॉइस) के बजाय जहाँ आप केवल अनुमान लगा सकते हैं, यह एक लघु-उत्तर (शॉर्ट-आंसर) टेस्ट है। यह परीक्षा 1,212 प्रश्नों से बनी है जो सीधे इमारतों, पुलों और शहरों के बारे में वास्तविक, पीयर-रिव्यू किए गए वैज्ञानिक शोध पत्रों से लिए गए हैं। ये मनगढ़ंत तस्वीरें नहीं हैं; ये वे वास्तविक आरेख (डायग्राम) हैं जिनका उपयोग इंजीनियर यह साबित करने के लिए करते हैं कि उनके डिज़ाइन काम करेंगे।
यह टेस्ट 10 अलग-अलग क्षेत्रों को कवर करता है, जैसे कि भूकंप के दौरान इमारतें कैसे हिलती हैं या हम शहरों के डिजिटल मॉडल कैसे डिजाइन करते हैं। यह सुनिश्चित करने के लिए कि AI शॉर्टकट का उपयोग न कर सके, शोधकर्ताओं ने एक चतुर "प्लानर-राइटर" (योजनाकार-लेखक) प्रणाली का उपयोग किया। पहले, एक "प्लानर" ने एक पेपर को देखा और एक विशिष्ट उत्तर चुना (जैसे "रीबार #6 और #7")। फिर, एक "राइटर" ने एक ऐसा प्रश्न बनाया जिसके लिए उत्तर खोजने हेतु चित्र को देखना और इंजीनियरिंग के नियम को जानना अनिवार्य था। AI केवल टेक्स्ट नहीं पढ़ सकता था या चित्र के एक छोटे से हिस्से को नहीं देख सकता था; उसे पूरी तस्वीर देखनी थी, सही सुराग खोजने थे और उत्तर पाने के लिए एक नियम लागू करना था।
परिणाम: AI बनाम इंसान
जब उन्होंने 18 अलग-अलग AI मॉडल्स (दोनों मुफ्त, ओपन-सोर्स और महंगे, टॉप-टियर कमर्शियल मॉडल्स) को इस टेस्ट से गुजारा, तो परिणाम स्पष्ट थे: AI अभी भी एक वास्तविक इंजीनियर बनने से बहुत दूर है।
- मानव विशेषज्ञ: वास्तविक आर्किटेक्ट्स और इंजीनियरों के एक पैनल ने 94.6% उत्तर सही दिए। उन्होंने टेस्ट में उत्कृष्ट प्रदर्शन किया।
- सबसे अच्छा AI: सबसे स्मार्ट कमर्शियल AI मॉडल (GPT-5.5) केवल 51.7% सही कर पाया।
- ओपन-सोर्स AI: सबसे अच्छे फ्री मॉडल ने लगभग 30% हासिल किया।
यह 40 प्रतिशत अंकों से अधिक का अंतर है। यहाँ तक कि सबसे अच्छा AI भी मुश्किल से पास हो पा रहा है, जबकि इंसान लगभग पूर्ण स्कोर प्राप्त कर रहे हैं। शोधकर्ताओं ने यह सुनिश्चित करने के लिए जांच की कि AI केवल अनुमान नहीं लगा रहा है या चित्र के बजाय टेक्स्ट को नहीं पढ़ रहा है, और उन्होंने पुष्टि की कि AI वास्तव में तर्क (रीजनिंग) करने में संघर्ष कर रहा था।
AI संघर्ष क्यों कर रहा है?
टीम केवल स्कोर पर ही नहीं रुकी; उन्होंने यह भी देखा कि AI गलतियाँ क्यों कर रहा है। उन्होंने पाया कि समस्या यह नहीं थी कि AI चित्र को नहीं देख पा रहा था। AI वास्तव में डायग्राम में सही रेखाओं और नंबरों को पहचानने में काफी अच्छा था। असली समस्या तब हुई जब AI ने जो देखा उसे जो जो वह जानता था, उसके साथ जोड़ने की कोशिश की।
उन्होंने गलतियों को पांच प्रकारों में विभाजित किया:
- परसेप्शन एरर्स (Perception Errors - 20.3%): AI ने बस चित्र को गलत पढ़ लिया (जैसे दो समान दिखने वाली रेखाओं के बीच भ्रमित होना)।
- प्रिंसिपल एरर्स (Principle Errors - 21.7%): AI ने चित्र को सही देखा लेकिन गलत नियम का उपयोग किया (जैसे यह सोचना कि ग्राफ में एक चौड़ा लूप यह दर्शाता है कि सामग्री कमजोर हो रही है, जबकि वास्तव में इसका मतलब था कि वह मजबूत हो रही है)।
- कंपोजिशन एरर्स (Composition Errors - 35.8%): यह सबसे बड़ी समस्या थी। AI ने सही नंबर ढूंढ लिए और सही नियम भी जान लिया, लेकिन जब उसने अंतिम उत्तर प्राप्त करने के लिए उन्हें एक साथ जोड़ने की कोशिश की, तो उसने एक स्टेप छोड़ दिया या गणित में गलती कर दी। यह वैसा ही है जैसे आपके पास सभी सामग्रियां और रेसिपी हो, लेकिन आपने उन्हें सही क्रम में मिलाने के चक्कर में केक जला दिया।
- ग्राउंडिंग एरर्स (Grounding Errors - 14.5%): AI को पता था कि क्या खोजना है लेकिन उसने नंबर गलत पढ़ा (जैसे -142 के बजाय +138 कहना)।
- कंसिस्टेंसी एरर्स (Consistency Errors - 7.7%): AI ने अपने "दिमाग" में सही उत्तर निकाल लिया था लेकिन गलत लिख दिया।
सबसे बड़ा निष्कर्ष यह है कि कंपोजिशन एरर्स ने सभी गलतियों के एक तिहाई से अधिक हिस्से का निर्माण किया। इसका मतलब है कि AI की सबसे बड़ी कमजोरी कड़ियों को जोड़ना है। वह सबूत देख सकता है, और वह नियम को याद कर सकता है, लेकिन वह उन्हें एक जटिल समस्या को हल करने के लिए विश्वसनीय रूप से एक साथ नहीं जोड़ सकता।
क्या "स्टेप-बाय-स्टेप सोचना" मदद करता है?
आपने शायद सुना होगा कि AI को "स्टेप-बाय-स्टेप सोचने" (एक तकनीक जिसे चेन-ऑफ-थॉट कहा जाता है) के लिए कहना कठिन समस्याओं को हल करने में मदद करता है। शोधकर्ताओं ने MMArch पर इसका परीक्षण किया। उन्होंने AI को उत्तर देने से पहले अपने तर्क को समझाने के लिए कहा। परिणाम? इससे ज्यादा मदद नहीं मिली। कुछ मॉडल्स के लिए इसने उन्हें थोड़ा बेहतर बनाया; अन्य के लिए, इसने वास्तव में उन्हें और खराब कर दिया। यह सुझाव देता है कि समस्या यह नहीं है कि AI को यह बताने की जरूरत है कि कैसे सोचना है, बल्कि समस्या यह है कि वह वास्तव में आर्किटेक्चर और इंजीनियरिंग के विशिष्ट नियमों के बारे में इतना जानता ही नहीं है कि एक सही चेन-ऑफ-थॉट बना सके।
आगे क्या?
अध्ययन यह निष्कर्ष निकालता है कि हम केवल AI को बड़ा बनाकर या इसे अधिक डेटा देकर इस समस्या को ठीक नहीं कर सकते। मुद्दा आकार की कमी नहीं है; यह गहरे, विशिष्ट तर्क (स्पेशलाइज्ड रीजनिंग) की कमी है। AI को दृश्य साक्ष्य को डोमेन ज्ञान के साथ इस तरह से जोड़ने का सीखना होगा जिसे वर्तमान मॉडल्स अभी तक नहीं कर पा रहे हैं।
MMArch अब अन्य शोधकर्ताओं के लिए एक प्रशिक्षण मैदान के रूप में उपलब्ध है। यह एक नैदानिक उपकरण (डायग्नोस्टिक टूल) है जो हमें यह देखने में मदद करता है कि AI वास्तव में कहाँ विफल हो रहा है ताकि हम भविष्य के लिए बेहतर मॉडल्स बना सकें। तब तक, यदि आपको एक ऐसी गगनचुंबी इमारत डिजाइन करने की आवश्यकता है जो भूकंप के दौरान नहीं गिरेगी, तो आप एक रोबोट से पूछने के बजाय एक मानव विशेषज्ञ को काम पर रखने में अधिक सक्षम होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।