Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems
यह शोध पत्र बेनेट मैकेनिकल कॉम्प्रिहेन्शन टेस्ट से प्राप्त ग्राउंड-ट्रुथ समाधानों के विरुद्ध उनकी चेन-ऑफ-थॉट प्रक्रियाओं और अंतिम उत्तरों का विश्लेषण करके, गुणात्मक यांत्रिक समस्या-समाधान कार्यों पर दो अत्याधुनिक मल्टीमॉडल मॉडलों, Gemma-3 और Qwen-VL की स्थानिक और सामान्य ज्ञान तर्क क्षमताओं का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दैनिक जीवन यांत्रिक पहेलियों से भरा होता है जिन्हें हम बिना कभी कैलकुलेटर का उपयोग किए हल करते हैं। नल खोलना, यह समझना कि एक भारी बक्से को ढलान पर धकेलना हल्के बक्से की तुलना में कठिन क्यों होता है, या यह समझना कि हैंडल घुमाने पर गियर का एक सेट किस दिशा में घूमेगा—ये वे कार्य हैं जिन्हें हम एक प्रकार के सामान्य ज्ञान का उपयोग करके करते हैं। यह क्षमता, जिसे गुणात्मक तर्क (qualitative reasoning) कहा जाता है, सटीक माप या जटिल सूत्रों के बजाय चीजों के दिखने, छूने और अंतरिक्ष में एक-दूसरे से संबंधित होने के तरीके को समझने पर निर्भर करती है। यह मानव बुद्धि का एक इतना मौलिक कौशल है कि नियोक्ता अक्सर विशिष्ट परीक्षणों, जैसे कि बेनेट मैकेनिकल कॉम्प्रिहेन्शन टेस्ट का उपयोग यह देखने के लिए करते हैं कि क्या उम्मीदवारों में प्लंबिंग, आपातकालीन चिकित्सा या ड्राइविंग जैसी भूमिकाओं के लिए आवश्यक जन्मजात यांत्रिक अंतर्ज्ञान मौजूद है। दशकों से, वैज्ञानिक यह सोच रहे हैं कि क्या मशीनें भी ऐसा करने में सक्षम हो सकती हैं, न कि केवल नंबरों की गणना करके, बल्कि भौतिक दुनिया को उसी तरह वास्तव में "देखकर" और समझकर जैसे इंसान करते हैं।
लुइसियाना स्टेट यूनिवर्सिटी ऑफ न्यू ऑरलियन्स के शोधकर्ताओं की एक टीम ने हाल ही में इस प्रश्न की जांच करने के लिए दो नए, छोटे कृत्रिम बुद्धिमत्ता (AI) मॉडल का परीक्षण किया, जिन्हें एक साथ देखने और पढ़ने के लिए डिज़ाइन किया गया है। जेम्मा (Gemma) और क्वेन (Qwen) नामक ये मॉडल किसी छवि को देखने और उसके बारे में एक प्रश्न का उत्तर देने के लिए बनाए गए हैं, जो आधुनिक तकनीक में एक बढ़ती हुई क्षमता है। शोधकर्ता यह जानना चाहते थे कि क्या ये सिस्टम उन्हीं प्रकार की यांत्रिक पहेलियों को हल कर सकते हैं जिनका सामना मनुष्य करते हैं, और अधिक महत्वपूर्ण बात यह है कि वे यह देखना चाहते थे कि मशीनें उत्तर तक पहुँचने के लिए कैसे सोचती हैं। केवल यह जाँचने के बजाय कि अंतिम उत्तर सही है या गलत, टीम ने मॉडलों से अपने तर्क को चरण-दर-चरण समझाने के लिए कहा, जिससे उस आंतरिक तर्क का पता चल सके जिसका उपयोग उन्होंने निष्कर्ष तक पहुँचने के लिए किया था। उन्होंने मॉडलों का परीक्षण गियर, पानी के दबाव, ध्वनि तरंगों और ऊष्मा से जुड़ी तीस अलग-अलग समस्याओं पर किया, जिसमें आसान से लेकर कठिन तक की विभिन्न कठिनाइयाँ शामिल थीं।
परिणामों ने आशा और महत्वपूर्ण सीमाओं, दोनों की एक तस्वीर पेश की। जब समस्याएँ सीधी थीं और दृश्य संकेत स्पष्ट थे, तो दोनों मॉडलों ने अच्छा प्रदर्शन किया, सही समाधान की पहचान की और अपने तर्क को एक स्पष्ट, चरण-दर-चरण प्रवाह के साथ समझाया। इन आदर्श स्थितियों में, मशीनों ने सफलतापूर्वक जो उन्होंने देखा उसे भौतिकी के नियमों के साथ जोड़ दिया, ठीक वैसे ही जैसे कोई छात्र जिसने विषय का अध्ययन किया है और अवधारणाओं को समझता है। हालाँकि, जैसे-जैसे समस्याएँ अधिक सूक्ष्म हुईं या जिनमें स्थानिक संबंधों की गहरी समझ की आवश्यकता थी, मॉडल लड़खड़ाने लगे। उनकी गलतियों का एक बड़ा हिस्सा ज्ञान की कमी से नहीं, बल्कि चित्र को सही ढंग से देखने में विफलता से आया। एक उदाहरण में, जिसमें एक पनडुब्बी और एक ध्वनि तरंग शामिल थी, दोनों मॉडलों ने ऐसी विवरणों की कल्पना की जो वहाँ मौजूद नहीं थे, जैसे कि पनडुब्बी विस्फोट की ओर या उससे दूर जा रही है, जबकि चित्र में एक स्थिर दृश्य दिखाया गया था। क्योंकि उन्होंने इस गति की कल्पना की, उन्होंने गलत तर्क लगाया और गलत उत्तर तक पहुँचे, भले ही वास्तविक समाधान केवल इस बात पर निर्भर था कि ध्वनि हवा की तुलना में पानी के माध्यम से कितनी तेजी से चलती है।
अन्य मामलों में, मॉडल गलत कारणों से सही उत्तर प्राप्त कर रहे थे, जो एक ऐसी घटना है जिसे शोधकर्ताओं ने विशेष रूप से प्रकट करने वाला पाया। एक मॉडल ने सही ढंग से पहचाना कि तीन जल टरबाइनों में से कौन सी सबसे तेज़ घूमेगी, लेकिन उसका स्पष्टीकरण इस पूरी तरह से गलत समझ पर आधारित था कि पानी की धाराएँ ब्लेडों से कैसे टकराती हैं। उसने संयोग से सही परिणाम का अनुमान लगाया, जिससे उसकी त्रुटिपूर्ण आंतरिक प्रक्रिया छिप गई। यह सुझाव देता है कि हालांकि मॉडल कभी-कभी समझ के दिखावे की नकल कर सकते हैं, लेकिन उनमें वह मजबूत, आधारभूत तर्क नहीं है जिसका उपयोग मनुष्य अपने विचारों को सत्यापित करने के लिए करते हैं। अध्ययन में पाया गया कि मॉडल लगभग आधी समस्याओं को हल करने में विफल रहे, जिनकी गलतियाँ या तो खराब स्थानिक तर्क (spatial reasoning)—जैसे संपर्क बिंदुओं या दूरियों जैसे प्रमुख दृश्य विवरणों को मिस करना—या दोषपूर्ण तर्क जहाँ उन्होंने भौतिक नियमों का गलत अनुप्रयोग किया, से उत्पन्न हुई थीं। उदाहरण के लिए, एक गियर की समस्या में, एक मॉडल ने माना कि एक बड़ा गियर एक छोटे गियर को तेजी से चलाएगा, जो कि दिखाए गए विशिष्ट विन्यास में लागू नहीं होता है।
शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि ये छोटे विजन-लैंग्वेज मॉडल प्रभावशाली कार्यों के लिए सक्षम हैं, लेकिन वे अभी भी जटिल यांत्रिक कार्यों में मानवीय अंतर्ज्ञान को बदलने के लिए तैयार नहीं हैं। सही उत्तर प्राप्त करने की क्षमता पर्याप्त नहीं है; उस उत्तर तक पहुँचने का मार्ग तार्किक और दृश्य दुनिया के वास्तविक पठन पर आधारित होना चाहिए। यह अध्ययन रेखांकित करता है कि वर्तमान कृत्रिम बुद्धिमत्ता अभी भी उस प्रकार के गहरे, सामान्य ज्ञान वाले स्थानिक तर्क के साथ संघर्ष करती है जो मनुष्यों को भौतिक दुनिया में सहजता से नेविगेट करने की अनुमति देता है। आगे बढ़ने के लिए, लेखकों का सुझाव है कि भविष्य के सिस्टम को विशेष रूप से उन कार्यों पर प्रशिक्षित करने की आवश्यकता होगी जिनमें स्थान और संबंधों को समझने की आवश्यकता होती है, और शायद उन्हें उन प्रणालियों के साथ जोड़ा जाना चाहिए जो ज्ञात भौतिक सिद्धांतों के विरुद्ध तथ्यों को सत्यापित कर सकें। तब तक, मशीनें उन छात्रों की तरह बनी रहेंगी जो कभी-कभी अनुमान लगाकर परीक्षा पास कर सकते हैं, लेकिन जिन्होंने अभी तक दुनिया को हमारे जैसा वास्तव में देखना नहीं सीखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।