Large Language Models and their Awareness of Mechanics and Spatial Geometry
यह शोध पत्र MecEng प्रस्तुत करता है, जो एक पूर्णतः स्वचालित बेंचमार्क है जो 34 लार्ज लैंग्वेज मॉडल्स की मैकेनिकल इंजीनियरिंग जागरूकता का मूल्यांकन करने के लिए टेक्स्ट विवरणों से सिमुलेशन-रेडी मल्टीबॉडी सिस्टम मॉडल उत्पन्न करने की उनकी क्षमता का परीक्षण करता है, जिससे यह पता चलता है कि जहाँ वर्तमान मॉडल्स रिजिड-बॉडी कार्यों पर तीव्र सुधार और उच्च सफलता दर दिखाते हैं, वहीं वे अभी भी जटिल फ्लेक्सिबल मल्टीबॉडी सिस्टम के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ मशीनें केवल इंजीनियरों द्वारा ब्लूप्रिंट और रिंच (wrench) के माध्यम से नहीं बनाई जातीं, बल्कि कंप्यूटरों द्वारा भी डिज़ाइन की जाती हैं जो एक वाक्य को पढ़ सकते हैं और समझ सकते हैं कि भौतिक दुनिया कैसे काम करती है। दशकों से, कंप्यूटर भाषा को प्रोसेस करने, टेक्स्ट का अनुवाद करने या सरल कंप्यूटर कोड लिखने में उत्कृष्ट रहे हैं। हालाँकि, एक नया मोर्चा उभरा है: क्या ये आर्टिफिशियल इंटेलिजेंस सिस्टम वास्तव में भौतिकी के नियमों को समझ सकते हैं? विशेष रूप से, क्या वे मैकेनिक्स—यानी ठोस वस्तुओं के हिलने, मुड़ने और आपस में क्रिया करने के अध्ययन—और उन्हें बनाने के लिए आवश्यक जटिल ज्यामिति (geometry) को समझ सकते हैं? यह वह प्रश्न है जिसका उत्तर खोजने के लिए इनब्रोक विश्वविद्यालय (University of Innsbruck) और ऑग्सबर्ग विश्वविद्यालय (University of나 Augsburg) के शोधकर्ताओं ने प्रयास किया। वे जानना चाहते थे कि क्या आधुनिक एआई किसी मशीन, जैसे कि एक क्रेन या रोबोटिक आर्म के लिखित विवरण को लेकर उसे एक कार्यशील डिजिटल सिमुलेशन में बदल सकता है, जो वास्तविक दुनिया की वस्तु की तरह ही गति और बल के नियमों का पालन करता हो।
यह पता लगाने के लिए, टीम ने 'मेकेंग' (MecEng) नामक एक कठोर परीक्षण बनाया, जो मैकेनिकल इंजीनियरिंग कार्यों पर आर्टिफिशियल इंटेलिजेंस को चुनौती देने के लिए डिज़ाइन किया गया एक पूर्णतः स्वचालित बेंचमार्क है। शोधकर्ताओं ने लार्ज लैंग्वेज मॉडल्स (जो कई आधुनिक चैटबॉट्स के पीछे के शक्तिशाली एआई सिस्टम हैं) को सरल सेटअप से लेकर जटिल मशीनरी तक के टेक्स्ट विवरण दिए। इन विवरणों में द्रव्यमान (mass), आकार, जोड़ (joints) और विभिन्न हिस्सों को कैसे जुड़ना चाहिए, इसके बारे में विवरण शामिल थे। एआई का काम उस मशीन का डिजिटल मॉडल बनाने के लिए आवश्यक विशिष्ट कंप्यूटर कोड लिखना था। पेच यह था कि मॉडल पूर्ण होना चाहिए था। एआई के लिए केवल एक रफ स्केच या दिखने में आकर्षक छवि बनाना पर्याप्त नहीं था; इसे एक सटीक, गणितीय रूप से सटीक सिमुलेशन तैयार करना था जो बिना क्रैश हुए चल सके और सही भौतिक व्यवहार उत्पन्न कर सके। शोधकर्ताओं ने फिर एआई के काम की तुलना विशेषज्ञ-निर्मित "ग्राउंड ट्रुथ" (ground truth) मॉडलों से की, जिसमें भागों के आकार से लेकर समय के साथ उनके चलने के तरीके तक सब कुछ जाँचा गया।
परिणामों ने तीव्र प्रगति और निरंतर सीमाओं के मिश्रण वाले परिदृश्य को प्रकट किया। जब कार्यों में सरल, कठोर मशीनें शामिल थीं—ऐसी वस्तुएं जो मुड़ती या खिंचती नहीं हैं, जैसे कि एक झूलता हुआ पेंडुलम या जुड़े हुए छड़ (rods) का सेट—तो सर्वश्रेष्ठ एआई मॉडल उल्लेखनीय रूप से अच्छा प्रदर्शन करते थे। सबसे मजबूत प्रोप्राइटरी मॉडल, क्लॉड-ओपस-4.8 (Claude-Opus-4.8) ने 91.4% की सफलता दर हासिल की, जबकि सर्वश्रेष्ठ ओपन-वेट मॉडल, क्वेन-3.6:27बी (qwen3.6:27b) ने 82.1% तक पहुँच बनाई। यह सुझाव देता है कि इन प्रणालियों ने बुनियादी यांत्रिक अवधारणाओं के लिए एक मजबूत अंतर्ज्ञान विकसित कर लिया है। वे सही ढंग से पहचान सकते हैं कि किन हिस्सों की आवश्यकता है, उन्हें कैसे जोड़ना है, और वजन एवं कठोरता जैसे भौतिक गुणों को कैसे आवंटित करना है।
हालाँकि, जब शोधकर्ताओं ने लचीलेपन (flexibility) को पेश किया, तो कठिनाई तेजी से बढ़ गई। वास्तविक दुनिया में, मशीन के कई हिस्से दबाव में मुड़ते, घूमते और विकृत होते हैं, जैसे कि एक पवन टरबाइन ब्लेड या एक लचीली रोबोटिक आर्म। इनका सिमुलेशन करने के लिए, एआई को न केवल आकार का वर्णन करना था, बल्कि एक विस्तृत 3D मेश (mesh)—वस्तु के आयतन को परिभाषित करने वाला छोटे त्रिकोणों का एक डिजिटल जाल—भी तैयार करना था, और फिर यह गणना करनी थी कि वह आकार कैसे कंपन और गति करेगा। यहाँ, प्रदर्शन काफी गिर गया। जबकि शीर्ष प्रोप्राइटरी मॉडल्स ने लगभग 82 प्रतिशत बार सही भाग बनाने में सफलता प्राप्त की, इन लचीले भागों को एक पूर्ण, कार्यशील मशीन सिमुलेशन में जोड़ने की सफलता दर सर्वश्रेष्ठ मॉडल्स के लिए भी गिरकर लगभग 65 प्रतिशत रह गई। ओपन-वेट मॉडल्स और भी अधिक संघर्ष करते दिखे, जहाँ सबसे जटिल असेंबली के लिए समूह की औसत सफलता दर 25 प्रतिशत के करीब रही, हालांकि जेम्मा-4:26बी (gemma4:26b) जैसे व्यक्तिगत मॉडल मात्र 5% के साथ काफी खराब प्रदर्शन करते रहे।
अध्ययन ने ठीक से चिन्हित किया कि एआई कहाँ विफल होता है। यह आमतौर पर बड़ी तस्वीर की समझ की कमी नहीं है; मॉडल आम तौर पर जानते हैं कि एक मशीन कैसी दिखनी चाहिए। इसके बजाय, त्रुटियां अक्सर सूक्ष्म विवरणों में होती हैं। एआई किसी भाग का सामान्य आकार तो सही प्राप्त कर सकता है, लेकिन वह एक विशिष्ट चैम्फर (chamfer) को छोड़ सकता है, या वह गलत सामग्री घनत्व (material density) आवंटित कर सकता है, जिससे गलत वजन की गणना हो सकती है। कुछ मामलों में, एआई एक ऐसा मॉडल तैयार करता था जो दिखने में सही लगता था लेकिन उसमें एक सूक्ष्म ज्यामितीय त्रुटि थी जिसके कारण सिमुलेशन क्रैश हो गया या असंभव भौतिकी उत्पन्न हुई। शोधकर्ताओं ने पाया कि ये त्रुटियां यादृच्छिक (random) नहीं थीं; वे अक्सर इस बात से उत्पन्न होती थीं कि एआई भागों के क्रम या उनके बीच के कनेक्शन को परिभाषित करने के विशिष्ट निर्देशों का पालन करने में विफल रहा।
दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि एआई को कैसे प्रॉम्प्ट (prompt) दिया जाता है, यह मॉडल की अंतर्निहित क्षमताओं की तुलना में कम मायने रखता था। निर्देशों के शब्दों को बदलने या एआई को समस्या के बारे में चरण-दर-चरण "सोचने" के लिए कहने से कुछ मामलों में मदद मिली, लेकिन इसने उत्तर प्राप्त करने के लिए आवश्यक समय और कंप्यूटर शक्ति को भी नाटकीय रूप से बढ़ा दिया। सबसे जटिल कार्यों के लिए, "सोचने" की प्रक्रिया ने कभी-कभी एआई को धीमा कर दिया बिना बेहतर परिणाम की गारंटी दिए। अध्ययन ने समय के साथ एक स्पष्ट रुझान भी दिखाया: 2025 और 2026 में जारी नए मॉडल लगातार पुराने मॉडलों की तुलना में बेहतर प्रदर्शन करते हैं, जो यह सुझाव देता है कि इन सिस्टमों को अधिक डेटा पर प्रशिक्षित किए जाने के साथ मैकेनिकल इंजीनियरिंग को समझने की क्षमता तेजी से सुधर रही है।
शानदार प्रगति के बावजूद, शोधकर्ताओं ने निष्कर्ष निकाला कि वर्तमान आर्टिफिशियल इंटेलिजेंस अभी जटिल डिजाइन कार्य के लिए मानव इंजीनियरों को बदलने के लिए तैयार नहीं है। जबकि सिस्टम सरल मशीनों को उच्च विश्वसनीयता के साथ संभाल सकते हैं, वे लचीली प्रणालियों की जटिल ज्यामिति और भौतिकी के सामने सूक्ष्म, पकड़ में न आने वाली त्रुटियों के प्रति संवेदनशील बने रहते हैं। यह अध्ययन इस बात पर प्रकाश डालता है कि हालांकि एआई ने इंजीनियरिंग की भाषा की नकल करना सीख लिया है, लेकिन उसने अभी तक उन भौतिक नियमों को पूरी तरह से आत्मसात नहीं किया है जो वास्तविक दुनिया को नियंत्रित करते हैं। आगे का रास्ता इन मॉडलों को परिष्कृत करने में निहित है ताकि उन छोटी लेकिन महत्वपूर्ण गलतियों को कम किया जा सके, जिससे वे सक्षम सहायकों से बदलकर उन मशीनों के डिजाइन में विश्वसनीय भागीदार बन सकें जो हमारे भविष्य को आकार देती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।