MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

कल्पना कीजिए कि आपके पास एक मास्टर आर्किटेक्ट है जो एक व्यस्त शहर की तस्वीर देखकर आपको ठीक-ठीक बता सकता है कि वहां क्या हो रहा है, लोग कौन हैं और वे क्या कर रहे हैं। वर्तमान "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) यही करने में माहिर हैं—वे एक सुपर-स्मार्ट जनरललिस्ट की तरह हैं जो रोजमर्रा की छवियों की दुनिया को समझते हैं।

हालाँकि, जब आप इसी आर्किटेक्ट को एक मैकेनिकल इंजीनियरिंग ड्राइंग (एक अत्यधिक तकनीकी, ब्लैक-एंड-व्हाइट ब्लूप्रिंट जिसमें छोटे नंबर, प्रतीक और सख्त नियम भरे होते हैं) देते हैं, तो वे अचानक भ्रमित हो जाते हैं। वे एक गियर के आकार को बदलने वाले छोटे से नंबर को मिस कर सकते हैं, या वे सोच सकते हैं कि एक हिस्सा दूसरे में फिट बैठता है जबकि वास्तव में वह नहीं बैठता। ये ड्राइंग्स एक गुप्त भाषा की तरह हैं जिसका अपना सख्त व्याकरण है, और सामान्य AI अभी तक इसे पूरी तरह से बोलना नहीं जानता।

यह पेपर इस बात का समाधान पेश करता है कि AI को इन ब्लूप्रिंट्स को सही ढंग से पढ़ना कैसे सिखाया जाए। यहाँ उनके काम का विवरण दिया गया है:

1. समस्या: "ब्लूप्रिंट अंधापन" (The "Blueprint Blindness")

मैकेनिकल ड्राइंग्स सामान्य तस्वीरों से अलग होती हैं। वे सघन जानकारी (जैसे कागज पर बना एक स्प्रेडशीट) से भरी होती हैं और सख्त प्रोजेक्शन नियमों का पालन करती हैं (जहाँ एक 3D वस्तु को 2D दृश्यों में बदला जाता है)।

• समस्या: वर्तमान AI मॉडल यहाँ "भंगुर" (brittle) हैं। वे एक बोल्ट का आकार तो देख सकते हैं, लेकिन उस छोटे से टेक्स्ट को मिस कर सकते हैं जो कहता है कि इसे एक विशिष्ट धातु से बनाया जाना चाहिए, या वे यह समझने में विफल हो सकते हैं कि एक दृश्य में दिखने वाला वृत्त दूसरे दृश्य में एक वर्ग (square) के अनुरूप है।
• उपमा: यह एक सामान्य व्यक्ति को एक विदेशी भाषा में लिखी रेसिपी देने जैसा है जिसमें कोई अनुवाद उपलब्ध न हो। वे सामग्री की तस्वीरें तो देख सकते हैं, लेकिन वे माप या खाना पकाने के निर्देशों को नहीं पढ़ सकते, इसलिए अंतिम व्यंजन खराब हो जाता है।

2. समाधान भाग A: MechVQA (द "टेक्स्टबुक")

इसे ठीक करने के लिए, लेखकों ने MechVQA बनाया, जो अनिवार्य रूप से AI के अध्ययन के लिए एक विशाल, उच्च-गुणवत्ता वाली "टेक्स्टबुक" है।

• यह क्या है: एक डेटासेट जिसमें 3,300 वास्तविक मैकेनिकल ड्राइंग और उनसे संबंधित 21,000 प्रश्न और उत्तर शामिल हैं।
• इसे कैसे बनाया गया: उन्होंने केवल AI से अनुमान लगाने के लिए नहीं कहा। उन्होंने एक अर्ध-स्वचालित प्रक्रिया का उपयोग किया जहाँ मानव विशेषज्ञों (मैकेनिकल इंजीनियरों) ने डेटा की जाँच की, त्रुटियों को सुधारा और यह सुनिश्चित किया कि प्रश्न निष्पक्ष और उत्तर देने योग्य हों।
• संरचना: प्रश्नों को कठिनाई के तीन स्तरों में व्यवस्थित किया गया है, जैसे कि एक वीडियो गेम:
  1. पहचान (Recognition): "यह प्रतीक क्या है?" या "वहाँ कितने छेद हैं?" (बुनियादी बातें)।
     2. तर्क (Reasoning): "यदि यह हिस्सा 5cm लंबा है और वह हिस्सा 3cm है, तो कितनी जगह बची है?" या "वह दृश्य इस दृश्य से कैसे जुड़ता है?" (कड़ियों को जोड़ना)।
  2. निर्णय (Judging): "क्या इस ड्राइंग में कोई महत्वपूर्ण आयाम (dimension) गायब है?" या "क्या यह हिस्सा सुरक्षा नियमों का उल्लंघन करता है?" (एक इंस्पेक्टर की तरह कार्य करना)।

3. समाधान भाग B: MechVL (द "विशेषज्ञ छात्र")

एक बार जब उनके पास टेक्स्टबुक (MechVQA) आ गई, तो उन्होंने MechVL नामक एक नया AI मॉडल प्रशिक्षित किया।

• प्रशिक्षण विधि: उन्होंने केवल AI को किताब एक बार नहीं पढ़ायी। उन्होंने दो चरणों वाली प्रशिक्षण प्रक्रिया का उपयोग किया:
  1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): AI ने टेक्स्टबुक का अध्ययन किया और सही उत्तर सीखे, जैसे कि एक छात्र अध्ययन गाइड को याद करता है।
  2. रीइन्फोर्समेंट लर्निंग (RL): यह "अभ्यास" का चरण है। AI ने प्रश्नों के उत्तर देने का प्रयास किया, और यदि उसने सही उत्तर दिया, तो उसे इनाम मिला। यदि उसने गलती की (जैसे किसी नियम को अनदेखा करना या नंबर मिस करना), तो उसे दंड मिला। महत्वपूर्ण रूप से, उन्होंने एक विशेष स्कोरिंग सिस्टम का उपयोग किया जिसने AI को न केवल सही उत्तर के लिए, बल्कि अपने तर्क को स्पष्ट और पेशेवर रूप से समझाने के लिए भी पुरस्कृत किया।
• परिणाम: यह "विशेषज्ञ छात्र" (MechVL) सामान्य मॉडलों की तुलना में ब्लूप्रिंट पढ़ने में बहुत बेहतर हो गया। इसने परीक्षणों पर काफी अधिक अंक प्राप्त किए, विशेष रूप से उन कठिन प्रश्नों पर जिनमें जटिल तर्क और नियमों की जाँच की आवश्यकता थी।

4. निष्कर्ष (The Takeaway)

पेपर का दावा है कि एक विशेष डेटासेट (MechVQA) बनाकर और उस पर विशेष रूप से प्रशिक्षित मॉडल (MechVL) विकसित करके, उन्होंने एक ऐसा AI बनाया है जो अंततः मैकेनिकल इंजीनियरिंग ड्राइंग की "गुप्त भाषा" को समझ सकता है।

• इसने क्या हासिल किया: नए मॉडल ने इन विशिष्ट कार्यों पर सबसे अच्छे मौजूदा "क्लोज्ड-सोर्स" (निजी, महंगे) AI मॉडलों को एक महत्वपूर्ण अंतर (लगभग 7.5 प्रतिशत अंक) से पीछे छोड़ दिया।
• सीमा: लेखक स्पष्ट हैं कि यह मॉडल एक निर्णय-सहायता सहायक (decision-support assistant) है। इसे इंजीनियरों के काम की जाँच करने या उनके वर्कफ़्लो को तेज करने में मदद करने के लिए डिज़ाइन किया गया है, लेकिन यह मानव विशेषज्ञ का विकल्प नहीं है। जिस तरह एक स्पेल-चेकर आपको लिखने में मदद करता है लेकिन आपके लिए उपन्यास नहीं लिखता, यह AI ड्राइंग की व्याख्या करने में मदद करता है लेकिन मानवीय निरीक्षण के बिना महत्वपूर्ण सुरक्षा निर्णयों के लिए इस पर आँख मूंदकर भरोसा नहीं किया जाना चाहिए।

संक्षेप में, इस पेपर ने AI को ब्लूप्रिंट पढ़ना सिखाने के लिए एक विशेष स्कूल और पाठ्यक्रम बनाया, जिसके परिणामस्वरूप एक ऐसा मॉडल तैयार हुआ जो आज के सामान्य-उद्देश्य वाले मॉडलों की तुलना में इंजीनियरिंग कार्यों में बहुत अधिक स्मार्ट है।