MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

تخيل أن لديك مهندسًا معماريًا بارعًا يمكنه النظر إلى صورة لمدينة صاخبة وإخبارك بالضبط بما يحدث، ومن هم الأشخاص، وماذا يفعلون. هذا هو ما تبرع فيه "نماذج اللغات الكبيرة متعددة الوسائط" (MLLMs) الحالية—فهي تشبه خبراء عامين أذكياء للغاية يفهمون عالم الصور اليومية.

ومع ذلك، عندما تسلم نفس هذا المهندس المعماري رسمًا هندسيًا ميكانيكيًا (وهو مخطط تقني عالي الدقة، باللونين الأبيض والأسود، مليء بالأرقام والرموز الصغيرة والقواعد الصارمة)، فإنه يرتبك فجأة. قد يغفل عن رقم صغير يغير حجم ترس ما، أو قد يعتقد أن قطعة ما تتناسب مع أخرى بينما هي في الواقع لا تتناسب. هذه الرسومات تشبه لغة سرية لها قواعدها الخاصة والصارمة، والذكاء الاصطناعي العام لا يتحدثها بطلاقة بعد.

تقدم هذه الورقة البحثية حلاً لتعليم الذكاء الاصطناعي كيفية قراءة هذه المخططات بشكل صحيح. إليك تفصيل عملهم:

1. المشكلة: "عمى المخططات" (Blueprint Blindness)

الرسومات الميكانيكية تختلف عن الصور العادية. فهي محشوة بمعلومات كثيفة (مثل جدول بيانات مرسوم على ورق) وتتبع قواعد إسقاط صارمة (حيث يتم تسطيح جسم ثلاثي الأبعاد إلى مساقط ثنائية الأبعاد).

• المشكلة: النماذج الحالية للذكاء الاصطิعي "هشة" هنا. فقد ترى شكل مسمار، لكنها قد تغفل عن النص الصغير الذي يحدد أنه يجب أن يُصنع من معدن معين، أو قد تفشل في إدراك أن دائرة في أحد المساقط تقابل مربعًا في مسقط آخر.
• التشبيه: الأمر يشبه إعطاء خبير عام وصفة مكتوبة بلغة أجنبية دون ترجمة. يمكنه رؤية صور المكونات، لكنه لا يستطيع قراءة المقاييس أو تعليمات الطبخ، لذا تصبح النتيجة النهائية فوضوية.

2. الحل الجزء (أ): MechVQA (الـ "كتاب المدرسي")

لإصلاح ذلك، أنشأ المؤلفون MechVQA، وهو في الأساس "كتاب مدرسي" ضخم وعالي الجودة ليدرسه الذكاء الاصطناعي.

• ما هو: مجموعة بيانات تحتوي على 3,300 رسم ميكانيكي حقيقي و21,000 سؤال وجواب حولها.
• كيف تم إعداده: لم يكتفوا بجعل الذكاء الاصطناعي يخمن. بل استخدموا عملية شبه مؤتمتة حيث قام خبراء بشريون (مهندسون ميكانيكيون) بمراجعة البيانات، وتصحيح الأخطاء، وضمان أن تكون الأسئلة عادلة وقابلة للإجابة.
• الهيكل: الأسماء منظمة في ثلاثة مستويات من الصعوبة، مثل ألعاب الفيديو:
  1. التعرف (Recognition): "ما هذا الرمز؟" أو "كم عدد الثقوب الموجودة؟" (الأساسيات).
     2. الاستنتاج (Reasoning): "إذا كان هذا الجزء بطول 5 سم وذلك الجزء بطول 3 سم، فكم تبلغ المساحة المتبقية؟" أو "كيف يتصل هذا المسقط بذلك المسقط؟" (ربط النقاط ببعضها).
  2. الحكم (Judging): "هل ينقص هذا الرسم بُعدٌ حرج؟" أو "هل ينتهك هذا الجزء قواعد السلامة؟" (العمل كفاحص).

3. الحل الجزء (ب): MechVL (الـ "طالب المتخصص")

بمجرد حصولهم على الكتاب المدرسي (MechVQA)، قاموا بتدريب نموذج ذكاء اصطناعي جديد يسمى MechVL.

• طريقة التدريب: لم يكتفوا بجعل الذكاء الاصطناعي يقرأ الكتاب مرة واحدة، بل استخدموا عملية تدريب من خطوتين:
  1. الضبط الدقيق الخاضع للإشراف (SFT): درس الذكاء الاصطناعي الكتاب المدرسي وتعلم الإجابات الصحيحة، مثل طالب يحفظ دليل دراسي.
  2. التعلم التعزيزي (RL): هذه هي مرحلة "الممارسة". حاول الذكاء الاصطناعي الإجابة على الأسئلة، وإذا أجاب بشكل صحيح، يحصل على مكافأة. وإذا ارتكب خطأً (مثل تجاهل قاعدة أو إغفال رقم)، يحصل على عقوبة. والأهم من ذلك، استخدموا نظام تسجيل خاص يكافئ الذكاء الاصطناعي ليس فقط على الإجابة الصحيحة، بل على شرح منطقه بوضوح واحترافية.
• النتيجة: أصبح هذا "الطالب المتخصص" (MechVL) أفضل بكثير في قراءة المخططات من النماذج "العامة". وقد سجل درجات أعلى بكثير في الاختبار، خاصة في الأسئلة الصعبة التي تتطلب استنتاجاً معقداً ومراجعة القواعد.

4. الخلاصة

تدعي الورقة أنه من خلال إنشاء مجموعة بيانات متخصصة (MechVQA) وتدريب نموذج عليها خصيصاً (MechVL)، فقد بنوا ذكاءً اصطناعيًا يمكنه أخيراً فهم "اللغة السرية" لرسومات الهندسة الميكانيكية.

• ما حققه: تفوق النموذج الجديد على أفضل نماذج الذكاء الاصطناعي "مغلقة المصدر" (الخاصة والمكلفة) بفارق كبير (حوالي 7.5 نقطة مئوية) في هذه المهام المحددة.
• القيود: يوضح المؤلفون أن هذا النموذج هو مساعد لدعم القرار. فهو مصمم لمساعدة المهندسين في مراجعة عملهم أو تسريع سير عملهم، ولكنه ليس بديلاً للخبير البشري. تماماً كما يساعدك مصحح الإملاء في الكتابة ولكنه لا يكتب لك الرواية، يساعد هذا الذكاء الاصطناعي في تفسير الرسومات ولكن لا ينبغي الوثوق به بشكل أعمى في قرارات السلامة الحرجة دون إشراف بشري.

باخت اختصار، قامت الورقة البحثية ببناء مدرسة متخصصة ومنهج دراسي لتعليم الذكاء الاصطناعي كيفية قراءة المخططات، مما نتج عنه نموذج أكثر ذكاءً في المهام الهندسية من النماذج العامة المتوفرة لدينا اليوم.