EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions
تقدم هذه الورقة EDU-CIRCUIT-HW، وهي مجموعة بيانات تضم أكثر من 1,300 حل مكتوب بخط اليد لمستويات جامعية في مجالات العلوم والتكنولوجيا والهندسة والرياضيات (STEM) حقيقية، للكشف عن فجوات موثوقية كبيرة في النماذج اللغوية الكبيرة متعددة الوسائط الحالية في التعرف على المنطق المعقد المكتوب بخط اليد، وتُظهر أن الاستفادة من أنماط الخطأ المحددة مع حد أدنى من التدخل البشري يمكن أن تعزز بفعالية متانة التصحيح الآلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم أمام جبل من الواجبات المنزلية التي يتعين عليك تصحيحها. في كل ليلة، تحلم بمساعد آلي سحري يمكنه قراءة خط يد طلابك الفوضوي، وفهم مسائل الرياضيات المعقدة ومخططات الدوائر الكهربائية، وإعطائهم الدرجة الصحيحة فوراً.
هذه الورقة البحثية تتحدث عن بناء ذلك الروبوت، ولكن مع تحول مهم للغاية: الروبوت حالياً يعاني من "الهلوسة"، ونحن بحاجة لتعليمه كيف يعترف عندما يكون مرتبكاً.
إليك قصة الورقة البحثية، مقسمة إلى مفاهيم بسيطة:
١. المشكلة: الروبوت "الذكي" هو في الواقع روبوت "مشتت"
حاول الباحثون استخدام أكثر نماذج الذكاء الاصطناي تقدماً في العالم (نماذج اللغات الكبيرة متعددة الوسائط - Multimodal LLMs) لقراءة واجبات هندسية جامعية. هذه النماذج تشبه الطلاب فائقي الذكاء الذين يمكنهم قراءة كتاب وتلخيصه بشكل مثالي.
لكن عندما تسلمهم ورقة بها مخطط دائرة كهربائية مرسوم يدوياً بشكل فوضوي، ومعادلة متعرجة، وبعض الملاحظات المكتوبة بخط غير واضح، فإنهم يرتبكون.
- التشبيه: تخيل أنك تطلب من مترجم فائق الذكاء أن يترجم رسالة مكتوبة بخط اليد من أحد الأجداد. الجد كتب "أحبك"، لكن حرف الـ "L" يبدو مثل رقم "7". قد يقرأها الذكاء الاصطناعي "I 7ve you".
- الفخ: في اختبار بسيط، قد يظل الذكاء الاصطناعي يخمن الدرجة الصحيحة لأن رقم "7" لم يغير الإجابة النهائية. لكن في العالم الحقيقي، قد يكون رقم "7" هذا هو الفرق بين دائرة تعمل وبين احتراق صمام أمان. كان الذكاء الاصطناعي يحصل على "الدرجة" الصحيحة بالصدفة، لكنه كان يفشل في جزء "القراءة".
٢. الحل: مجموعة بيانات "EDU-CIRCUIT-HW"
لاختبار الروبوتات بشكل صحيح، لم يستطع الباحثون استخدام مسائل رياضية نظيفة ومطبوعة؛ بل كانوا بحاجة إلى الواقع كما هو.
- ماذا فعلوا: جمعوا أكثر من 1,300 واجب منزلي فعلي من فصل حقيقي لتحليل الدوائر الكهربائية في جامعة. لم تكن هذه الواجبات مثالية؛ فقد كانت فوضوية، وبها أرقام مشطوبة، ورسومات غريبة، وخربشات مربكة.
- "المعيار الذهبي": استعانوا بخبراء بشريين للجلوس وإعادة كتابة كل واجب بدقة وتحويله إلى نص نظيف ومثالي. أصبح هذا هو "مفتاح الإجابة" لاختبار القراءة.
٣. الاكتشاف: الأخطاء "غير المرئية"
عندما اختبروا روبوتات الذكاء الاصطناعي مقابل هذه المجموعة من البيانات، وجدوا شيئاً صادماً.
- الوهم: كانت روبوتات الذكاء الاصطناعي تحصل على حوالي 80% من الدرجات بشكل صحيح. بدا الأمر وكأنها تقوم بعمل رائع!
- الواقع: عندما فحص الباحثون كيفية قراءة الذكاء الاصطناعي للنص، وجدوا مئات الأخطاء الخفية. كان الذكاء الاصطناعي يخطئ في قراءة قيمة مقاومة، أو يخلط بين علامة "الزائد" وعلامة "الناقص"، أو يسيء فهم حلقة في الدائرة الكهربائية.
- الاستعارة: الأمر يشبه سيارة تسير على طريق ما. نظام تحديد المواقع (الذكاء الاصطناعي) يقول: "انعطف يساراً عند الحظيرة الحمراء الكبيرة". تنعطف السيارة يساراً. لكن نظام تحديد المواقع في الواقع رأى حظيرة زرقاء وحظيرة خضراء. لقد وصل إلى الوجهة الصحيحة، لكنه كان يتخيل المشهد المحيط بشكل خاطئ. إذا تغيرت ظروف الطريق (اختبار أصعب)، ستتحطم السيارة لأنها لا تعرف حقاً ما الذي تنظر إليه.
لقد صنفوا هذه الأخطاء إلى أربعة أنواع:
- الأخطاء المطبعية: قراءة الرقم "6" على أنه حرف "b".
- البنية: إفساد شكل الكسر أو تنسيق المعادلة.
- الرسم: سوء فهم دائرة كهربائية مرسومة يدوياً (على سبيل المثال، الاعتقاد بأن سلكين متصلان بينما هما ليسا كذلك).
- المنطق: تخطي خطوة في الاستنتاج أو الخلط بين ترتيب العمليات الحسابية.
٤. الإصلاح: شبكة الأمان "الإنسان في الحلقة" (Human-in-the-Loop)
أدرك الباحثون أنه لا يمكنهم الثقة في الذكاء الاصطناعي بشكل أعمى. لكنهم أيضاً لم يرغبوا في توظيف بشر لتصحيح كل شيء (فهذا يلغي الغرض من الذكاء الاصطناعي).
لذلك، بنوا نظاماً هجيناً، أطلقوا عليه اسم "وحدة إعادة التصحيح" (Regrading Module).
- كيف يعمل:
- يقرأ الذكاء الاصطناعي الواجب المنزلي ويعطي درجة.
- ينظر "محقق ذكاء اصطناعي" ثانٍ إلى القراءة ويسأل: "انتظر، هل هذا منطقي؟ هل أخطأ الذكاء الاصطناعي في قراءة رمز ما؟"
- إذا وجد "المحقق" خطأً محتملاً، فإنه يضع علامة على الواجب.
- السحر: إذا كانت العلامة تشير إلى "ثقة عالية"، يقوم الذكاء الاصطناعي بتصحيح الخطأ بنفسه. أما إذا كانت العلامة تشير إلى "ثقة منخفضة" (أي أن الخط يدويته غير واضح جداً)، فإنه يرسل هذا الواجب تحديداً إلى معلم بشري.
- النتيجة: هذا النظام أرسل 3.3% فقط من الواجبات المنزلية إلى البشر. أما الباقي فقد تم تصحيحه بواسطة الذكاء الاصطناعي، ولكن مع وجود شبكة أمان من "المحقق".
- المحصلة: ارتفعت دقة التصحيح لتصل إلى مستوى الخبير البشري، ولكن مع تقليل العمل البشري بنسبة 97%.
الخلاصة الكبرى
تعلمنا هذه الورقة البحثية أنه في المجالات عالية المخاطر مثل التعليم أو الطب، لا يمكننا مجرد النظر إلى النتيجة النهائية. يجب علينا فحص "عملية التفكير" (القراءة).
إذا كنت تريد استخدام الذكاء الاصطناعي لتصحيح واجبات الطلاب، فلا يمكنك الاكتفاء بالقول: "إليك الواجب، قم بتصحيحه". أنت بحاجة إلى نظام:
- يعرف أنه قد يكون مخطئاً.
- لديه وسيلة لرصد أخطائه الخاصة.
- يعرف متى يطلب المساعدة من البشر.
لم يبنِ الباحثون مجرد روبوت أفضل؛ بل بنوا حزام أمان للروبوت، لضمان أنه عندما يُستخدم في العالم الحقيقي، لن يتسبب في رسوب طالب بالخطأ لأنه اعتقد أن علامة "الزائد" هي علامة "ناقص".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.