From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs
تقدم هذه الورقة مجموعة بيانات "من الدليل إلى التنفيذ" (M2AD)، التي تربط فيديوهات تجميع الأثاث مع أدلة التعليمات، لتقييم قدرات وحدود النماذج اللغوية الكبيرة متعددة الوسائط الحالية في تقديم المساعدة متعددة الوسائط في الوقت الفعلي للمهام الإجرائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء قطعة أثاث معقدة من "إيكيا". لديك دليل التعليمات (مجموعة من الرسوم التوضيحية الورقية) وأنت تمسك بالقطع في يديك الآن. تخيل الآن أن لديك مساعداً آلياً (روبوت) فائق الذكاء يراقبك.
السؤال الكبير: هل يمكن لهذا الروبوت أن ينظر إلى يديك، وينظر إلى الدليل الورقي، ويفهم حقاً ما تفعله؟ هل يمكنه أن يقول لك: "مهلاً، لقد انتهيت للتو من الخطوة 3، لذا عليك الآن إحضار البرغي من الخطوة 4"؟
هذه الورقة البحثية تتحدث عن بناء مسار اختبار لمعرفة مدى براعة روبوتات الذكاء الاصطناعي الحالية في كونها ذلك المساعد المفيد.
1. المشكلة: الاختبارات القديمة مقابل الحياة الواقعية
في السابق، كان الباحثون يختبرون الذكاء الاصطناعي بمهام بسيطة، مثل "هل توجد قطة في هذه الصورة؟" أو "ماذا يفعل الشخص الآن؟" (مثل تقطيع البصل).
لكن بناء الأثاث ليس مجرد إجراء واحد؛ إنه قصة. إنه تسلسل من الأحداث. عليك أن تتذكر ما فعلته قبل خمس دقائق لتعرف ماذا ستفعل بعد ذلك. الاختبارات القديمة لم تختبر ما إذا كان بإمكان الذكاء الاصطنا অবৈধ متابعة القصة بأكملها. كانت تشبه اختبار سائق عبر سؤاله عما إذا كان يمكنه التوقف عند الإشارة الحمراء، دون التحقق مما إذا كان بإمكانه فعلياً القيادة من نيويورك إلى لندن.
2. الحل: مجموعة بيانات "M2AD"
ابتكر المؤلفون ساحة تدريب جديدة تسمى M2AD (مجموعة بيانات الدليل إلى الإجراء).
- المكونات: أخذوا 53 فيديو مختلفاً لتجميع أثاث "إيكيا" من يوتيوب (أشخاص حقيقيون يبنون أشياء حقيقية) وطابقوها بدقة مع كتيبات التعليمات الرسمية بصيغة PDF.
- التوسيم (Labeling): لم يكتفوا بتسمية "الخطوة 1" فحسب، بل حددوا بدقة متى بدأت الخطوة 1 وانتهت في الفيديو، وفي أي صفحة من الدليل كانت.
- اللمسة الواقعية: جعلوا الأمر "واقعياً". البشر الحقيقيون يرتكبون أخطاء؛ يتخطون خطوات، يعودون لإصلاح شيء ما، أو يأخذون استراحة لتناول القهوة. تلتقط مجموعة البيانات كل هذا الواقع البشري الفوضوي، وليس مجرد نسخة مثالية وروبوتية من عملية التجميع.
فكر في M2AD كأنها صالة ألعاب رياضية للذكاء الاصطناعي. بدلاً من رفع وزن واحد، يتعين على الذكاء الاصطناعي الجري في ماراثون أثناء قراءة خريطة.
3. الاختبار: وضع الذكاء الاصطناعي في العمل
أخذ الباحثون عدة نماذج ذكاء اصطناعي "مفتوحة المصدر" (من النوع الذي يمكنك تشغيله على جهاز كمبيوتر منزلي قوي، وليس فقط على سوبر كمبيوتر ضخم) وأخضعوها لثلاثة تحديات محددة:
التحدي (أ): فحص "هل انتهيت؟"
- السيناريو: يرى الذكاء الاصطناعي مقطع فيديو لك وأنت تربط ساق طاولة بصورة لصفحة الدليل.
- المهمة: هل يمكن للذكاء الاصطناعي أن يقول: "نعم، لقد انتهيت من هذه الخطوة"؟
- النتيجة: كانت بعض نماذج الذكاء الاصطناعي جيدة (بدقة 56% تقريباً)، لكن الكثير منها كان بالكاد أفضل من التخمين.
التحدي (ب): فحص "أين أنا؟"
- السيناريو: يراك الذكاء الاصطناعي تعمل ويُعرض عليه صفحتان من الدليل (إحداهما هي الصفحة الصحيحة، والأخرى صفحة خدعة).
- المهمة: هل يمكن للذكاء الاصطناعي اختيار الصفحة الصحيحة التي تطابق ما تفعله؟
- النتيجة: مرة أخرى، النماذج الأكثر ذكاءً فقط هي التي استطاعت القيام بذلك بشكل موثوق. معظم النماذج شعرت بالارتباك.
التحدي (ج): فحص "ما رقم الخطوة؟"
- السيناريو: يراك الذكاء الاصطناعي تعمل ويُعرض عليه صفحتان.
- المهمة: هل يمكن للذكاء الاصطناعي أن يقول: "أنت حالياً في الخطوة 12"؟
- النتيجة: كان هذا هو الأصعب. فشلت معظم النماذج فشلاً ذريعاً. نموذج واحد، وهو MolMo، أبلى بلاءً حسناً بشكل مفاجئ، لكنه "غش" قليلاً عبر مجرد النظر إلى تخطيط الصورة (مثل قول "النص الموجود على اليسار يقول 12") بدلاً من فهم المنطق فعلياً.
4. الحكم: واعد، ولكن ليس جاهزاً للاستخدام الفعلي
خلصت الورقة البحثية إلى أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإنه لا يزال يعاني مع القصص الطويلة والمعقدة.
- الأخبار الجيدة: الذكاء الاصطناعي يصبح أفضل في فهم أن الفيديو والدليل مرتبطان ببعضهما. لم نعد بحاجة لتعليم الذكاء الاصطناعي كل تفصيل صغير للغاية؛ إذ يمكنه تعلم بعض الأشياء بنفسه.
- الأخبار السيئة: نماذج الذكاء الاصطناعي الحالية لديها "مدى انتباه قصير" و"عيون ضعيفة". لا يمكنها النظر إلى تسلسل فيديو كامل ودليل كامل في نفس الوقت دون أن تصاب بالارتباك. غالباً ما يضيعون في منتصف القصة.
- عقبة الأجهزة (Hardware): لجعل هذا يعمل في مصنع أو منزل حقيقي، يحتاج الذكاء الاصطناعي للعمل على جهاز كمبيوتر عادي، وليس على مزارع خوادم ضخمة. النماذج الحالية ثقيلة جداً وبطيئة للغاية بالنسبة لذلك.
الخلاصة
هذه الورقة البحثية تشبه "تقرير الدرجات" للجيل القادم من المساعدين الآليين. إنها تقول: "أنت تصبح أفضل في قراءة الخريطة ومراقبة الطريق، لكنك لا تزال تضل طريقك إذا كانت الرحلة طويلة جداً."
يأمل المؤلفون أنه باستخدام مجموعة البيانات الجديدة هذه (M2AD)، سيقوم المطورون ببناء مساعدين أكثر ذكاءً وصبرًا وقدرة على الملاحظة، يمكنهم أخيراً مساعدتنا في بناء أثاثنا دون الشعور بالإحباط!
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.