ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
تقدم هذه الورقة ML2B، وهو أول معيار لتقييم توليد مسارات تعلم الآلة عبر اللغات بواسطة النماذج اللغوية الكبيرة، والذي يستخدم 490 زوجًا من المهام واللغات عبر 14 لغة ليكشف أن تدهور الأداء يعتمد بشكل كبير على المهمة بدلاً من اتباع التسلسلات الهرمية التقليدية للموارد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه أن تطلب من روبوت فائق الذكاء أن يبني لك نموذج تعلم آلي، بمجرد كتابة طلب بسيط مثل: "تنبأ أي العملاء سيشترون أحذيتنا الجديدة". لفترة طويلة، كانت هذه الروبوتات — التي تُسمى النماذج اللغوية الكبيرة (LLMs) — بارعة للغاية في هذا الأمر، ولكن فقط إذا تحدثت إليها باللغة الإنجليزية. الأمر يشبه امتلاك طاهٍ عبقري يمكنه طهي وجبة من خمس نجوم إذا أعطيته الوصفة باللغة الإنجليزية، ولكن إذا سلمته وصفة بالفرنسية أو الإسبانية أو اليابانية، فقد يكتفي بالتحديق في المكونات ويحرق المطبخ.
هذه هي المشكلة التي يعالجها الباحثون: مع انتشار الذكاء الاصطناعي في جميع أنحاء العالم، نحتاج إلى معرفة ما إذا كان بإمكان هؤلاء الطهاة الرقميين اتباع التعليمات في أي لغة، وليس فقط اللغة التي تدربوا عليها بشكل أساسي. ولكن هناك خدعة؛ فإذا سألناهم فقط عن حل ألغاز موجودة بالفعل على الإنترنت، فقد تكون الروبوتات قد حفظت الإجابات من بيانات تدريبها، مما يجعلها تبدو أذكى مما هي عليه حقاً. إنه يشبه إعطاء طالب اختبار رياضيات رأى إجاباته مسبقاً؛ سيحصل على درجة امتياز، لكننا لن نعرف ما إذا كان يفهم الجبر حقاً. وللحصول على صورة حقيقية، نحتاج إلى اختبار يكون جديداً، عادلاً، ومكتوباً بلغات متعددة.
إليك ML2B، وهو "امتحان" جديد ابتكره فريق من الباحثين لاختبار مدى قدرة روبوتات الذكاء الاصط هذه على بناء مسارات تعلم آلي كاملة عندما تكون التعليمات بلغات مختلفة. فكر في ML2B كمسابقة طبخ ضخمة ومتعددة اللغات. بدلاً من مجرد طلب كتابة سطر واحد من الكود البرمجي، أعطاهم الباحثون 35 تحدياً من واقع الحياة — مثل التنبؤ بأسعار المنازل، أو تحديد سلالات الكلاب، أو رصد التعليقات السامة — وترجموا التعليمات إلى لغات تتراوح من العربية والصينية إلى الكازاخية والأوكرانية.
ولضمان عدم غش الروبوتات عبر حفظ الإجابات، ضمن الفريق 10 مسابقات "سرية" لم تُنشر حلولها علناً أبداً. كما بنوا مطبخاً رقمياً معزولاً خاصاً (حاوية معزولة عن الشبكة) حيث يتعين على الروبوتات طهي الكود الخاص بها. إذا حاول الروبوت التسلل بوجبة جاهزة من الإنترنت أو استخدم وصفة خلطت المكونات قبل الطهي (وهي مشكلة تُسمى "تسرب البيانات")، فإن النظام سيكشفه. كان على الروبوتات اتباع قواعد صارمة، مثل الفصل بين مرحلة "التدريب" ومرحلة "التنبؤ"، تماماً كما لا يتذوق الطاهي الحقيقي الطبق النهائي قبل نضجه تماماً.
عندما أجرى الباحثون الاختبارات مع نماذج ذكاء اصطناعي رفيعة المستوى، وجدوا شيئاً مفاجئاً يتحدى ما افترضه الكثيرون. توقعوا أن تعاني الروبوتات أكثر مع اللغات "منخفضة الموارد" (اللغات التي تتوفر عنها بيانات رقمية أقل) وأن تؤدي بشكل أفضل في اللغات "عالية الموارد" مثل الإنجليزية أو الفرنسية. لكن النتائج أظهرت أن اللغة نفسها لم تكن هي "الرئيس" الأساسي. بدلاً من ذلك، اعتمدت الصعوبة كلياً على ما يُطلب من الروبوت القيام به. فأحياناً، كان الروبوت يؤدي بشكل أفضل في لغة "منخفضة الموارد" من الإنجليزية، وفي أحيان أخرى، كان ينهار ويفشل في لغة "عالية الموارد".
تشير الدراسة إلى أن العائق الحقيقي ليس مجرد معرفة الكلمات؛ بل يتعلق باتباع التعليمات المعقدة والخطوات المتسلسلة لبناء نموذج تعلم آلي. وجد الباحثون أن الروبوتات غالباً ما تفشل ليس لأنها لم تفهم اللغة، بل لأنها أفسدت هيكل الكود — مثل نسيان إغلاق قوس أو استخدام أداة غير موجودة في نسخة البرنامج التي يستخدمونها. أحد النماذج، GPT-4.1-mini، كان بارعاً في تقديم أفكار عالية الجودة ولكنه غالباً ما فشل في إتمام المهمة بشكل صحيح، بينما كان نموذج آخر، GPT-OSS-120b، أكثر موثوقية في اتباع القواعد ولكنه كان ينتج أحياناً نتائج أبسط.
في النهاية، يكشف ML2B أنه لا يمكننا افتراض أن الذكاء الاصطناعي جيد في كل شيء لمجرد أنه يتحدث لغات عديدة. فالقدرة على بناء أدوات معقدة تعتمد بشدة على المهمة المحددة، وليس على اللغة المستخدمة للطلب. ومن خلال فتح هذا المعيار (benchmark) للجمهور، يأمل المؤلفون في مساعدة المطورين على بناء روبوتات ليست متعددة اللغات فحسب، بل قوية وموثوقة حقاً، بغض النظر عن اللغة التي يُطلب منها التحدث بها أو المشكلة التي طُلب منها حلها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.