Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
تقدم هذه الورقة ProverbIT، وهو معيار تقييم للأمثال الإيطالية يكشف أن النماذج اللغوية الكبيرة تواجه صعوبة في التمييز بين نهايات الأمثال الصحيحة والمرادفات الحرفية في مهام الاختيار من متعدد، مما يشير إلى أن أداءها يعتمد على الأنماط المحفوظة أكثر من الفهم الدلالي العميق للغة المجازية المتجذرة ثقافياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مكتبة ضخمة، حيث لا تقتصر الرفوف على الكتب فحسب، بل تضم تاريخ المحادثات البشرية بأكمله. هذا هو عالم النماذج اللغوية الكبيرة (LLMs). فكر في أنظمة الذكاء الاصطنا-عي هذه كقراء فائقين السرعة، وشديدي الهوس، قد التهموا كل ما كُتب تقريًا على الإنترنت. إنهم بارعون للغاية في رصد الأنماط، مثل معرفة أنه إذا قال شخص ما "إنها تمطر قططًا و..."، فإن الكلمة التالية ستكون بالتأكيد "كلاب". إنهم يستخدمون مطابقة الأنماط هذه لكتابة رسائل البريد الإلكتروني، وحل المسائل الرياضية، وحتى كتابة الأكواد البرمجية.
لكن الجزء الصعب هنا هو: مجرد أن الذكاء الاصطناعي قد قرأ مليون قصة، لا يعني أنه "يفهم" حقًا النكات، أو السخرية، أو الأمثال القديمة المخبأة داخلها. وهنا يأتي دور الأمثال. المثل هو قول قصير وحكيم يتناقله الأجيال، مثل "لا تعد دجاجاتك قبل أن تفقس". هذه ليست مجرد كلمات عشوائية؛ بل هي اختصارات ثقافية تعتمد على التجربة الإنسية المشتركة. بالنسبة للكمبيوتر، فإن محاولة فهم مثل ما هي بمثابة محاولة حل لغز تعتمد إجابته على معرفة "شعور" الثقافة، وليس مجرد التعريف القاموسي للكلمات. والعلماء يتساءلون: هل تفهم هذه النماذج الذكية النكتة حقًا، أم أنها تكتفي بالتخمين بناءً على الكلمات التي عادة ما تجتمع معًا؟
هذا بالضبط ما أراد الباحثون وراء ورقة ProverbIT البحث عنه. لقد صمموا اختبارًا خاصًا، "مسابقة" مكونة بالكامل من الأمثال الإيطالية، ليروا مدى قدرة نماذج الذكاء الاصطناعي المختلفة على التعامل مع هذه الألغاز الثقافية. لم يكتفوا بطلب إكمال الجملة من الذكاء الاصطنا_ي؛ بل نصبوا له فخًا. لقد أعطوا النماذج قائمة بالنهايات، لكنهم حرصوا على ألا تكون النهاية "الصحيحة" موجودة في القائمة. بدلاً من ذلك، كانت القائمة مليئة بخيارات مزيفة ذكية: بعضها يبدو مشابهًا، وبعضها يعني الشيء نفسه لكنه يبدو سخيفًا، وبعضها الآخر خاطئ تمامًا. الخيار الصحيح الوحيد كان "لا شيء مما سبق".
كانت النتائج صادمة. فعندما طلب الباحثون من الذكاء الاصطناعي إكمال المثل من تلقاء نفسه، نجحت جميع النماذج تقريبًا. كان الأمر يشبه طلب إلقاء قصيدة حفظها الطالب عن ظهر قلب؛ فقد أتقنوها تمامًا. ولكن بمجرد أن انتقل الباحثون إلى اختبار الاختيار من متعدد مع السؤال "المخادع"، انهارت الدرجات بشكل حاد. فحتى أكثر النماذج تقدمًا، تلك المصممة "للتفكير المنطقي" والتي تعمل خطوة بخطوة مثل البشر، تعثرت بشدة. فبدلاً من إدراك أن الإجابة الصحيحة مفقودة واختيار "لا شيء مما سبق"، أصرت النماذج بعناد على اختيار أحد الخيارات المزيفة.
لماذا حدث هذا؟ نظر الباحثون داخل "عقل" الذكاء الاصطناعي (عملية تفكيره) ووجدوا خللاً مثيرًا للاهتمام. لقد كانت النماذج "تعرف" بالفعل النهاية الصحيحة. ففي تفكيرها الداخلي، كانت تذكر العبارة الصحيحة مرارًا وتكرارًا. ولكن عند حل وقت اتخاذ القرار النهائي، بدا وكأنها تتجاهل معرفتها الخاصة. لقد كان تركيزها منصبًا بشدة على إيجاد كلمة "تبدو" صحيحة أو تبدو كمرادف، لدرجة أنها لم تستطع قول: "مهلًا، الإجابة الحقيقية ليست هنا". الأمر يشبه طالبًا يعرف أن الإجابة هي "42"، ويرى اختبارًا بخيارات "40"، و"44"، و"46"، ثم يختار بثقة "44" لأنها أقرب رقم، ناسيًا تمامًا أن الإجابة الحقيقية ليست موجودة حتى في الصفحة.
تشير الدراسة إلى أنه بينما تعد نماذج الذكاء الاصطناعي هذه مذهلة في حفظ الأنماط واسترجاع الحقائق، إلا أنها لا تزال تعاني مع نوع محدد من التفكير: الاستدلال السلبي. وهو القدرة على النظر إلى مجموعة من الخيارات وإدراك أن "لا شيء من هذه الخيارات صحيح". إنهم يعتمدون بشدة على ما رأوه من قبل بدلاً من فهم المعنى الكامن وراء الكلمات حقًا. لذا، بينما تصبح هذه العقول الرقمية أكثر ذكاءً كل يوم، لا يزال أمامها الكثير لتتعلمه عن التفاصيل الدقيقة، والمخادعة، وأحيانًا المفقودة من الحكمة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.