LLMs Lean on Priors, Not Programming Language Semantics
تقدم هذه الورقة PLSemanticsBench لتوضيح أن النماذج اللغوية الكبيرة المعاصرة تعتمد بشكل أساسي على الارتباطات اللفظية المدربة مسبقاً بدلاً من التكييف المنهجي لاستدلالها بناءً على دلالات البرامج الرسمية المقدمة، كما يتضح من تدهور أدائها الحاد عند مواجهة الطفرات الدلالية، والرموز الجديدة، وآثار التنفيذ الطويلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
السؤال الكبير: هل تفكر النماذج اللغوية الكبيرة أم أنها مجرد تخمين؟
تخيل أنك تعلم طالباً كيفية لعب لعبة لوحية جديدة. تقدم له كتاب القواعد وتقول له: "في هذه اللعبة، إذا رميت الرقم 6، فستتحرك للخلف".
الطالب الذكي الذي يفهم القواعد سيتحرك فوراً للخلف عند رمي الرقم 6، حتى لو لم يسبق له لعب هذه اللعبة المحددة من قبل.
ومعاً، الطالب الذي حفظ الأنماط من خلال لعب آلاف الألعاب اللوحية الأخرى قد يتردد. قد يفكر: "انتظر، في لعبة مونوبولي وClue، رمي الرقم 6 يعني عادةً التحرك للأمام. سأتحرك للأمام فقط لأن هذا هو ما يحدث عادةً". إنه يعتمد على خبراته السابقة ("المنطلقات السابقة" أو الـ priors) بدلاً من اتباع القواعد الجديدة التي أعطيتها له للتو.
هذا البحث يسأل: هل تعمل النماذج اللغوية الكبيرة (LLMs) كطالب ذكي يتبع القواعد الجديدة، أم كطالب يحفظ الأنماط ويتجاهل القواعد الجديدة؟
التجربة: لغة برمجة "سحرية"
لاختبار ذلك، أنشأ الباحثون لغة برمجة خاصة وخفيفة تسمى C⋆. فكر في هذه اللغة كلوحة بيضاء فارغة.
ثم أعدوا اختباراً صعباً يتضمن ثلاثة سيناريوهات مختلفة:
- الاختبار القياسي: قدموا للنموذج الكود والقواعد العادية (على سبيل المثال،
+تعني الجمع). هذا يشبه لعب مباراة شطرنج عادية. - اختبار التبديل (KeywordSwap): أبقوا الكود يبدو تماماً كما هو، لكنهم بدلوا معاني الرموز في كتاب القواعد.
- الخدعة: أخبروا النموذج: "في هذه النسخة، علامة
+تعني في الواقع الطرح". - الهدف: إذا كان النموذج يتبع القواعد حقاً، فيجب أن يطرح. أما إذا كان يعتمد على الذاكرة، فسيظل يجمع لأن عادته هي أن
+تعني الجمع.
- الخدعة: أخبروا النموذج: "في هذه النسخة، علامة
- اختبار "الكائنات الفضائية" (KeywordObf): استبدلوا جميع الرموز المألوفة برموز غريبة تشبه رموز الكائنات الفضائية (مثل رموز من مخطوطة قديمة ومنسية) وقدموا للنموذج كتاب قواعد يحدد معاني هذه الرموز الغريبة.
- الهدف: بما أن النموذج لم يرَ هذه الرموز من قبل، يجب أن يعتمد كلياً على كتاب القواعد الجديد. لا يمكنه الغش باستخدام ذاكرته لما تفعله علامة
+عادةً.
- الهدف: بما أن النموذج لم يرَ هذه الرموز من قبل، يجب أن يعتمد كلياً على كتاب القواعد الجديد. لا يمكنه الغش باستخدام ذاكرته لما تفعله علامة
النتائج: "حفظة الأنماط" يفوزون (ويخسرون)
اختبر الباحثون 11 نموذجاً من أذكى نماذج الذكاء الاصطناعي المتاحة. وإليك ما حدث:
1. عندما كانت القواعد طبيعية:
أبلت النماذج بلاءً حسناً! استطاعت التنبؤ بنتيجة الكود بدقة عالية (تصل إلى 90%). بدت وكأنها عباقرة.
2. عندما تم تبديل القواعد (الجمع يصبح طرحاً) (The "Add" becomes "Subtract"):
انهارت النماذج. انخفضت دقتها بنسبة 40% إلى 60%.
- التشبيه: الأمر يشünü كطباخ طبخ ملايين البرجر. تقول له: "اليوم، سنصنع برجر، لكن الخبز هو في الواقع حبة بطاطس". الطباخ الحقيقي سيستخدم البطاطس. أما هذه النماذج، فقد استمرت في محاولة استخدام الخبز لأن عقلها اعتاد على أن "البرجر = خبز". لم يستطيعوا تجاوز "ذاكرة العضلات" لتنفيذ تعليماتك الجديدة.
3. عندما كانت القواعد فضائية (الـ "KeywordObf"):
كان أداء النماذج هنا أفضل قليلاً مما كان عليه في اختبار التبديل، لكنها لا تزال تعاني بشكل كبير. لم تستطع الثقة تماماً في كتاب القواعد الجديد.
4. المدى الطويل (الحلقات المعقدة):
عندما أصبح الكود طويلاً ومعقداً (مثل قصة ذات فصول وحلقات كثيرة)، فشلت جميع النماذج تقريباً. حتى "أذكى" النماذج لم تستطع تنفيذ سوى حوالي 35% من التسلسلات الطويلة والمعقدة بشكل صحيح. لقد ضاعوا في منتصف القصة ونسوا القواعد التي كان من المفترض أن يتبعوها.
نماذج "الاستنتاج" مقابل النماذج "غير الاستنتاجية"
اختبر الباحثون أيضاً نماذج مصممة خصيصاً لـ "التفكير خطوة بخطوة" (تسمى نماذج الاستنتاج/Reasoning).
- الخبر الجيد: كانت هذه النماذج أفضل في اتباع القواعد الجديدة مقارنة بالنماذج القياسية.
- الخبر السيئ: حتى أفضل نماذج "الاستنتاج" فشلت عندما تم تبديل القواعد. لا تزال تعتمد كثيراً على ما رأته من قبل. يمكنها اتباع القواعد لفترة قصะيرة، ولكن بمجرد أن تصبح القواعد غريبة أو تصبح المهمة طويلة، تعود إلى عاداتها القديمة.
"سلسلة الأفكار" (التحدث مع النفس)
جرب الباحثون خدعة تسمى "سلسلة الأفكار" (Chain of Thought)، حيث طلبوا من النماذج شرح تفكيرها بصوت عالٍ قبل إعطاء الإجابة.
- النتيجة: ساعد هذا النماذج على أداء المهام العادية بشكل أفضل. ولكن عندما تم تبديل القواعد (على سبيل المثال،
+تعني طرح)، لم تساعد عملية "التحدث بصوت عالٍ" في شيء. لا تزال النماذج تخطئ في الحساب لأن "ذاكرة العضلات" الداخلية لديها كانت قوية جداً.
الخلاصة
يخلص البحث إلى أن نماذج الذكاء الاصطناعي الحالية ليست "استنتاجية" حقاً بناءً على القواعد التي تعطيها لها. بدلاً من ذلك، هي نماذج تخمين إحصائية تعتمد بشدة على ما رأته في بيانات التدريب الخاصة بها.
- الاستعارة: تخيل ممثلاً حفظ نص مسرحية. إذا قلت له: "اليال، نحن نرتجل، وكلمة 'مرحباً' تعني في الواقع 'وداعاً'"، فمن المرجح أنه سيقول "مرحباً" لأنه اعتاد قول ذلك. هو لا يعالج المعنى الجديد فعلياً؛ بل يسترجع الكلمة الأكثر احتمالاً من ذاكرته فقط.
باختصار: إذا كنت تريد من الذكاء الاصطناعي اتباع مجموعة جديدة وصارمة من القواعد (مثل لغة برمجة جديدة أو عقد قانوني جديد)، فإن النماذج الحالية ليست موثوقة. من المرجح أن تتجاهل قواعدك الجديدة وتفعل ما تعتقد أنك "تقصده على الأرجح"، بناءً على تدريبها السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.