Revisiting the Reliability of Language Models in Instruction-Following
تقدم هذه الورقة معيار IFEval++ ومقياس reliable@k للكشف عن أنه بينما تحقق النماذج اللغوية المتقدمة درجات عالية في اختبارات اتباع التعليمات القياسية، إلا أنها تظهر هشاشة كبيرة وانخفاضاً في الأداء يصل إلى 61.8% عند مواجهة فروق دقيقة في صياغة الأوامر، مما يسلط الضوء على فجوة حرجة في الموثوقية في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
العنوان: اختبار "القريب": لماذا لا تزال الذكاءات الاصطناعية الذكية تتعثر بسبب التغييرات الطفيفة؟
تخيل أنك وظفت مساعداً جديداً وعبقرياً. أعطيته مهمة: "اكتب قصة عن قطة، ولكن تأكد أن طولها 100 كلمة بالضبط". قام بالمهمة بشكل مثالي. لقد أبهرتَ. ثم أعطيته نفس المهمة مرة أخرى، ولكن هذه المرة قلت له: "اكتب قصة عن كائن فصيلة القطط، مع ضمان أن يكون عدد الكلمات 100 بدقة". فعل ذلك مجدداً. شعرت بالثقة.
ولكن بعد ذلك، طلبت منه كتابة قصة عن قطة تكون "حوالي 100 كلمة". فجأة، أصيب بالذعر. كتب 90 كلمة، ثم 110، ثم 85. لقد فشل.
هذه هي المشكلة الجوهرية التي اكتشفها الباحثون في جامعة تسينغوا ومجموعة "أنت جروب" (Ant Group) في ورقتهم البحثية الجديدة بعنوان: "إعادة النظر في موثوقية النماذج اللغوية في اتباع التعليمات".
وهم المثالية
لفترة من الوقت، كانت نماذج الذكاء الاصطناعي (LLMs) تحقق درجات مثالية في الاختبارات المعيارية مثل IFEVAL. فكر في هذه الاختبارات كأنها اختبارات الـ SAT للكمبيوتر. إنها تتحقق مما إذا كان بإمكان الذكاء الاصطناعي اتباع قواعد صارمة، مثل "لا تستخدم الفواصل" أو "ابدأ بالحرف أ". تحقق النماذج الرائدة درجات 95% أو أعلى. يبدو الأمر وكأنها بلا عيوب.
لكن في العالم الحقيقي، البشر ليسوا روبوتات. نحن لا نتحدث بأسئلة اختبار معيارية مثالية. نحن نقول الأشياء بشكل مختلف اعتماداً على مزاجنا، أو سياقنا، أو كيفية صياغتنا لطلب ما من قبل. نحن نستخدم "الطلبات القريبة".
ما هو "الطلب القريب" (Cousin Prompt)؟
تخيل أنك تطلب من صديق أن "يحضر قميصاً أحمر".
- الطلب أ: "أحضر قميصاً أحمر".
- الطلب ب: "ارتدِ شيئاً أحمر".
- الطلب ج: "أحتاج إلى قطعة علوية بلون قرمزي".
- الطلب د: "أحضر قميصاً أحمر، ولكن تجاهل القميص الأزرق الموجود على الكرسي".
بالنسبة للإنسان، كل هذه الطلبات هي نفسها. أما بالنسبة للذكاء الاصطناي، فقد تكون ألغازاً مختلفة تماماً. يطلق عليها الباحثون اسم "الطلبات القريبة"؛ فهي مرتبطة ببعضها، وتعني الشيء نفسه، لكنها تختلف في الصياغة أو القيود بشكل طفيف.
الاكتشاف الكبير: "فجوة الموثوقية"
قام الباحثون ببناء ميدان اختبار جديد يسمى IFEVAL++. وبدلاً من سؤال الذكاء الاصطناعي سؤالاً واحداً، طلبوا منه 10 نسخ "قريبة" مختلفة قليلاً من نفس السؤال في آن واحد. وقدموا مقياساً جديداً يسمى reliable@k.
إليك النتيجة الصادمة: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً ليست موثوقة.
عندما أخذوا نموذجاً سجل 95% في الاختبار المعياري وأعطوه اختبار "الطلبات القريبة"، غالباً ما انهار أداؤه.
- بعض النماذج انخفض أداؤها بنسبة 60%.
- حتى النموذج الأكثر تقدماً (GPT-5) انخفض أداؤه بنسبة تقارب 20%.
الأمر يشبه طالباً يمكنه التفوق في اختبار رياضيات بأرقام مثالية، لكنه يفشل بمجرد أن تغير "اجمع 2 و 2" إلى "اجمع زوجين من العناصر". الذكاء الاصطناعي لا يفهم "النية" حقاً؛ إنه فقط يحفظ الصياغة المحددة للاختبار.
لماذا يحدث هذا؟
تشير الورقة البحثية إلى أن الذكاء الاصطناعي يشبه الببغاء الذي حفظ نصاً. إذا غيرت النص قليلاً، يصاب الببغاء بالارتباك.
- إعادة الصياغة: تغيير "400 كلمة على الأقل" إلى "حوالي 450 كلمة" يربك النموذج.
- المشتتات: إضافة جملة صغيرة غير ذات صلة مثل "بالمناسبة، السماء زرقاء" يمكن أن تجعل الذكاء الاصطناعي ينسى القاعدة الأساسية.
- إعادة التشكيل: تغيير السياق قليلاً (على سبيل المثال، طلب منشور مدونة عن النوم مقابل قصة عن النوم) يكسر منطق النموذج.
كيف نصلح ذلك؟
لم يكتفِ الباحثون بالإشارة إلى المشكلة فحسب؛ بل جربوا ثلاث طرق لإصلاحها:
- تخمين الإجابة (التنبؤ): حاولوا جعل الذكاء الاصطناعي "يفكر" فيما إذا كان بإمكانه تنفيذ المهمة قبل القيام بها. لم ينجح الأمر جيداً؛ كان الذكاء الاصطناعي واثقاً من نفسه أكثر من اللازم.
- المزيد من التدريب (SFT): علموا الذكاء الاصطناعي خصيصاً على هذه التنوعات "القريبة". ساعد هذا، لكنه كان بطيئاً ومكلفاً.
- طريقة "المحاولة مرة أخرى" (Scaling وقت الاختبار): كانت هذه هي الطريقة الفائزة. بدلاً من طلب الإجابة من الذكاء الاصطناعي مرة واحدة، سمحوا له بتوليد 10 إجابات مختلفة واختاروا الأفضل بينها. إنه يشبه طلب كتابة المقال ثلاث مرات من طالب وتسليم النسخة الأفضل. هذه الحيلة البسيطة جعلت حتى النماذج الأضعف تؤدي بشكل أفضل من النماذج الأقوى.
الخلاصة
هذه الورقة البحثية هي بمثابة جرس إنذار. مجرد حصول الذكاء الاصطناعي على درجة "امتياز" في اختبار معياسي لا يعني أنه جاهز للعالم الحقيقي. الحياة الواقعية فوضوية، مليئة بـ "الطلبات القريبة" والفروق الدقيقة.
لبناء ذكاء اصطناعي جدير بالثقة حقاً، نحتاج إلى التوقف عن اختبارهم بأسئلة روبوتية مثالية، والبدء في اختبارهم بالطرق الفوضوية والمتنوعة والدقيقة التي يتحدث بها البشر فعلياً. وحتى ذلك الحين، يجب أن نكون حذرين: قد يكون الذكاء الاصطناعي ذكياً، لكنه ليس موثوقاً بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.