SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
تقدم هذه الورقة SCHEDBench، وهو معيار مرجعي شامل يعتمد على اللغة الطبيعية يوضح أن النماذج اللغوية الكبيرة تفشل في الحفاظ على موثوقية الالتزام بالقيود والجدوى عبر التباينات المتنوعة في الصيغ السطحية المتكافئة دلالياً في مهام الجدولة التوافقية المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قائد أوركسترا ضخمة وفوضوية. لديك مئات الموسيقيين، وعدد محدود من الآلات الموسيقية، وقاعدة صارمة: لا يمكن لعازف الكمان أن يعزف حتى ينهي عازف الطبول معزوفته المنفردة، ويحتاج قسم آلات النفخ النحاسيةية إلى استراحة كل عشرين دقيقة. مهمتك هي كتابة جدول يخبر الجميع متى يعزفون بالضبط لضمان حدوث الحفل الموسيقي دون أي تضارب. هذا هو عالم الجدولة التوافقية (Combinatorial Scheduling). إنه فرع من الرياضيات وعلوم الحاسوب مخصص لتنظيم المهام المعقدة حيث تكون الموارد شحيحة والقواعد صارمة. إذا أخطأت في التوقيت، سينهار العرض بأكمَلِه.
لسنوات، كان العلماء يعلمون الحواسيب كيفية حل هذه الألغاز باستخدام كود رياضي صارم. ولكن مؤخرًا، وصل نوع جديد من عقول الحواسيب يسمى نموذج اللغة الكبير (LLM). هذه هي نفس أنظمة الذكاء الاصطناعي التي تكتب المقالات، وتدردش معك، وتلقي النكات. إنها بارعة في فهم اللغة البشرية. ولكن السؤال الكبير هو: هل يمكن لذكاء اصطناعي بارع في الدردشة أن يكون بارعًا أيضًا في اتباع كتاب قواعد منطقي صارم لحل لغز جدولة؟ والأهم من ذلك، إذا طرحت على الذكاء الاصطناعي نفس السؤال ولكن بصياغة مختلفة قليلاً — مثل استبدال "عازف الكمان" بـ "موسيقي" أو تغيير ترتيب القواعد — فهل سيظل يعطي الإجابة الصحيحة؟ تغوص هذه الورقة البحثية في هذا الغموض تحديدًا، وتختبر ما إذا كانت هذه العقول الاصطناعية منطقية حقًا أم أنها ستصاب بالارتباك بمجرد تغيير طريقة تقديم السؤال.
الاختبار الكبير للورقة البحثية: SCHEDBench
قام الباحثون وراء هذه الدراسة، شيرينيل شون شارما وآفي شارما، ببناء ساحة اختبار ضخمة أطلقوا عليها اسم SCHEDBench. فكر في الأمر كأنه "اختبار قيادة" للذكاء الاصطناعي، ولكن بدلًا من قيادة سيارة، يتعين على الذكاء الاصطناعي قيادة جدول زمني معقد. لم يبتكروا ألغازًا عشوائية؛ بل أخذوا 1,132 لغز جدولة من العالم الحقيقي من مكتبات شهيرة يستخدمها المهندسون والرياضيون. تغطي هذه الألغاز كل شيء، من إدارة وظائف المصانع إلى نوبات عمل الممرضات في المستشفيات أو تنظيم جداول المحاضرات الجامعية.
ولجعل الاختبار اختبارًا حقيقيًا "لفهم اللغة"، لم يغذوا الذكاء الاصطناعي بأرقام خام. بدلاً من ذلك، قاموا بترجمة كل لغز إلى جمل باللغة الإنجليزية الطبيعية. ثم أنشأوا نسخًا مختلفة من اللغز نفسه تمامًا. في نسخة واحدة، قد تكون القواعد مدرجة بترتيب من الألف إلى الياء. وفي نسخة أخرى، قد تكون القواعد مبعثرة. وفي نسخة ثالثة، قد تُسمى "المهام" بـ "الدفعات" بدلًا من "الطلبات"، أو قد تُسمى "الآلات" بـ "محطات العمل". ظلت الرياضيات والمنطق كما هما تمامًا، لكن الكلمات تغيرت.
طلبوا من 13 نموذجًا مختلفًا للذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل GPT-5 وClaude وLlama) حل هذه الألغاز. كان الهدف بسيطًا: هل يمكن للذكاء الاصطناعي إنشاء جدول زمني صالح يتبع جميع القواعد، بغض النظر عن كيفية صياغة السؤال؟
النتائج: الذكاء الاصطناعي يرتبك بسبب "التنكر"
كانت النتائج مفاجئة. وجدت الورقة البحثية أن نماذج الذكاء الاصطناعي ليست موثوقة عندما يتعلق الأمر بألغاز الجدولة هذه. على الرغم من أن الرياضيات وراء الألغاز لم تتغير، إلا أن أداء الذكاء الاصطناعي انخفض بشكل كبير عندما تغيرت الصياغة.
إليك ما اكتشفوه بكلمات بسيطة:
- تأثير "التنكر": عندما قام الباحثون بتغيير التفاصيل السطحية للمشكلة — مثل إعادة ترتيب قائمة القواعد أو استبدال الأسماء بمرادفات — غالبًا ما فشل الذكاء الاصطناعي في إيجاد حل كان بإمكانه إيجاده من قبل. يبدو الأمر كما لو أن الذكاء الاصطناعي يركز بشدة على الكلمات المحددة التي يراها، لدرجة أنه ينسى المنطق الأساسي.
- الترتيب مهم (بدرجة كبيرة): كان المتهم الأكبر هو ترتيب القواعد. عندما قام الباحثون بخلط تسلسل القيود (على سبيل المثال، إدراج وقت استراحة الممرضة قبل وقت بدء المناوبة بدلاً من بعده)، أصبح قدرة الذكاء الاصطناعي على حل اللغز أسوأ بكثير. يشير هذا إلى أن الذكاء الاصطناعي لا "يفهم" المشكلة بأكملها دفعة واحدة حقًا؛ بل قد يتعثر في التسلسل الذي يقرأ به التعليمات.
- ليست مجرد أخطاء عشوائية: حرص الباحثون على إثبات أن هذا لم يكن مجرد "يوم سيء" للذكاء الاصطناعي أو تخمين عشوائي. لقد أجروا الاختبارات عدة مرات باستخدام بذور عشوائية مختلفة (مثل رمي النرد لاختيار نقطة البداية). ووجدوا أن انخفاض الأداء كان حقيقيًا ومتسقًا، وليس مجرد ضجيج عشوائي.
- أفضل المؤدين لا يزالون يعانون: حتى النماذج الأكثر تقدمًا، مثل GPT-5.5، أظهرت انخفاضًا حادًا في الأداء عندما تم "تنكر" الألغاز. في مجموعة فرعية محددة مكونة من 470 لغزًا أبسط، حل GPT-5.5 حوالي 84% منها في أبسط صورها. ومع ذلك، عندما تم خلط القواعد أو تغيير الصياغة، انخفض معدل النجاح هذا إلى 61.5% في نفس المجموعة الفرعية. وعند اختباره على المجموعة الكاملة المكونة من 1,132 لغزًا مع تفعيل جميع المتغيرات، انخفض معدل نجاح GPT-5.5 أكثر ليصل إلى 55.9%. وهذا يوضح أن حتى أفضل النماذج تعاني للحفاظ على الدقة عندما يتغير عرض المشكلة.
ماذا يعني هذا؟
تستبعد الورقة البحثية صراحةً فكرة أن نماذج الذكاء الاصطناعي هذه هي محركات منطقية مستقرة تمامًا. إنها ليست كذلك. توضح الدراسة أنه بالنسبة للمهام المعقدة مثل الجدولة، فإن كيفية طرح السؤال تهم بقدر أهمية السؤال نفسه.
يشير المؤلفون إلى أنه بينما تتحسن نماذج الذكاء الاصطنا هذه في أشياء كثيرة، إلا أنها لا تزال تعاني للحفاظ على "الأمانة تجاه القيود" (constraint faithfulness). بعبارة أخرى، لا يمكنهم دائمًا الوعد بالالتزام بالقواعد إذا قُدمت القواعد بأسلوب مختلف قليلاً. لا تدعي الورقة أن هذا عيب دائم لا يمكن إصلاحه، لكنها تظهر أن النماذج الحالية ليست جاهزة بعد ليتم الوثوق بها في مهام الجدولة الحرجة حيث يمكن أن تؤدي سوء الفهم البسيط إلى فشل هائل.
باختصار، إذا طلبت من ذكاء اصطناعي جدولة مصنع، وغيرت ترتيب التعليمات، فقد ينسى فجأة كيفية القيام بعمله. وتخلص الورقة إلى أننا بحاجة إلى توخي الحذر الشديد بشأن كيفية التحدث إلى هذه النماذج عندما تكون المخاطر عالية، لأنها لا تزال تتعلم كيفية الفصل بين معنى القاعدة والكلمات المستخدمة لوصفها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.