Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation
تقدم هذه الورقة معياراً يوضح أن أداء اتباع التعليمات في النماذج اللغوية الكبيرة يتدهور بشكل غير خطي مع تراكم القيود بسبب التعارضات الثنائية، وتُظهر أن مُجمِّع أوامر (prompt compiler) خالٍ من التدريب يعمل بفعالية على التخفيف من هذه المشكلة بالنسبة للنماذج الأضعف بينما يترك النماذج الأقوى دون تأثير يُذكر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إعطاء مجموعة من التعليمات لمساعد آلي ذكي للغاية، ولكنه حرفي في فهمه إلى حد ما. أنت تعلم أنك إذا طلبت منه القيام بشيء واحد، مثل "اكتب قصة"، فمن المحتمل أن يقوم بعمل رائع. ولكن ماذا يحدث إذا أثقلت كاهله بعشرين قاعدة مختلفة في وقت واحد؟ "استخدم 50 كلمة بالضبط"، "نسقها كملف JSON"، "تضمن ثلاثة استشهادات"، "لا تستخدم حرف الـ 'e'"، "ابدأ بملخص"، و"اجعل الأسلوب يبدو كقرصان". هذا هو عالم النماذج اللغوية الكبيرة (LLMs). هذه هي العقول الاصطناعية التي تقف وراء العديد من برامج الدردشة والأدوات التي نستخدمها اليوم. لقد تم تدريبها على اتباع الأوامر البشرية، لكنها ليست مثالية. لطالما عرف العلماء أنهم عندما يعطونها قواعد كثيرة جداً، تبدأ في الخطأ. لكن لم يكن أحد يعرف حقاً مدى سوء فشلها، أو أي القواعد تتصارع مع بعضها البعض، أو ما إذا كانت هناك طريقة لإصلاح ذلك دون إعادة تدريب عقل الروبوت من الصفر. تغوص هذه الورقة البحثية في كومة القواعد الفوضوية هذه لترى بالضبط أين يرتبك الروبوت وكيف يمكننا مساعدته في ترتيب أموره.
انهيار تكدس التعليمات العظيم
فكر في إعطاء الذكاء الاصطناعي أمراً (Prompt) كأنك تسلم بطاقة وصفة لطاهٍ. إذا قالت البطاقة "اصنع شطيرة"، فسيكون الطاهي سعيداً. ولكن تخيل لو أن البطاقة فجأة احتوت على ملاحظة لاصقة في الأعلى تقول "استخدم المكونات الحمراء فقط"، وأخرى تقول "ممنوع استخدام الخبز"، وثالثة تقول "يجب تقديمها في وعاء أزرق"، ورابعة تصرخ "لا تستخدم يديك!". إذا وضعت عشرين من هذه الملاحظات المتضاربة فوق الوصفة، فلن يكتفي الطاهي بالارتباك فحسب؛ بل غالباً ما سيتجاهل نصف القواعد تماماً. قد يصنع شطيرة، لكنه ينسى المكونات الحمراء. قد يستخدم الوعاء الأزرق، لكنه يتجاهل قاعدة "ممنوع الخبز". والجزء المخيف؟ الطاهي لن يخبرك بأنه فشل؛ بل سيقدم لك شطيرة غريبة ويقول: "تفضل".
هذه الورقة البحثية، بعنوان "انهيار تكدس التعليمات" (Instruction Stacking Collapse)، هي غوص عميق في كيفية حدوث ذلك بالضبط. قام الباحثون ببناء ساحة لعب ضخمة حيث اختبروا مدى قدرة ثلاثة نماذج ذكاء اصطناعي مختلفة من الطراز الرفيع (Claude Sonnet 4.6، وGPT-5-mini، وGemini 2.5 Flash) على التعامل مع كومة متزايدة من التعليمات. بدأوا بتعليمات واحدة فقط، ثم أضافوا المزيد تدريجياً، حتى وصلوا إلى عشرين قاعدة في آن واحد.
الانهيار: عندما تتصارع القواعد فيما بينها
كانت النتائج دراماتيكية. عندما كان لدى الذكاء الاصطناعي تعليم واحد فقط ليتبعه، كان نجماً متألقاً، حيث ينجح بنسبة 96% تقريباً. ولكن مع نمو كومة القواعد لتصل إلى عشرين، انهار الأداء.
- النموذج الأقوى (Claude Sonnet) انخفض إلى حوالي 60% من النجاح.
- النموذج المتوسط (Gemini) هبط إلى 43%.
- النموذج الأضعف (GPT-5-mini) اصطدم بحائط، حيث تمكن من تنفيذ 20% فقط من التعليمات بشكل صحيح.
لم يكن تراجعاً بطيئاً ومملاً، بل كان "انهياراً". وجد الباحثون أن القواعد لم تكن تضيع فحسب؛ بل كانت تتصارع بنشاط مع بعضها البعض. اكتشفوا "خريطة صراع". على سبيل المثال، إذا قلت للذكاء الاصطناعي "أخرج ملف JSON صالحاً" (تنسيق برمجي محدد) وطلبت منه أيضاً "استخدام عناوين ماركداون" (مثل ##العنوان)، فسيصاب الذكاء الاصطناعي بالتعثر. لا يمكنه القيام بالأمرين معاً. إذا اختار JSON، فإنه يكسر قاعدة الماركداون بصمت. وإذا اختار الماركداون، فإنه يكسر قاعدة JSON. وجدت الورقة أن تعليم "إخراج JSON" كان الأكثر إثارة للمشاكل، حيث تسبب في صراعات مع تسع قواعد أخرى شائعة.
الحل السحري: مُجمّع التعليمات (Instruction Compiler)
إذاً، هل الحل هو مجرد إعطاء الذكاء الاصطناعي قواعد أقل؟ ليس بالضرورة. تساءل الباحثون: "هل يمكننا إصلاح الأمر (Prompt) قبل أن يراه الذكاء الاصطناعي، دون تعليم الذكاء الاصطناعي أي شيء جديد؟"
لقد اخترعوا أداة تسمى "مُجمّع التعليمات" (Instruction Compiler). فكر في هذا المُجمّع كمساعد منظم للغاية ينظر إلى كومة الملاحظات اللاصقة العشرين الفوضوية قبل أن تسلمها للطاهي. يقوم المُجمّع بثلاثة أشياء:
- التجميع: يضع كل قواعد "التنسيق" معاً، وكل قواعد "الطول" معاً.
- الدمج: إذا قالت قاعدتان الشيء نفسه، فإنه يدمجهما في جملة واحدة واضحة.
- تحديد الأولويات: إذا تعارضت قاعدتان (مثل "استخدم JSON" مقابل "استخدم ماركداون")، يضيف المُجمّع ملاحظة تقول: "مهلاً، إذا تعارض هذان الأمران، فافعل أمر JSON أولاً".
يعمل هذا المُجمّع لمرة واحدة، وينشئ قائمة مراجعة منظمة ونظيفة، ثم تُستخدم نفس قائمة المراجعة هذه لكل سؤال يجيب عليه الذكاء الاصطناعي. الأمر يشبه إعطاء الطاهي بطاقة وصفة واحدة مكتوبة بدقة بدلاً من كومة فوضوية من الملاحظات.
المفاجأة: من الذي استفاد؟
إليك الجزء الأكثر إثارة للاهتمام في القصة. توقع الباحثون أن تساعد هذه "بطاقة الوصفة النظيفة" الجميع بالتساوي. لكن هذا لم يحدث. فقد اعتمدت الفائدة كلياً على مدى "ذكاء" الطاهي (نموذج الذكاء الاصطناعي).
- بالنسبة للنماذج الأضعف (مثل GPT-5-mini): كان المُجمّع بمثابة منقذ للحياة. فقد رفع معدل نجاحهم بمقدار +11 نقطة مئوية. لقد حول نموذجاً يفشل 80% من الوقت إلى نموذج يفشل 69% فقط من الوقت. وهذا أمر ضخم لأن هذه النماذج الأضعف هي الأكثر استخداماً في العالم الحقيقي لأنها أسرع وأرخص.
- بالنسبة للنماذج الأقوى (مثل Claude Sonnet): لم يفعل المُجمّع شيئاً يُذكر. في الواقع، أدى إلى إضعاف أدائهم قليلاً (بمقدار -1.2 نقطة).
لماذا؟ تشير الورقة إلى أن النماذج الأقوى ذكية جداً بحيث يمكنها بالفعل النظر إلى كومة فوضوية من عشرين قاعدة وفهم الهيكل، والصراعات، والأولويات بمفردها. إنهم لا يحتاجون إلى المُجمّع لتنظيم الملاحظات لهم؛ بل في الواقع، تزيد الملاحظات الإضافية من تشتت تفكيرهم. أما النماذج الأضعف، فتتعرض للارتباك بسبب الفوضى؛ إنهم يحتاجون إلى المُجمّع ليعمل كمترجم، يحول الفوضى إلى خطة واضحة وخطوة بخطوة.
ماذا يعني هذا بالنسبة لك
يخبرنا هذا البحث بشيئين كبيرين. أولاً، عندما نطلب من الذكاء الاصطناعي القيام بمهام معقدة مع قواعد كثيرة، لا يمكننا مجرد إلقاء جدار من النصوص أمامه وتوقع أن يعمل. القواعد ستنهار، وسيفشل الذكاء الاصطناعي بصمت. ثانياً، لسنا بحاجة لبناء روبوتات أكبر وأذكى لإصلاح ذلك. أحياناً، يكون الحل هو مجرد تنظيم أفضل.
تثبت الورقة أن أداة بسيطة ومجانية تعيد تنظيم التعليمات يمكن أن تنقذ نماذج الذكاء الاصطناعي الأضعف، مما يجعلها أكثر موثوقية للمهام التي نستخدمها فيها يومياً. إنه تذكير بأنه في عالم الذكاء الاصطناعي، أحياناً لا يكون أذكى شيء يمكنك فعله هو جعل الروبوت أكثر ذكاءً، بل جعل التعليمات أكثر وضوحاً. وبالنسبة للروبوتات فائقة الذكاء؟ فقد يفضلون ببساطة أن يكتشفوا الأمر بأنفسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.