ContractBench: Can LLM Agents Preserve Observation Contracts?
تقدم هذه الورقة البحثية ContractBench، وهو معيار حتمي يكشف أن وكلاء النماذج اللغوية الكبيرة المتطورة حالياً يفشلون تكراراً في الحفاظ على الصلاحية الزمنية وسلامة مستوى البايت لعقود الملاحظة (مثل رموز الجلسات وعناوين URL)، وهي قدرة لا تتوسع بشكل رتيب مع حجم النموذج وتتطلب تدريباً خاصاً واعياً بالفشل لتحسينها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "CONTRACTBENCH: هل يمكن لوكلاء النماذج اللغوية الكبيرة الحفاظ على عقود الملاحظة؟" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: مشكلة "التسليم الرقمي"
تخيل أنك استأجرت مساعداً آلياً (روبوت) ذكياً جداً، ولكنه أخرق قليلاً للقيام ببعض المهام لك. قلت للروبوت: "اذهب إلى البنك، واحصل على مفتاح مؤقت، واستخدم ذلك المفتاح لفتح الخزنة".
في العالم الحقيقي، إذا أسقط الروبوت المفتاح، أو غير شكل المفتاح، أو حاول استخدام المفتاح بعد انتهاء صلاحيته، فلن تفتح الخزنة. الروبوت فشل، ليس لأنه لم يعرف ماذا يفعل، بل لأنه فشل في التعامل مع التفاصيل المحددة لعملية التسليم.
تسمي هذه الورقة البحثية هذه التفاصيل "عقود الملاحظة" (Observation Contracts).
- العقد: عندما تعطيك أداة ما (مثل واجهة برمجة تطبيقات بنكية) قطعة من البيانات (مثل كلمة مرور مؤقتة أو رابط موقع موقع)، تأتي هذه البيانات مع قاعدتين غير مرئيتين:
- تاريخ انتهاء الصلاحية: يجب عليك استخدامها الآن، وإلا ستصبح بلا فائدة.
- قاعدة "لا تلمس": يجب عليك نسخها بدقة متناهية، حرفاً بحرف. إذا غيرت ولو فاصلة واحدة أو مسافة واحدة، فستتعطل العملية.
وجد المؤلفون أن حتى أكثر وكلاء الذكاء الاصطناعي ذكاءً اليوم سيئون جداً في اتباع هذه القواعد. فهم غالباً ما يسقطون المفتاح، أو يذيبونه، أو يحاولون استخدامه في اليوم التالي.
الاختبار الجديد: CONTRACTBENCH
لإثبات ذلك، صمم الباحثون اختباراً جديداً يسمى CONTRACTBENCH. تخيل أنه "اختبار قيادة" لوكلاء الذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يتعين عليهم اجتياز مسار عقبات رقمي يتطلب في كل خطوة تمرير طرد هش وحساس للوقت إلى الشخص التالي.
- المسار: يتكون من 33 سيناريو مختلفاً (مثل تحميل ملف عبر رابط يموت بعد 10 ثوانٍ، أو تسجيل الدخول باستخدام رمز يجب كتابته بدقة تامة).
- القواعد: يتم تشغيل الاختبار بواسطة برنامج كمبيوتر صارم (لا يوجد حكام بشر). يستخدم البرنامج "ساعة افتراضية" لمعرفة ما إذا كان الوكيل بطيئاً جداً، و"ماسح بصمة رقمي" ليرى ما إذا كان الوكيل قد غير حرفاً واحداً في الكود.
- النتيجة: إذا كسر الوكيل الحد الزمني أو أخطأ في إملاء الكود، فإنه يعتبر راسباً.
ماذا اكتشفوا (النتائج)
اختبر الباحثون 38 نموذجاً مختلفاً للذكاء الاصطناعي (بما في ذلك أحدث وأشهر النماذج من OpenAI وAnthropic وGoogle وفرق المصادر المفتوحة). إليكم ما وجدوه، مترجماً إلى مصطلحات يومية:
1. حتى "الأكثر ذكاءً" من الروبوتات يفشلون
النتيجة: لم ينجح أي نموذج في اجتياز 80% من الاختبار. أفضل نموذج (Claude Opus 4.6) حقق حوالي 78% فقط.
التشبيه: تخيل أذكى طالب في العالم يخوض اختبار رياضيات. يمكنه حل مسائل التفاضل والتكامل المعقدة، ولكن إذا طلبت منه نسخ رقم مكون من 10 خانات بدقة دون ارتكاب خطأ مطبعي، فسيخطئ في ذلك بنسبة 22% من المرات. كونك "ذكياً" لا يعني بالضرورة أن تكون "دقيقاً".
2. "المنحدر السحري" (Qwen 3.5)
النتيجة: في عائلة محددة من النماذج (Qwen 3.5)، حدثت قفزة مفاجئة في القدرة. النموذج الصغير (4 مليار بارامتر) حصل على 0% صحيح. بينما قفز النموذج الأكبر قليلاً (9 مليار بارامتر) إلى 56%.
التشبيه: الأمر يشبه شخصية في لعبة فيديو لا فائدة منها حتى تصل إلى المستوى التاسع. عند المستوى الثامن، لا يمكنها حتى الإمساك بالمفتاح. عند المستوى التاسع، تتعلم فجأة كيف تمسك به بلطف. لم يكن هذا تحسناً تدريجياً، بل كان "صحوة" مفاجئة لمهارة محددة تسمى "ضبط النفس" (معرفة متى لا تغير البيانات).
3. "الأكبر ليس دائماً الأفضل" (أفعوانية GPT-5)
النتيجة: مع تطور عائلة نماذج GPT-5، ارتفع أداؤها، ثم انهار، ثم عاد للارتفاع مرة أخرى.
التشبيه: تخيل طباخاً يحصل على كتاب وصفات جديد.
- الطباخ أ (GPT-5): يصنع كعكة مثالية.
- الطباخ ب (GPT-5.1): حصل على نسخة "أذكى" من الكتاب، لكنه بدأ بإضافة الكثير من السكر وإفساد الوصفة (تحديداً، بدأ بتغيير المكونات بدلاً من نسخها كما هي).
- الطباخ ج (GPT-5.2): أصلح الوصفة وعاد لصنع الكعك المثالي.
تشير الورقة إلى أن جعل الذكاء الاصطناعي "أذكى" أو "أكثر قدرة على المحادثة" يمكن أن يجعله أحياناً أسوأ في اتباع القواعد الصارمة والمملة.
4. النماذج "الأساسية" (Base Models) لا تستطيع القيام بذلك
النتيجة: النماذج التي لم يتم "تدريبها" على الدردشة أو اتباع التعليمات (Base models) حصلت على 0% في الاختبار. فقط النماذج التي تعلمت كيفية اتباع التعليمات (Instruct models) استطاعت النجاح.
التشبية: كتلة من الطين الخام (Base model) لا يمكنها الحفاظ على شكل معين. يجب أن تنحتها (التدريب اللاحق/Post-training) لتجعلها قادرة على حمل كوب من الماء. القدرة على اتباع هذه العقود ليست طبيعية؛ بل يجب تعليمها.
5. "التلميح" ينجح
النتيجة: عندما أخبر الباحثون الذكاء الاصطناعي بالضبط ما الخطأ الذي ارتكبه (مثلاً: "لق لقد غيرت حرفاً في الكود")، استطاع الذكاء الاصطناعي إصلاح خطئه واجتاز الاختبار.
التشبيه: إذا قلت لطفل: "لقد أسقطت الكرة"، فقد يحاول مرة أخرى ويمسك بها. لكن إذا قلت له فقط: "حاول مجدداً"، فقد يسقطها مرة أخرى. التغذية الراجعة المحددة كانت هي المفتاح لإصلاح الخطأ.
لماذا يهم هذا الأمر (وفقاً للورقة البحثية)
تجادل الورقة بأننا كنا نختبر الذكاء الاصطناعي بناءً على ما إذا كان بإمكانه "حل لغز" أو "كتابة قصة". ولكن في العالم الحقيقي، غالباً ما يُستخدم وكلاء الذكاء الاصطناعي للقيام بمهام تتطلب الدقة المطلقة.
إذا كان وكيل الذكاء الاصطناعي يدير حسابك البنكي، فلا يمكنه تحمل تغيير رقم واحد في كود المعاملة. وإذا كان يدير خادماً (Server)، فلا يمكنه استخدام كلمة مرور منتهية الصلاحية.
الاستنتاج: وكلاء الذكاء الاصطناعي الحاليون يشبهون المتدربين العباقرة ولكنهم مهملون. هم يفهمون الصورة الكبيرة، لكنهم يستمرون في إسقاط الأدوات الهشة التي تُسلم إليهم. لجعلهم موثوقين للوظائف الحقيقية، لا ينبغي لنا فقط جعلهم "أذكى"، بل يجب أن نبدأ بتعليمهم كيف يكونون أكثر حذراً وأكثر دقة مع العقود الرقمية التي يتلقونها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.