Arbiter: Detecting Interference in LLM Agent System Prompts
تقدم هذه الورقة "Arbiter"، وهو إطار عمل يجمع بين القواعد الصورية والتحليل متعدد النماذج للنماذج اللغوية الكبيرة (LLM) للكشف عن أنماط التداخل في مطالبات أنظمة الوكلاء البرمجية، كاشفاً أن بنية المطالبة تؤثر على أنواع الفشل وأن التقييم متعدد النماذج يكشف عن ثغرات متميزة تغفل عنها النهج أحادية النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً آلياً (روبوت) فائق الذكاء وسريع للغاية لكتابة الأكواد من أجلك. أنت تعطي هذا الروبوت دليلاً ضخماً للتعليمات (يسمى المطالبة بالنظام - System Prompt) يخبره بدقة كيف يتصرف، وما هي الأدوات التي يستخدمها، والقواعد التي يجب أن يتبعها.
هذه الورقة البحثية تتحدث عن أداة جديدة تسمى Arbiter، والتي تعمل مثل "مراقب جودة" لهذه الأدلة الإرشادية. لقد اكتشف الباحثون أنه بينما تُعد هذه الأدلة في جوهرها برمجيات، إلا أنها تُكتب بلغة إنجليزية عادية، وتفتقر إلى ضوابط السلامة، ولا تحتوي على مدققات إملائية، ولا تخضع لتجارب تشغيل قبل استخدامها.
إليك تفصيل الورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: "الروبوت المرتبك"
تخيل "المطالبة بالنظام" (System Prompt) كأنها دستور لروبوتك.
- المشكلة: في البرامج الحاسوبية العادية، إذا كتبت قاعدتين متناقضتين (مثلاً: "ارتدِ قبعة دائماً" و"لا ترتدِ قبعة أبداً")، فإن الكمبيوتر يتعطل أو يعطي خطأً.
- الواقع: مع الذكاء الاصطناعي، لا يتعطل الروبوت. بل يقوم فقط باستخدام "أفضل تخمين" لديه لتقرير أي قاعدة يتبع. أحياناً يختار القاعدة الصحيحة، وأحياناً يختار الخاطئة؛ فهو يتجاهل التناقض بصمت، مما يؤدي إلى سلوك غريب لا يلاحظه أحد حتى يحدث خطأ ما.
- الفخ: لا يمكنك أن تطلب من الروبوت فحص دليله الخاص. الأمر يشبه طلب من شخص مرتبك حالياً أن يخبرك لماذا هو مرتبك؛ سيقوم فقط بتبرير الأمر والاستمرار في العمل.
2. الحل: "Arbiter" (المحقق)
بنى الباحثون إطار عمل يسمى Arbiter ليعمل كمُدقق خارجي. يستخدم استراتيجيتين رئيسيتين للعثور على هذه التناقضات الخفية:
الاستراتيجية (أ): "فحص كتاب القواعد" (التقييم الموجه)
هذا يشبه معلماً صارماً يصحح واجب طالب بناءً على قائمة محددة من القواعد.
- تقوم الأداة بتقسيم الدليل إلى أجزاء.
- تبحث عن أخطاء محددة ومعروفة (مثل: "القاعدة (أ) تقول (س)، لكن القاعدة (ب) تقول (ليس س)").
- النتيجة: وجدت الأداة 21 تناقضاً واضحاً في أحد الأدلة (Claude Code)، معظمها ناتج عن كتابة فرق مختلفة لقواعد لم تتواصل مع بعضها البعض.
الاستراتيجية (ب): "المستكشف الفضولي" (التنقيب غير الموجه)
هذا هو الجزء الذكي. بدلاً من البحث عن أخطاء محددة، ترسل الأداة الدليل إلى نماذج ذكاء اصطناعي متعددة ومختلفة (مثل سؤال 10 محققين مختلفين لقراءة نفس الرواية الغامضة) وتقول لهم: "اقرأوا هذا بعناية وأخبروني بما يبدو غريباً أو مثيراً للاهتمام".
- لماذا نماذج مختلفة؟ تماماً كما أن للناس وجهات نظر مختلفة، تلاحظ نماذج الذكاء الاصطناعي المختلفة أشياءً مختلفة. قد يلاحظ أحدها مخاطر أمنية، بينما يلاحظ آخر خطأً منطقياً.
- العملية: يحصل الذكاء الاصطناعي الثاني على ملاحظات الأول ويبحث عما فات الأول. يستمرون في تمرير المهمة فيما بينهم حتى يقول ثلاثة محققين من الذكاء الاصطناعي على التوالي: "لا أرى أي شيء جديد".
- النتيجة: وجدت هذه الطريقة 152 نمطاً غريباً، بما في ذلك بعض الأنماط التي كان من الممكن أن تغفل عنها طريقة "فحص كتاب القواعد" الصارمة.
3. الاكتشاف الكبير: الهيكلية هي الأساس
وجد الباحثون أن شكل الدليل يحدد نوع الأخطاء:
- "المونوليث" (الجدار الضخم): وثيقة واحدة ضخمة مكونة من 1,500 صفحة (مثل Claude Code).
- الخلل: نظراً لأنها نمت لتصبح كبيرة جداً، تتناقض أجزاء مختلفة من الجدار مع بعضها البعض. الأمر يشبه منزلاً قام فيه فريق المطبخ بتركيب باب، بينما قام فريق غرفة النوم بإغلاقه من الداخل.
- "المسطح" (القائمة البسيطة): وثيقة قصيرة مكونة من 300 صفحة (مثل Codex CLI).
- الخلل: هي بسيطة جداً بحيث لا تحتوي على الكثير من التناقضات، لكنها أيضاً لا تستطيع القيام بأشياء معقدة. إنها تضحي بالقوة مقابل السلامة.
{% endblock %}
- الخلل: هي بسيطة جداً بحيث لا تحتوي على الكثير من التناقضات، لكنها أيضاً لا تستطيع القيام بأشياء معقدة. إنها تضحي بالقوة مقابل السلامة.
- "الموديولار/التركيبي" (مجموعة الليغو): دليل مبني من كتل برمجية منفصلة يتم تجميعها في اللحظة الأخيرة (مثل Gemini CLI).
- الخلل: الكتل الفردية تعمل بشكل جيد، ولكن الروابط بينها مكسورة.
- مثال من الواقع: وجد الباحثون خطأً حرجاً في Gemini CLI التابع لجوجل. كان الدليل يحتوي على قاعدة لـ "حفظ الذاكرة" وقاعدة لـ "ضغط السجل". قامت قاعدة الضغط بحذف "الذاكرة المحفوظة" بالخطأ لأن القاعدتين لم تتواصلا أبداً. كانت جوجل قد عالجت بالفعل "عَرَض" هذا الخطأ، لكن السبب الجذري (الرابط المكسور) كان لا يزال موجوداً.
4. التكلفة الصادمة
الجزء الأكثر إثارة للدهشة في الورقة هو الثمن.
- لتحليل ثلاثة أنظمة ذكاء اصطناعي رئيسية من Google وOpenAI وAnthropic، أنفق الباحثون 0.27 دولار أمريكي (27 سنتاً).
- هذا أقل من تكلفة دقيقة واحدة من العمل بالحد الأدنى للأجور.
- الخلاصة: لدينا الأدوات لفحص "دساتير" الذكاء الاصطنا هذه بدقة وبشكل شبه مجاني، ولكن لا أحد يفعل ذلك.
التشبيه الملخص
تخيل بناء ناطحة سحاب.
- الوضع الحالي: نحن نسلم طاقم البناء دليلاً إرشادياً مكوناً من 1,000 صفحة مكتوب بلغة إنجليزية فوضوية، دون وجود مهندس معماري ليتأكد من تطابق المخططات. إذا قال الدليل "ابنِ جسراً هنا" وقال "لا تبنِ جسراً هنا"، فإن العمال سيقومون بالتخمين فقط.
- دور Arbiter: أداة Arbiter تقرأ الدليل، وتطلب من عشرة مهندسين خبراء البحث عن العيوب، وتخبرنا بالضبط أين تتناقض المخططات مع بعضها البعض.
- النتيجة: وجدنا أن الطريقة التي نكتب بها هذه الأدلة تسبب أنواعاً محددة من الكوارث، ويمكننا إصلاحها بسعر كوب من القهوة.
الخلاصة النهائية: المطالبات بالنظام (System Prompts) هي أهم البرمجيات في الذكاء الاصطناعي، ومع ذلك فهي الأقل اختباراً. تثبت هذه الورقة أننا نستطيع العثور على مخاطرها الخفية بسهولة ورخص، ولكننا بحاجة للبدء في معاملتها كبرمجيات جادة، وليس مجرد ملفات نصية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.