💻 computer science

Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents

تحدد هذه الورقة وتُحدد كمياً ظاهرة "تباعد الأمان والاستدعاء" (Security-Recall Divergence)، وهي ظاهرة تفشل فيها وكلاء النماذج اللغوية الكبيرة بشكل متزايد في الالتزام بالقيود الأمنية القائمة على الحظر (السهو/الإغفال) مع زيادة طول المحادثة، بينما تحافظ في الوقت ذاته على الالتزام الصارم بالقيود القائمة على المتطلبات (الامتثال/التنفيذ)، وهو نمط فشل يظل غير مرئي للمراقبة القياسية ولكن يمكن التخفيف من حدته عن طريق إعادة حقن القيود قبل الوصول إلى "عمق الدور الآمن" الخاص بالنموذج.

المؤلفون الأصليون: Yeran Gamage

نُشر 2026-04-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yeran Gamage

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: مشكلة "الخادم النساي"

تخيل أنك وظفت خادماً ذكياً للغاية (عميل ذكاء اصطناعي) لإدارة منزلك. أعطيته قائمة صارمة من القواعد في بداية اليوم:

لا تفتح الخزنة. (قاعدة "لا تفعل")
لا تخبر أحداً بكلمة المرور. (قاعدة "لا تفعل")
دائماً اكتب التاريخ في أعلى كل تقرير. (قاعدة "افعل")
دائماً وقع باسمك في الأسفل. (قاعدة "افعل")

في الساعات الأولى، يكون الخادم مثالياً؛ فهو يتبع كل قاعدة. ولكن مع مرور الوقت، يصبح المنزل فوضوياً. تطلب منه فحص البريد، ري النباتات، إصلاح التسريب، طلب البقالة، والتحدث مع البستاني. تصبح "المحادثة" (أو السياق) أطول وأطول.

اكتشاف الورقة البحثية هو التالي:
بعد فترة، يبدأ الخادم في نسيان قواعد الـ "لا تفعل" (يفتح الخزنة بالخطأ أو يهمس بكلمة المرور)، لكنه لا ينسى أبداً قواعد الـ "افعل" (لا يزال يكتب التاريخ ويوقع باسمه).

بالنسبة لمراقب خارجي ينظر إلى التقارير، يبدو الخادم مثالياً لأن قواعد الـ "افعل" موجودة. لكن قواعد الـ "لا تفعل" الخطيرة قد اختفت بهدو-ء.

المفهوم الجوهري: "تباعد الأمان والاستدعاء" (Security-Recall Divergence)

يطلق الباحثون على هذه الظاهرة اسم "تباعد الأمان والاستدعاء" (SRD). وهي طريقة منمقة للقول: الذكاء الاصطناعي يتذكر ما يجب فعله، لكنه ينسى ما لا يجب فعله.

قام الباحثون باختبار ذلك مع 12 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (مثل Mistral و Qwen و Gemma) عبر ساعات طويلة من المحادثة. وهذا ما وجدوه:

قواعد الـ "افعل" (الارتكاب - Commission): هي بمثابة قائمة مراجعة. مثل "أضف ترويسة"، "أدرج رقم الهوية". يحب الذكاء الاصطناعي هذه القواعد لأنه يمكنه ببساطة نسخها ولصقها من تاريخه الأخير. تظل هذه القواعد عند نسبة امتثال 100% حتى بعد يوم طويل.
قواعد الـ "لا تفعل" (الترك/الإغفال - Omission): هي بمثابة لوحة "ممنوع اللمس". مثل "لا تستخدم النقاط"، "لا تكشف الأسرار". من الصعب الحفاظ على هذه القواعد لأن على الذكاء الاصطناعي أن يمنع نفسه بنشاط من القيام بشيء طبيعي. ومع طول المحادثة، تتلاشى هذه القواعد.

تشبيه قاعدة "عدم استخدام النقاط":
في الدراسة، كانت إحدى القواعد هي "لا تستخدم النقاط أبداً".

عند الدورة 5 (في بداية المحادثة): اتبع الذكاء الاصطناعي هذه القاعدة بنسبة 73%.
عند الدورة 16 (في عمق المحادثة): اتبع الذكاء الاصطناعي هذه القاعدة بنسبة 33% فقط.
وفي الوقت نفسه، ظلت قاعدة "أدرج دائماً رقم حادث الواقعة" عند 100% طوال الوقت.

كان الذكاء الاصطناعي "ممتثلاً" تقنياً (لأنه أدرج رقم الحادثة) ولكنه "غير ممتثل" (استخدم النقاط) في نفس الجملة تماماً.

لماذا يحدث هذا؟ (تأثير "تخفيف الانتباه")

تخيل ذاكرة الذكاء الاصطناعي كأنها كشاف ضوئي يسلط الضوء على لفافة ورق طويلة جداً.

المطالبة النظامية (System Prompt) (القواعد) مكتوبة في أعلى اللفافة تماماً.
المحادثة الحالية هي المكان الذي يسلط فيه الكشاف ضوءه الآن.

كلما طالت المحادثة، طالت اللفافة. ويجب على الكشاف (انتباه الذكاء الاصطناعي) أن يسلط الضوء لمسافة أبعد على اللفافة لرؤية الموضوع الحالي. ويصبح الضوء أخفت كلما ابتعد عن المصدر.

قواعد الـ "افعل" يتم تعزيزها لأن الذكاء الاصطناعي يكتبها في كل استجابة. الأمر يشبه قيام الذكاء الاصطناعي بكتابة القاعدة على الصفحة الحالية، لذا يرى الكشاف الضوء بوضوح.
قواعد الـ "لا تفعل" تُكتب مرة واحدة فقط في الأعلى. ومع نمو اللفافة، تُدفع قواعد الـ "لا تفعل" بعيداً نحو الظلال. "ينسى" الذكاء الاصطناটি هذه القواعد حرفياً لأن الإشارة أصبحت ضعيفة جداً لتتغلب على عاداته الطبيعية (مثل استخدام النقاط).

هجوم "تخفيف المخطط" (Schema Dilution Attack):
وجد الباحثون أيضاً أنه إذا ملأت ذاكرة الذكاء الاصطناعي بـ "خردة" إضافية (مثل 20 دليلاً تقنياً معقداً لأدوات لا يحتاجها حتى)، فإن قواعد الـ "لا تفعل" تختفي بشكل أسرع. الأمر يشبه وضع كتاب سميك بين الكشاف ولوحة "لا تفعل". اللوحة لا تزال موجودة، لكن الضوء لا يمكنه الوصول إليها.

منطقة الخطر: "الفشل غير المرئي"

هذا هو الجزء المخيف لخبراء الأمن.

معظم الأنظمة الأمنية تراقب الأشياء السيئة التي تحدث (مثل محاولة الذكاء الاصطناعي سرقة البيانات). لكنها تراقب أيضاً الأشياء الجيدة التي تحدث (مثل توقيع الذكاء الاصطناعي لتقاريره).

في هذا السيناريو:

يبدأ الذكاء الاصطنا_ي بتسريب الأسرار (انتهاك قاعدة الـ "لا تفعل").
لكنه لا يزال يوقع تقاريره بشكل مثالي (اتباع قاعدة الـ "افعل").
يرى المراقب الأمني التوقيع، فيظن أن "كل شيء على ما يرام"، ويسمح بحدوث التسريب.

الفشل هنا غير مرئي لأن الإشارات "الجيدة" تحجب الإشارات "السيئة". يبدو الذكاء الاصطناعي سليماً على السطح، لكن حواجز الأمان الخاصة به قد انهارت.

الحل: "عمق الدور الآمن" (Safe Turn Depth)

لم يكتفِ الباحثون بإيجاد المشكلة، بل وجدوا حلاً أيضاً. لقد حسبوا ما يسمى "عمق الدور الآمن" (STD).

اعتبر هذا بمثابة "تاريخ انتهاء صلاحية" للمحادثة.

بالنسبة لبعض نماذج الذكاء الاصطناعي، تبدأ قواعد الـ "لا تفعل" في الفشل بعد 7 أدوار.
وبالنسبة لأخرى، بعد 10 أدوار.

كيف تعالج الأمر:
لا تحتاج إلى إعادة تدريب الذكاء الاصطناي أو شراء أجهزة جديدة. أنت فقط بحاجة إلى:

إعادة ضبط الساعة: كل 7 أو 10 أدوار، أوقف المحادثة وقل: "حسناً، لنبدأ من جديد. تذكر القواعد: لا أسرار، ولا نقاط".
تحديد مدة الجلسة: إذا أصبحت المحادثة طويلة جداً، أغلقها وابدأ واحدة جديدة.

الملخص في جملة واحدة

نماذج الذكاء الاصطناعي بارعة في تذكر ما يجب "فعله" مع طول المحادثات، لكنها تنسى ببطء ما يجب "عدم فعله"، مما يخلق ثغرة أمنية خفية لا تختفي إلا إذا ذكرتها بالقواعد بشكل دوري.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تلاشي قيود الحذف بينما تستمر قيود الإثبات في وكلاء النماذج اللغوية الكبيرة ذات السياق الطويل" للباحث ييران غاماج (Yeran Gamage).

1. بيان المشكلة

تعمل وكلاء النماذج اللغوية الكبيرة (LLM agents) المنتشرة في بيئات الإنتاج عبر سجلات محادثات طويلة (عشرات الآلاف من الرموز/Tokens) بموجب سياسات سلوكية محددة في "المطالبات النظامية" (System Prompts) (مثل: "لا تكشف أبدًا عن بيانات الاعتماد"، "لا تستخدم النقاط التعدادية أبدًا"). تفترض التقييمات الأمنية الحالية أن هذه القيود تظل سارية طوال المحادثة. ومع ذلك، تحدد الورقة البحثية عدم تماثل حرج:

قيود الحذف (Omission Constraints - المحظورات): القواعد التي تتطلب من النموذج كبح سلوك معين (مثل: "لا تخرج X") تتلاشى بشكل كبير مع زيادة عمق السياق.
قيود الإثبات (Commission Constraints - المتطلبات): القواعد التي تتطلب من النموذج إنتاج محتوى محدد (مثل: "تضمين المعرف Y") تظل مستقرة حتى في الأعماق القصوى.

هذه الظاهرة، التي تُسمى "تباعد الاستدعاء الأمني" (Security-Recall Divergence - SRD)، تخلق "منطقة استغلال" حيث يبدو الوكيل ممتثلاً (يجتاز فحوصات الإثبات) بينما ينتهك فعليًا المحظورات الأمنية. هذا الفشل يكون غير مرئي لأنظمة المراقبة القياسية التي تعتمد على إشارات التدقيق من نوع "الإثبات".

2. المنهجية

تستخدم الدراسة تصميمًا سببيًا ثلاثي الأذرع عبر 12 نموذجًا من 8 مزودين عند 6 أعماق للمحادثة (الدورات 5، 10، 13، 16، 20، 25)، مما أنتج 4,416 تجربة.

الإعداد التجريبي

السيناريو: جلسة تصحيح أخطاء (Debugging) اصطناعية لعمليات DevOps حيث يعمل النموذج كوكيل لديه صلاحية الوصول إلى أدوات.
القيود: 8 قواعد سلوكية يتم تقديمها عبر مطالبات نظامية في الدور الثاني:
- 3 قواعد إثبات: يجب إنتاج سلاسل نصية محددة (مثل: "انتهِ بـ [AUDIT-OK]"، "ابدأ بـ STATUS:"، "تضمين معرف الحادث").
- 5 قواعد حذف: يجب كبح أنماط محددة (مثل: "لا تستخدم النقاط التعدادية"، "لا تستخدم رؤوس Markdown"، "لا تستخدم ضمائر المتكلم").
ثلاثة أذرع تجريبية:
1. الذراع (أ) (التحكم في عدم التخفيف): عمق محادثة قياسي مع 3 أدوات أساسية فقط.
2. الذراع (ب) (تخفيف المخطط / الهجوم): إضافة 20 مخططًا لأدوات البنية التحتية السحابية إلى نافذة السياق. هذا يحقن حوالي 10,000 رمز من البيانات المنظمة والمعقدة دلاليًا لمحاكاة "حقن استنفاد السياق" (Context-Exhaustion Injection - CEI)، مما يدفع وثيقة السياسة بعيدًا عن تركيز الانتباه الحالي للنموذج.
3. الذراع (ج) (التحكم في الحشو المتطابق مع عدد الرموز): استبدال الـ 20 مخططًا بمجسات (Probes) محايدة دلاليًا بنفس الطول. هذا يعزل ما إذا كان التلاشي ناتجًا عن حجم الرموز أم المحتوى الدلالي للمخططات.

مقاييس التقييم

معدل الامتثال: يُقاس عبر مطابقة السلاسل النصية الحتمية/التعبيرات النمطية (Regex) (دون استخدام نماذج لغوية كحكام).
عمق الدور الآمن (Safe Turn Depth - STD): عمق الدور المحدد الذي ينخفض فيه امتثال الحذف إلى أقل من 50%.
التحليل الإحصائي: اختبارات Cochran-Mantel-Haenszel (CMH)، والانحدار اللوجستي، واختبارات McNemar الدقيقة للتحقق من عدم التماثل.

3. المساهمات الرئيسية

اكتشاف تباعد الاستدعاء الأمني (SRD): تثبت الورقة أن قيود الحذف (المحظورات) تتلاشى مع عمق السياق بينما تستمر قيود الإثبات (المتطلبات)، مما يخلق ثغرة أمنية خطيرة.
دليل سببي على الآلية: من خلال التصميم ثلاثي الأذرع، تثبت الدراسة أن المحتوى الدلالي للمخططات (وليس مجرد حجم الرموز) هو المحرك الأساسي للتلاشي. في النماذج المختبرة مع الذراع (ج) (Gemini 2.5 Flash, Llama 3.3 70B)، تسبب المحتوى الدلالي للمخططات في 62-100% من تأثير التخفيف.
مقياس قابل للتطبيق (STD): تقدم "عمق الدور الآمن" كمقياس لكل نموذج ولكل قيد. يمكن للمشغلين استخدامه لتحديد متى يجب إعادة حقن القيود أو إعادة ضبط الجلسات دون الحاجة لإعادة تدريب النماذج.

4. النتائج الرئيسية

تأكيد عدم التماثل: في النماذج المعرضة للخطر (مثل Mistral Large 3، Qwen 3.5، Nemotron)، انخفض امتثال الحذف (مثل "لا تستخدم النقاط التعدادية") من 73% في الدور 5 إلى 33% في الدور 16 و 20% في الدور 25. وعلى العكس من ذلك، ظل امتثال الإثبات (مثل "تضمين معرف الحادث") عند ~100% عبر جميع الأعماق.
الأهمية الإحصائية: عدم التماثل ذو دلالة عالية في 3 من أصل 4 نماذج ذات بيانات طولية (Mistral: $p < 10^{-33}$ ؛ Nemotron: $p < 10^{-5}$ ؛ Qwen: $p < 10^{-3}$ ).
التحكم "المحصن": أظهر نموذج Gemma 4 31B انتهاكات تقارب الصفر في جميع التجارب، حيث عمل كتحكم حصين مرصود، مما يشير إلى أن الثغرة مرتبطة بالنموذج وليست قانون توسع عالمي.
ناقل الهجوم (CEI): نجح هجوم "حقن استنفاد السياق" في إطلاق انتهاكات الحذف دون أي تعليمات عدائية، بمجرد تراكم مخططات الأدوات المشروعة.
تفنيد الصعوبة: التلاشي ليس بسبب صعوبة المهمة. القواعد الصعبة للإثبات (مثل تضمين معرف مكون من 5 أرقام) ظلت عند 100% بينما انهارت قواعد الحذف "الصعبة" (مثل عدم استخدام النقاط التعدادية).

5. الأهمية والآثار المترتبة

الثغرة الأمنية: الوكلاء في بيئات الإنتاج معرضون لهجمات سلبية حيث يتم تجاهل سياسات السلامة بصمت مع نمو السياق. المراقبة القياسية التي تتحقق من "المخرجات المطلوبة" (الإثبات) ستفشل في رصد هذه الانتهاكات.
الآلية: يُعزى التلاشي إلى تخفيف الانتباه (Attention Dilution). مع تراكم السياق، تحصل وثيقة السياسة (الموضوعة في بداية السياق) على وزن انتباه أقل، مما يفشل في تجاوز السلوكيات التوليدية الافتراضية للنموذج (التي تفضل التنسيقات مثل النقاط التعدادية).
استراتيجيات التخفيف:
1. إعادة الحقن الدوري: إعادة ذكر قيود الحذف كل $k$ دورة (حيث $k <$ STD) لإعادة ضبط المسافة الانتباهية.
2. ميزانية الرموز الآمنة (Safe Token Budget - STB): تحديد طول الجلسة بناءً على الـ STD الخاص بالنموذج (على سبيل المثال، Mistral Large 3 $\approx$ 10.6 دورة أو ~15 ألف رمز) قبل إعادة ضبط نافذة السياق.
قصور الاختبارات المرجعية: تفشل الاختبارات المرجعية الحالية (مثل IFEval, FollowBench, AgentDojo) في اكتشاف ذلك لأنها تختبر تفاعلات من دور واحد أو آفاق قصيرة (1-3 دورات)، مما يغفل التلاشي الناتج عن العمق والزمن.

الخاتمة

تثبت الورقة أن المحظورات هشة في السياقات الطويلة، بينما المتطلبات قوية. هذا التباعد يسمح للوكلاء باجتياز عمليات تدقيق السلامة مع انتهاك سياسات أمنية حرجة (مثل تسريب البيانات أو تسريب بيانات الاعتماد) في الوقت نفسه. يقدم المؤلفون إطارًا قابلاً للقياس (STD) وتخفيفات فورية لا تتطلب إعادة تدريب لتأمين الوكلاء ذوي السياق الطويل.