ملخص تقني: الشبح في سياق القرار (Ghost in the Context)

تعريف المشكلة

تحدد هذه الورقة نمطاً أمنياً متميزاً للفشل في وكلاء النماذج اللغوية الكبيرة (LLM) يُسمى فشل حمل السياسة (policy-carriage failure) أثناء تجميع سياق وقت القرار (decision-time context assembly).

في بنى الوكلاء المنشورة، لا يعمل النموذج على تاريخ التفاعل الخام؛ بل يقوم طبقة تنسيق ($E$) بتجميع "حالة قرار" ($C_t$) محدودة عبر بتر، وتلخيص، وإعادة ترتيب، وإعادة كتابة الحالة السابقة قبل استدعاء النموذج النهائي ($M$). يجادل المؤلفون بأن الحدود الأمنية تمتد إلى ما وراء أوزان النموذج وسطح المطالبة (prompt) المرئي لتشمل نظام التجميع الفرعي هذا.

التهديد الجوهري هو أن الحالة الحاملة للتوجيهات (مثل السياسات الأمنية، قواعد السماح/المنع، قيود السلطة) تتنافس مع مخرجات الأدوات، وملاحظات المخطط، ومحتوى المستخدم على ميزانية رمزية (token budget) محدودة. إذا قامت عملية التجميع بإسقاط أو إضعاف أو إعادة ربط هذه التوجيهات قبل أن يراها النموذج، يمكن للوكيل تجاوز حدود السياسة دون الحاجة إلى حقن مطالبة (prompt injection)، أو اختراق النموذج، أو تسميم الذاكرة المستمرة. يحتاج المهاجم فقط إلى التحكم في ضغط الجدولة (scheduling pressure) (حجم وترتيب المحتوى غير التحكمي) لإحداث هذه الإخفاقات.

تصنف الورقة هذه الإخفاقات إلى ثلاث عائلات:

1. الإقصاء (Eviction): يتم إزاحة الحالة الحاملة للتوجيهات بحيث لا تصل إلى حالة القرار (فشل التوافر - Availability Failure).
2. التحريف الدلالي (Aliasing): تنجو التوجيهات ولكنها تضعف دلالياً، أو تُعاد كتابتها، أو تُشوه، مما يؤدي إلى فشل الحفاظ على الحد التشغيلي الأصلي (فشل السلامة - Integrity Failure).
3. عدم استقرار الربط (Binding Instability): تظل التوجيهات مرئية ولكن يتم إعادة ربطها بفاعل أو كائن أو شرط خاطئ (انزياح المرجع - Reference Drift).

المنهجية

تقيم الدراسة أنماط الفشل هذه باستخدام حملة محكومة ومغلقة عبر نماذج محلية متوافقة: Llama 3.1 8B، و Qwen 2.5 7B، و Mistral 7B، مع امتداد إلى Qwen 2.5 14B و Llama 3.1 70B.

الإعداد التجريبي

• نظام الميزانية: ميزانية قرار صارمة ومتعمدة تبلغ 260 رمزاً (token). هذا يفرض مقايضات واقعية بين هيكلية النظام، وتتبعات الأدوات، والملخصات، والاستعلام النهائي، مما يضمن إمكانية ملاحظة التنافس على السياسة.
• ناقلات الهجوم: تم بناء سيناريوهات لاستحثاث الإقصاء، والتحريف الدلالي، وعدم استقرار الربط عبر تغيير ترتيب وحجم "المحتوى الحشوي" (مخرجات الأدوات، ملاحظات المخطط) بالنسبة للنطاقات الحاملة للتوجيهات.
• المقاييس:
  • معدل الاحتفاظ بالقيود الدقيقة (ECR): ما إذا كانت الإجابة النهائية تحترم بدقة جميع القيود المعمول بها.
  • معدل بقاء القيود (CSR): مقياس متدرج للاحترام الجزئي.
  • معدل انقلاب القرار (DFR): ما إذا كان تغيير ترتيب المطالبة فقط يؤدي إلى قلب نتيجة التحكم.
  • معدل الحفظ المباشر (DPR): تدقيق مباشر لحالة القرار المجمعة للتحقق مما إذا كانت علامات القيود مرئية صراحةً قبل استدعاء النموذج.

التدخل: SafeContext

يقترح المؤلفون ويقيمون SafeContext، وهو طبقة تحكم تتدخل في عملية التجميع دون تعديل أوزان النموذج. تشمل آلياته:

• التحكم في القبول (LPC): تصنيف القطع الواردة كـ "سياسة" أو "بيانات" قبل التنافس على الميزانية.
• تثبيت التحكم الدلالي (SCP): حجز ميزانية محمية للحالة الحاملة للتوجيهات وتثبيتها في حالة القرار.
• إعادة استخدام البادئة الواعية للتخزين المؤقت (Cache-Aware Prefix Reuse): إعادة استخدام بادئات التحكم المحتفظ بها عبر الدورات لتجنب تكاليف إعادة التسلسل.
• هندسة السياق الغازية (ICE): إطلاق تذكيرات تحكم قصيرة بالقرب من الاستعلام النهائي عندما يتجاوز ضغط الرموز المدخلة عتبة معينة (العمر النصفي للأمن - Security Half-Life).
• مدقق درجة ربط السلطة (ABS Auditor): التحقق من أن التوجيهات الناجية تظل مرتبطة بكائناتها المقصودة.

النتائج الرئيسية

1. المخاطر المنهجية غير المعالجة (C1)

المخاطر غير المعالجة هي مخاطر منهجية. في نظام الميزانية المنخفضة، يكون احترام القيود الدقيقة (ECR) منخفضاً للغاية عبر جميع النماذج وعائلات الهجوم.

• الإقصاء والتحريف الدلالي هما أنماط الفشل المهيمنة.
• عدم استقرار الربط أصغر وأكثر ضجيجاً.
• بدون معالجة، غالباً ما يتم إزاحة أو إضعاف النطاقات الحاملة للتوجيهات بواسطة التاريخ العادي قبل استدعاء النموذج.

2. الآثار المتبقية ضد الضغط الشديد (C2)

تعتمد فعالية التخفيف بشكل كبير على سياسة التجميع المتنافسة.

• ضد البتر البسيط، يحقق SafeContext مكاسب إيجابية صغيرة في ECR (على سبيل المثال، الارتفاع من ~0.027 إلى ~0.061 باستخدام SCP+ICE).
• ضد الضغط الهيكلي القوي (B2+)، تختفي معظم المكاسب التراكمية. تتركز الفائدة المتبقية حصرياً في إقصاء الفيض (حيث يكون الضغط في أعلى مستوياته) وفي شرائح محددة من التحريف الدلالي.
• إعادة التشغيل فقط (مجرد تكرار القيود) لا يفسر التأثير؛ المكاسب تأتي من التعامل المحدد مع حالة التحكم (التثبيت والعزل)، وليس مجرد الحداثة (recency).

3. التباين والمقياس (C3)

• التأثير متكرر ولكنه متباين. يعتمد اتجاه وحجم فوائد التخفيف على التفاعل بين أولويات النموذج وسياسة التجميع المحددة.
• النماذج الأكبر (14B, 70B) لا تلغي الظاهرة. بينما يظهر Qwen 14B نتائج إيجابية في التحريف الدلالي، يظل Llama 70B مشروطاً بالسياسة. المقياس لا ينهار فيه نمط الفشل ليصبح مجرد "تأثير النموذج الأكبر"؛ فالقاعدة الحاكمة يجب أن تصل إلى وقت القرار وتكون ممثلة بشكل صحيح.

4. ملف التكلفة مقابل المنفعة (C4)

يقدم SafeContext مقايضة قابلة للضبط بين الأمن والتكاليف الإضافية:

• SCP (القبول/التثبيت): تكلفة منخفضة (~+5 رموز) مع مكاسب متواضلة في ECR.
• SCP+ICE: تكلفة أعلى (~+37 رمزاً) مع مكاسب أعلى في ECR.
• SCP+Cache+ICE: يمكن أن يقلل بالفعل من إجمالي عدد الرموز (~-365 رمزاً) عن طريق تجنب إعادة تسلسل قطع التحكم المثبتة، مع تحقيق أعلى مكاسب في E ECR.
• "الربح الأمني" ليس موحداً؛ فهو يظهر بوضوح أكبر حيث تكون الحالة الحاملة للتحكم تحت أكبر قدر من الضغط.

الأهمية والادعاءات

تدعي الورقة أن تجميع سياق وقت القرار هو جزء قابل للقياس ومتميز من مسار التحكم في وكلاء LLM.

• تحول نموذج التهديد: لا يمكن حصر الأمن في أوزان النموذج وسطح المطالبة النهائي فقط. النظام الفرعي الذي يجمع السياق ($E$) هو جزء من قاعدة الثقة الحاسوبية (TCB). لا يحتاج المهاجم إلى حقن سلاسل نصية خبيثة؛ بل يمكنه ببساطة التلاعب بضغط الجدولة للتسبب في إسقاط أو إضعاف التوجيهات السلطوية.
• تفكيك الفشل: تصنف الورقة تصنيفاً للفشل (الإقصاء، التحريف الدلالي، عدم استقرار الربط) يتجاوز "تدهور السياق الطويل" العام إلى إخفاقات محددة في حالة التحكم.
• التحصين الجزئي: رغم أن الاحترام الدقيق المطلق يظل منخفضاً حتى بعد التخفيف، إلا أن التعامل المستهدف مع الحالة الحاملة للتوجيهات (القبول، التثبيت، والتعزيز المحفز بالضغط) يمكن أن يحصن النظام جزئياً.
• الآثار التصميمية: يجب التعامل مع الحالة الحاملة للتوجيهات كحالة تشغيلية من الدرجة الأولى، متميزة عن السياق الحواري أو السياق المولد من الأدوات العادي. وهي تتطلب مسارات قبول صريحة، وميزانيات محجوزة، وعمليات تدقيق للسلامة، بدما لا تخضع للضغط (compression) العرضي.

يخلص المؤلفون إلى أنه بينما لا تؤدي نوافذ السياق الأكبر وتحسينات الذاكرة العامة إلى القضاء على هذه المشكلة، فإن حالات الفشل المحددة لحمل السياسة في التجميع المحدود يمكن تفكيكها، وقياسها، والتخفيف من حدتها جزئياً من خلال تدخلات طبقة التنسيق.