ملخص تقني: تحليل الثغرات الشامل ضروري لضمان موثوقية أنظمة الوكلاء المتعددة القائمة على النماذج اللغوية الكبيرة (LLM-MAS)

1. بيان المشكلة

تمثل أنظمة الوكلاء المتعددة القائمة على النماذج اللغوية الكبيرة (LLM-MAS) تقدمًا كبيرًا في التعاون بين أنظمة الذكاء الاصطناعي، حيث تقوم بنشر وكلاء متخصصين متعددين لمعالجة مهام معقدة في مجالات عالية المخاطر مثل التكنولوجيا المالية (fintech)، والفرز الطبي، وهندسة البرمجيات. وبينما تمت دراسة ثغرات الوكيل المنفرد بشكل جيد (مثل حقن الأوامر، وتوليد المخرجات الضارة)، فإن أنظمة LLM-MAS تقدم تحديات أمنية جديدة وفريدة من نوعها تظل غير مستكشفة بشكل كافٍ.

تتمثل المشكلة الجوهرية المحددة في أن الأبحاث الأمنية الحالية تفتقر إلى تقييم شامل لتهديدات LLM-MAS. فالدراسات الحالية غالبًا ما تركز بشكل ضيق على مكونات معزولة (مثل ملفات تعريف الوكلاء الفردية) أو سيناريوهات محددة (مثل حقن الأخطاء)، مما يؤدي إلى الفشل في مراعاة أسطح الهجوم الجديدة التي تنشأ عن التواصل بين الوكلاء، وعلاقات الثقة، وتكامل الأدوات. إن غياب التصنيفات الواسعة، ونماذج التهديد المبررة جيدًا، والتعريفات الرسمية لأهداف الهجوم يعيق تصميم معايير تقييم ذات مغزى وبناء أنظمة موثوقة حقًا.

2. المنهجية

تقترح الورقة إطار عمل منهجي لتحليل الثغرات يستند إلى صياغة رياضية رسمية.

2.1 تفكيك النظام

قام المؤلفون بتفكيك نظام LLM-MAS (المشار إليه بـ $S_{MA}$) إلى ستة مكونات أساسية:

1. الوكلاء الأفراد ($A$): يتكونون من نواة نموذج لغوي كبير ($f_i$)، وملف تعريف للوكيل ($P_i$)، ومجموعة من الأدوات ($T_i$).
2. التواصل بين الوكلاء ($C$): يتم تعريفه من خلال هيكل التواصل ($S$)، والرسائل المتبادلة ($M$)، وإدارة الثقة ($T$).
3. البيئة ($E$): الإعداد الفيزيائي أو المحاكي الذي يعمل فيه الوكلاء.
4. الذاكرة ($Mem$): تخزين مشترك للرسائل والتجارب.
5. الاستعلام الأولي ($Q$): المدخل الذي يحفز النظام.

2.2 نموذج التهديد الرسمي

حدد المؤلفون صياغة عامة للمهاجمين الذين يهدفون إلى تحقيق هدف خبيث ($G$) من خلال التلاعب بمكون معين من النظام ($S$):
$$\arg \max_{S \in \Theta_S} \text{Evaluator}(S_{MA}, Q, G)$$
حيث أن:

• $\Theta_S$ تمثل المساحة الخبيثة المحددة بقدرات المهاجم (الصندوق الأسود Black-box، أو الصندوق الرمادي Gray-box، أو الصندوق الأبيض White-box).
• وظيفة المقيم (Evaluator) تقيس نجاح الهجوم بناءً على هدف محدد (مثل السلوك الضار، أو استنزاف الموارد).

2.3 تصنيف الثغرات

يصنف الإطار الأهداف الخبيثة ويحلل الثغرات عبر كل مكون:

• الأهداف الخبيثة:
  • السلوك الضار: التصعيد من النصوص الضارة إلى تنفيذ برامج تدميرية أو معاملات غير مصرح بها عبر قدرات الأدوات.
  • استنزاف الموارد: تحميل الموارد الحسابية (المعالج، الذاكرة، عرض النطاق الترددي) بشكل زائد عبر تضخم الرسائل أو إساءة استخدام الأدوات.
  • تدهور الأداء: تقليل دقة المهمة أو كفاءتها من خلال المدخلات المسمومة.
  • تسريب الخصوصية: استخراج البيانات الحساسة من الوكلاء الآخرين أو الذاكرة المشتركة عبر التواصل بين الوكلاء.
• الثغرات الخاصة بكل مكون:
  • المدخلات ($Q$): حقن الأوامب (Prompt injection) والتلاعب بالسياق.
  • الوكلاء ($A_i$): نوى النماذج اللغوية المخترقة، والملفات التعريفية المختطفة (خاصة في ظل بروتوكولات الوكيل-إلى-الوكيل)، والأدوات الخبيثة (بما في ذلك تسميم بروتوكول سياق النموذج/MCP).
  • التواصل ($C$): هجمات "الوكيل في المنتصف" (Agent-in-the-middle)، واعتراض الرسائل، وغياب الشك في إدارة الثقة (القبول الأعمى للرسائل غير المتحقق منها).
  • البيئة ($E$): الهجمات البيئية الفيزيائية أو المحاكية التي تؤثر على إدراك الوكيل.

3. المساهمات الرئيسية

• إطار عمل منهجي: إطار عمل موحد يحدد رسميًا الأهداف الخبيثة ويمكّن التحليل الهيكلي لجميع مكونات LLM-MAS، متجاوزًا التقييمات المتمحورة حول الوكيل المنفرد.
• تصنيف شامل: تحديد أسطح الهجوم الفريدة الخاصة ببنى الوكلاء المتعددة، لا سيما في هياكل التواصل وإدارة الثقة، والتي تغيب في أنظمة الوكيل المنفرد.
  يدخل ضمن هذا الإطار تعريفات دقيقة لأهداف الهجوم ونماذج التهديد المستندة إلى قدرات المهاجم العملية، مما يوفر أساسًا للتقييمات القابلة للتكرار.
• دراسة تجريبية أولية: تطبيق الإطار باستخدام بنية (المخطط-المنفذ/Planner-Executor) في مجال الخدمات المصرفية لإثبات وجود ثغرات غير بديهية.

4. النتائج

أجرى المؤلفون دراسة أولية باستخدام خط معالجة (مخطط-منفذ) (المخطط: GPT-5-mini؛ المنفذ: GPT-5-mini أو GPT-5-nano) على مجموعة بيانات AgentDojo المصرفية. وقاموا بإجراء هجمات حقن الأوامر في ثلاث مراحل: بداية المخطط، بداية المنفذ، ونهاية المنفذ.

النتائج الرئيسية:

• ضعف شديد: أظهر النظام ضعفًا ملموسًا عبر مراحل الهجوم المختلفة وقدرات النماذج المختلفة.
• نقاط الحقن الحرجة: حققت عمليات الحقن في مرحلتي بداية المخطط ونهاية المنفذ باستمرار معدلات نجاح هجوم (ASR) عالية بلغت حوالي 90% لكل من أهداف تسريب الخصوصية والسلوك الضار.
• الطبيعة الهيكلية: يشير استمرار هذه الثغرات عبر النماذج والأهداف المختلفة إلى أن المخاطر هيكلية وتنبع من التفاعلات على مستوى النظام وليس من عيوب الوكيل الفردي.
• المنفعة مقابل الأمن: لوحظت معدلات نجاح هجوم عالية حتى مع الحفاظ على مستويات عالية نسبيًا من منفعة المهمة (على سبيل المثال، إكمال المهمة بنسبة 80-90%)، مما يشير إلى أن الهجمات يمكن أن تنجح دون تعطيل النظام فورًا.

5. الأهمية والدعوة للعمل

تجادل الورقة بأن التحليل الشامل للثغرات هو شرط مسبق لبناء أنظمة LLM-MAS جديرة بالثقة. ويؤكد المؤلفون أن المجال يفتقر حاليًا إلى:

1. معايير قياس (Benchmarks) مصممة خصيصًا لتقييم ثغرات LLM-MAS.
2. النظر في الهجمات المحتملة الجديدة الخاصة ببنى الوكلاء المتعددة (مثل استنتاج الهيكل، وهجمات استقرار النظام).
3. تنفيذ أنظمة إدارة الثقة القادرة على فرض الأمن في الظروف العدائية.

يعمل هذا العمل كحجر أساس ضروري للأبحاث المستقبلية، حيث يحث المجتمع العلمي على اعتماد تحليلات أمنية على مستوى النظام تعمل بشكل صريح على نمذجة الأهداف الخبيثة، وقدرات المهاجم، وتفاعلات الوكلاء. كما يدعو إلى تطوير صياغات مبدئية وتحليلات قابلة للتكرار تعكس التعقيد الهيكلي لأنظمة الوكلاء في العالم الحقيقي، بدلاً من الاعتماد على الاختبارات العشوائية للمكونات الفردية.

التحديات المفتوحة المحددة:

• تطوير معايير قياس ذات دقة مناسبة لأنظمة الوكلاء المتعددة.
• إنشاء هجمات عملية للأنظمة المعقدة متعددة المكونات حيث يكون حساب التدرج (gradient computation) غير ممكن.
• تصميم وكلاء مراقبة موثوقين ومنخفضي التأخير للإشراف في الوقت الفعلي.
• دمج مبادئ الأمن التقليدية (مثل الحد الأدنى من الامتيازات، والدفاع في العمق) في دورة حياة الوكيل.