ملخص تقني: الدفاع عن الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة ضد الهجمات التعاونية باستخدام التصحيح على مستوى الجملة

1. بيان المشكلة

برزت الأنظمة متعددة الوكلاء (MAS) القائمة على النماذج اللغوية الكبيرة (LLM) كأدوات قوية لاتخاذ القرار التعاوني وحل المشكلات المعقدة. ومع ذلك، فإن اعتمادها على التواصل المتكرر بين الوكلاء يفرض ثغرات أمنية كبيرة. وبينما ركزت الأبحاث السابقة إلى حد كبير على السلوكات العدائية المستقلة (حيث يعمل الوكلاء الخبيثون في عزلة) أو أنماط التنسيق المحددة مسبقاً، هناك فجوة حرجة في فهم والدفاع ضد الهجمات التعاونية التكيفية.

في مثل هذه السيناريوهات، ينسق الوكلاء الخبيثون ذاتياً من خلال تفاعلات متعددة الجولات، ويتبادلون المعلومات الداخلية لتعديل استراتيجياتهم ديناميكياً. يسمح هذا التعاون لهم بتلفيق معلومات مضللة متماسكة دلالياً ولكنها غير صحيحة واقعياً، والتي يتم تعزيزها بشكل متكرر، مما يؤدي إلى تدهور أكثر خطورة في أداء النظام مقارنة بالهجمات المستقلة. تعمل آليات الدفاع الحالية غالباً على مستوى الوكيل، مما يجعل من الصعب تحديد المعلومات المضللة الموضعية أو تصحيح المحتوى الخاط صراحةً، مما يؤدي إلى محدودية القدرة على التفسير.

2. المنهجية

يقترح البحث نهجاً ذا مسارين: طريقة هجوم تعاوني مبتكرة لمحاكاة التهديدات القوية، وإطار عمل STAR (تحليل وتصحيح الموثوقية على مستوى الجملة) للدفاع ضدها.

2.1 طريقة الهجوم التعاوني التكيفي

لمحاكاة تهديد أكثر قوة، قدم المؤلفون إطار عمل للهجوم حيث ينسق عدة وكلاء خبيثين ($C \subset A$) تحت سيطرة خصم بشكل ديناميكي. تعتمد هذه الطريقة على آليتين:

• الوعي بسياق الحليف (Ally-Context Awareness): يحافظ الوكلاء الخبيثون على سياق ($H_C$) يحتوي على الاستجابات التاريخية لحلفائهم الخبيثين. يتيح ذلك لهم تقييم وضع الهجوم الجماعي.
• صياغة الاستجابة التعاونية (Cooperative Response Formulation): يقوم حكم قائم على نموذج لغوي كبير ($J$) بتقييم قوة الإقناع في سياق الحليف. بناءً على هذا الحكم، يختار الوكيل ديناميكياً واحدة من استراتيجيتين:
  • التعزيز (Reinforcement): إذا كان سياق الحليف قوياً، فإن الوكيل يؤيد صراحةً الحجج المتحالفة لتلفيق إجماع زائف.
  • الابتكار (Innovation): إذا كان سياق الحليف ضعيفاً، يقوم الوكيل بتقديم منظورات جديدة وقوية من زاوية مبتكرة لإقناع الوكلاء الأخيار.

2.2 إطار عمل الدفاع STAR

إن STAR هو إطار دفاعي لا يتطلب تدريباً، ويمكن دمجه بسهء (plug-and-play)، مصمم لفحص اتصالات الوكلاء جملة بجملة. ويعمل من خلال أربع مراحل:

1. التفكيك والتحقق على مستوى الجملة:

   • يتم تفكيك استجابات الوكلاء إلى تسلسل من الجمل.
   • يقوم مُحقِّق قائم على نموذج لغوي كبير ($V$) بمعالجة جميع الجمل في وقت واحد لإجراء تقييم واقعي (تحديد الدقة ودرجة الثقة $\rho$) وتصحيح الأخطاء (توليد محتوى تصحيحي محدد $e$ للأخطاء).

2. نمذجة الاشتباه عبر الثقة التراكمية:

   • يتم حساب درجة الاشتباه ($\Omega$) لكل وكيل عن طريق تجميع درجات الثقة للجمل التي تم تحديدها كأخطاء واقعية.
   • يسم هذا تحديد الوكلاء الذين قد يبدون صحيحين في معظم الأحيان ولكنهم يحتويون على تزييفات دقيقة وحرجة.

3. التصحيح المستهدف:

   • يتم وسم الوكلاء الذين يتجاوزون عتبة الكشف ($\tau$) كوكلاء مشبوهين.
   • تقوم وحدة التصحيح ($R$) بدمج التصحيحات النوعية للأخطاء الناتجة في الخطوة 1 في النص الأصلي. لا يؤدي هذا إلى تحييد التهديد فحسب، بل ينبه النظام أيضاً إلى أنماط معينة من المعلومات المضللة، مع الحفاظ على المعلومات الصحيحة واقعياً داخل نفس الاستجابة.

4. تجميع القرار القوي:

   • يتم تحديد الإجابة النهائية عبر التصويت بالأغلبية، ولكن يتم استبعاد الوكلاء المشبوهين صراحةً من مجموعة التصويت لمنع انحراف النتيجة.

3. المساهمات الرئيسية

• طريقة الهجوم التعاوني: تقديم إطار هجوم تكيفي حيث ينسق الوكلاء الخبيثون استراتيجياتهم ديناميكياً من خلال التفاعلات الواعية بالحلفاء، مما يظهر قدرات تعطيل أكبر بكثير من الهجمات المستقلة أو الهجمات التواطئية الثابتة.
• إطار الدفاع على مستوى الجملة (STAR): آلية دفاع مبتكرة لا تتطلب تدريباً، تقوم بتحليل دقيق على مستوى الجملة لتحديد وتصحيح وتخفيف حدة المعلومات المضللة صراحةً، مما يوفر قدرة عالية على التفسير مقارنة بالتصفية على مستوى الوكيل.
• التقييم التجريبي المكثف: تجارب شاملة عبر مجموعات بيانات متنوعة (MMLU, CSQA, LogiQA) ونماذج لغوية مختلفة (Qwen-Plus, GPT-3.5-Turbo, GPT-5-Nano) تثبت خطورة الهجمات التعاونية وفعالية STAR.

4. النتائج التجريبية

أجرى المؤلفون تجارب على 400 حالة لكل مجموعة بيانات مع نظام متعدد الوكلاء مكون من 5 وكلاء (3 أخيار، 2 خبيثين).

• تأثير الهجمات التعاونية: تسببت الهجمات التعاونية في تدهور أكبر بكثير في معدل نجاح المهمة (TSR) مقارنة بالهجمات المستقلة. عبر جميع الإعدادات، أدت الهجمات التعاونية إلى انخفاض نسبي قدره 5.34% في TSR وزيادة نسبية في معدل نجاح الهجوم (ASR). في مجموعة بيانات MMLU، قللت الهجمات التعاونية متوسط TSR بنسبة 6.17% وزادت ASR بنسبة 7.00% مقارنة بالخط الأساسي المستقل.
• فعالية STAR:
  • نجح STAR في التخفيف من التهديدات التعاونية والمستقلة على حد سواء، مما أدى إلى تحسين متوسط TSR بنسبة 36.76% مقارنة بخط الأساس الذي لا يستخدم دفاعاً.
  • خفض متوسط ASR بنسبة 45.17%.
  • تفوق STAR على الدفاعات المرجعية (G-Safeguard, BlindGuard, ARGUS, Challenger&Inspector) في معظم التكوينات.
  • تجاوزت دقة الكشف عن الوكلاء الخبيثين باستمرار 70% عبر جميع مجموعات البيانات والنماذج.
• دراسة الاستئصال (Ablation Study): أدى إزالة وحدة التصحيح المستهدف إلى أكبر تدهور في الأداء، مما يسلط الضوء على أهمية التصحيح على مستوى الجملة. كما أدى إزالة تجميع القرار القوي أيضاً إلى انخفاضات ملحوية، مما يؤكد قيمة استبعاد الوكلاء الخبيثين من التصويت النهائي.
• تحليل التكلفة: بينما يتكبد STAR تكلفة رموز (tokens) أعلى (2.03 ضعفاً بالنسبة لعدم وجود دفاع) مقارنة بالطرق الأخف مثل C&I (1.40 ضعفاً)، إلا أنه يظل أكثر كفاءة بكثير من الدفاعات القائمة على الاستدلال المعقد مثل ARGUS (7.66 ضعفاً).

5. الأهمية والادعاءات

يزعم البحث أن طريقة الهجوم التعاوني المقترحة تكشف عن ثغرة حرجة لم تُستكشف كفاية في الأنظمة متعددة الوكلاء: وهي قدرة الوكلاء الخبيثين على التنسيق التكيفي وتعزيز المعلومات المضللة، مما يشكل تهديداً مضخماً بشكل كبير مقارنة بالهجمات المنعزلة.

وبناءً على ذلك، يُقدم إطار عمل STAR كتقدم كبير في أمن الأنظمة متعددة الوكلاء. من خلال نقل نموذج الدفاع من التصفية الخشنة على مستوى الوكيل إلى التحليل والتصحيح الدقيق على مستوى الجملة، يوفر STAR ما يلي:

1. تعزيز المتانة: تخفيف فعال ضد الهجمات المستقلة والتنسيقية التكيفية.
2. القابلية للتفسير: القدرة على تحديد الادعاءات الخاطئة بدقة وتقديم التصحيحات، بدلاً من مجرد التخلص من استجابات الوكيل بأكملها.
3. العملية: حل لا يتطلب تدريباً ويمكن دمجه بسهولة، يوازن بين فعالية الدفاع والتكلفة الحسابية.

يخلص المؤلفون إلى أن عملهم يعزز فهم المخاطر الأمنية في الأنظمة التعاونية للنماذج اللغوية الكبيرة ويحفز تطوير آليات دفاعية أكثر صرامة. كما يقرون بالقيود المتعلقة بنطاق التطبيقات في العالم الحقيقي ومشكلات معايرة الثقة المتأصلة في النماذج اللغوية الكبيرة في التحقق من الأكاذيب، مما يقترح عملاً مستقبلياً في دمج المعرفة الخارجية للكشف.