BRA-Audit: Budgeted Runtime Auditing for LLM Multi-Agent Systems via Cumulative-Exposure Audit-Point Placement
تقدم الورقة البحثية BRA-Audit، وهو إطار عمل للتدقيق في وقت التشغيل يراعي الميزانية، يعمل على تحسين وضع نقاط التدقيق ضمن أنظمة الوكلاء المتعددين للنماذج اللغوية الكبيرة لتقليل التعرض التراكمي غير المفحوص، مما يؤدي إلى تقليل تكاليف الرموز (tokens) بشكل كبير مع الحفاظ على الأداء العالي وتحديد مواقع الفشل بفعالية.
المؤلفون الأصليون:Kaixiang Wang, Yidan Lin, Jiong Lou, Jie Li
في المشهد المتطور للذكاء الاصطناعي، برز نهج جديد حيث تعمل نماذج لغوية كبيرة متعددة معاً كفريق واحد لحل المشكلات المعقدة. فبدلاً من محاولة برنامج حاسوبي واحد تنفيذ مهمة بمفرده، تقوم هذه الأنظمة بتعيين أدوار مختلفة لوكلاء متنوعين، مما يسمح لهم بمشاركة المعلومات، ومناقشة الأفكار، ودمج نقاط قوتهم. يحاكي هذا التعاون كيفية عمل الفرق البشرية، مما يؤدي غالباً إلى حلول أكثر قوة وإبداعاً للتحديات الصعبة. ومع ذلك، فإن هذه الطبيعة المترابطة تفرض ثغرة أمنية محددة: إذا ارتكب أحد الأعضاء خطأً أو تم خداعه لتقديم معلومات خاطئة، يمكن لهذا الخطأ أن ينتشر بسرعة. ولأن الوكلاء يعتمدون على مخرجات بعضهم البعض لاتخاذ خطواتهم التالية، فإن قطعة واحدة من البيانات الفاسدة يمكن أن تتسلسل عبر المجموعة بأكملها، مما يؤدي إلى فشل النظام بأكمله. وقد كان التحدي الذي يواجه الباحثين هو إيجاد طريقة للتحقق من عمل الفريق بحثاً عن الأخطاء دون إبطاء العملية أو استهلاك كمية مفرطة من موارد الحوسبة.
ولمعالجة هذا التوازن الدقيق، طور فريق من الباحثين طريقة تسمى BRA-Audit، والتي تعمل كـمشرف ذكي ومراعي للميزانية لهذه الفرق متعددة الوكلاء. الفكرة الجوهرية هي وقف عدم الكفاءة الناتج عن فحص كل تفاعل، وهو أمر مكلف للغاية، وتجنب خطر الفحص في النهاية فقط، وهو أمر يكون قد فات الأوان فيه لإصلاح المشكلات. بدلاً من ذلك، يتعامل النظام مع تدفق المعلومات بين الوكلاء كخريطة ديناميكية من الاتصالات. ومن ثم، يقوم بوضع "نقاط تفتيش" استراتيجية في اللحظات الأكثر حرجاً في سير عمل الفريق. هذه النقاط ليست عشوائية؛ إذ يحسب النظام أي الوكلاء ظلوا لأطول فترة دون فحص، وأي الوكلاء يؤثرون حالياً على أكبر عدد من أجزاء المحادثة الأخرى. ومن خلال تركيز موارده المحدودة على هذه المناطق عالية المخاطر وعالية التأثير، يمكن للنظام رصد الأخطاء مبكراً ومنعها من الانتشار بشكل أكبر.
اختبر الباحثون هذا النهج في سيناريوهات متنوعة، تراوحت من مهام التنسيق المنظمة حيث يجب على الوكلاء الاتفاق على خطة محددة، إلى ألغاز الاستدلال المنطقي المعقدة، وصولاً إلى المشاريع مفتوحة النهايات حيث يتعاون الوكلاء لتوليد أفكار بحثية جديدة. وفي هذه الاختبارات، قاموا بمحاكاة هجمات حيث تمت برمجة بعض الوكلاء لتقديم معلومات مضللة أو غير صحيحة. وبدون أي حماية، تسببت هذه المدخلات الخبيثة في انهيار أداء الفريق بأكه، حيث انخفضت معدلات النجاح بشكل كبير. وعندما طبق الباحثون نظام BRA-Audit، تمكن الفريق من استعادة أدائه، والعودة إلى مستويات تقارب تلك التي كانت ستتحقق لو لم تحدث أخطاء على الإطلاق. والأهم من ذلك، أن هذا التعافي جاء مع توفير كبير في التكلفة؛ فمقارنة بالأساليب الأخرى التي تفحص عمل الفريق باستمرار، خفض BRA-Audit إجمالي قدرة الحوسبة المطلوبة بنسبة تتراوح بين 17.2% و40.6%، اعتماداً على المهمة.
تعتمد فعالية هذه الطة على كيفية قرارها بمكان البحث. فالنظام لا يكتفي ببساطة بعدّ عدد المرات التي يتحدث فيها الوكيل؛ بل ينظر إلى هيكل المحادثة. فهو يحدد الوكلاء الذين عملوا لفترة طويلة دون إشراف، وأولئك الذين أوشكت مخرجاتهم على التأثير في العديد من القرارات الأخرى. ومن خلال إعطاء الأولوية لهذه العقد المحددة في الشبكة، يضمن النظام أنه في حال اكتشاف خطأ، يتم احتواء الضرر في قسم صغير يمكن السيطرة عليه. وإذا تم اكتشاف مشكلة، يمكن للنظام التراجع فقط عن الجزء المتضرر من المحادثة وإعادة تنفيذه، بدلاً من التخلص من المشروع بأكمله. هذا التعافي الموضعي يمنع الحاجة إلى إعادة تشغيل كاملة، والتي ستكون أكثر تكلفة واستهلاكاً للوقت.
كما استكشفت الدراسة كيف أثرت عوامل مختلفة على النتائج، مثل حجم فريق الوكلاء وتعقيد شبكة الاتصال. وقد أثبتت الطريقة متانتها عبر أحجام الفرق المختلفة وطرق اتصال الوكلاء المتنوعة، سواء كانت مجمعة في مجموعات صغيرة أو مرتبطة بنمط "المحور والأسلاك" (hub-and-spoke). ووجد الباحثون أن هناك "نقطة مثالية" لعدد مرات إجراء هذه الفحوصات. فالفحص المتكرر جداً يهدر الموارد على التفاعلات الآمنة، بينما الفحص النادر جداً يسمح للأخطاء بالنمو. ومن خلال ضبط النظام ليفحص نسبة مئوية محددة من التفاعلات بناءً على المخاطر المحسوبة، حقق الباحثون توازناً جعل الفريق آمناً وفعالاً. ويشير هذا النهج إلى أنه لكي تكون أنظمة الذكاء الاصطناዊ واسعة النطاق موثوقة، فهي لا تحتاج إلى مراقبة مستمرة، بل إلى مراقبة ذكية، تركز انتباهها تماماً حيث تشتد الحاجة إليها.
ملخص تقني: BRA-Audit
بيان المشكلة
تعتمد أنظمة الوكلاء المتعددين القائمة على النماذج اللغوية الكبيرة (LLM-MAS) على التعاون المتخصص لحل المهام المعقدة، ولكن التبعيات بين الوكلاء تخلق ثغرة حيث يمكن للمخرجات المهلوسة أو الخبيثة أن تنتشر، مما يؤدي إلى فشل على مستوى النظام. وبينما توفر وكلاء التدقيق استراتيجية للتخفيف من حدة ذلك، تواجه النهج الحالية معضلة كفاءة حرجة:
التدقيق في النهاية فقط (End-only auditing): يراجع المسار الكامل بعد اكتمال المهمة. وغالبًا ما يحجب هذا النهج مصدر الفشل بسبب السياقات الطويلة والكثيفة التبعيات، مما يؤدي إلى تأخير التدخل، ويستلزم عمليات تراجع (rollbacks) واسعة النطاق.
التدقيق جولة بجولة (Round-by-round auditing): (على سبيل المثال، فحص كل تفاعل) يحسن الكشف والتحديد الموضعي، ولكنه يتسبب في تكاليف رمزية (token costs) باهظة وهدر حوسبي في التفاعلات السليمة.
يتمثل التحدي الجوهري في تحديد متى وأين يتم استدعاء المدققين للحفاظ على فعالية الدفاع مع تقليل استهلاك الرموز (tokens).
المنهجية: BRA-Audit
يقترح المؤلفون BRA-Audit (التدقيق الميزاني أثناء التشغيل)، وهو إطار عمل يعامل جدولة التدقيق كمسألة تحسين تحت ميزانية ثابتة.
1. نموذج النظام والتهديد
نموذج التنفيذ: يتم نمذجة تنفيذ MAS كـرسم بياني ديناميكي للتبعية Gt=(Vt,Et)، حيث تمثل العقد كائنات وقت التشغيل (الرسائل، النتائج، استدعاءات الأدوات) وتمثل الحواف تدفق المعلومات.
نموذج التهديد: يقوم الوكلاء الخبيثون (أو أولئك الذين ينتجون هلوسات/أخطاء) بحقن محتوى غير آمن ينتشر عبر الرسم البياني. الهدف هو اكتشاف واحتواء هذه الإخفاقات قبل أن تفسد المخرج النهائي.
2. هدف التحسين
يصيغ BRA-Audit جدولة التدقيق كعملية وضع نقاط التدقيق لتقليل التعرض التراكمي غير المفحوص (J(St)) تحت قيد الميزانية (Bt).
مقياس التعرض: يتم وزن خطر العقدة u بعاملين:
فجوة التدقيق (Audit Gap): الوقت (الجولات) منذ آخر تدقيق للوكيل المنتج.
الأثر الطوبولوجي (Topological Impact): حجم المنطقة المصب (النسل) التي يمكن الوصول إليها من u.
الهدف: تقليل مجموع التعرض الموزون عبر جميع العقد، مما يضمن منح الأولوية للمناطق عالية المخاطر، وطويلة الفترة منذ آخر تدقيق، والمؤثرة.
3. خوارزمية الجدولة
يستخدم إطار العمل مجدولاً جشعاً (Algorithm 1) يعمل عبر الإنترنت (online):
اختيار المرشحين: في نهاية الجولة t، يحدد النظام العقد المرشحة للجولة التالية.
تخصيص الميزانية: يحدد نسبة ثابتة ρ عدد نقاط التدقيق (Bt+1).
الاختيار الجشع: تقوم الخوارزمية بشكل تكراري باختيار نقطة التدقيق v∗ التي توفر أقصى تقليل هامشي في التعرض التراكمي (Δ(v∣St)). وهذا يأخذ في الاعتبار الاقتران بين نقاط التدقيق، حيث إن اختيار نقطة واحدة يغير السياق لعمليات الاختيار اللاحقة.
التنفيذ والاسترداد:
يتم فحص نقاط التدقيق المختارة بواسطة مدقق باستخدام السياق المحدود بنقطة التدقيق السابقة.
إذا كانت آمنة، تصبح النقطة نقطة تدقيق موثوقة، وتعمل كمرساة موثوقة للتنفيذ اللاحق.
إذا كانت غير آمنة، يقوم النظام بحظر تدفق المعلومات المتأثر ويقوم بعملية تراجع موضعي (localized rollback) للجزء الفرعي من المسار بين آخر نقطة موثوقة والفشل الحالي فقط، بدلاً من إعادة تشغيل المهمة بأكملها.
المساهمات الرئيسية
صياغة المشكلة: صاغ المؤلفون عملية التدقيق المقيدة بالميزانية في LLM-MAS كمسألة وضع نقاط تدقيق فوق رسوم بيانية تنفيذية ديناميكية، بهدف تقليل التعرض التراكمي غير المفحوص.
إطار عمل BRA-Audit: قدموا إطار عمل يعمل عبر الإنترنت يختار تسلسلياً نقاط التدقيق بناءً على تقليل التعرض التراكمي الهامشي. وهو يجمع بشكل فريد بين فجوات التدقيق (التقادم الزمني) والوصول إلى التبعية المصب (التأثير الطوبولوجي) لوزن التعرض غير المفحوص.
التحقق التجريبي: أظهرت التجارب المكثفة عبر التنسيق الهيكلي (AgentsNet)، والاستدلال المعقد (BBH)، والمهام مفتوحة النهايات (MultiAgentBench-Research) أن BRA-Audit يحقق أداء استرداد تنافسياً مع تقليل تكاليف الرموز بشكل كبير مقارنة بطرق الحماية الثقيلة.
النتائج التجريبية
يقيم البحث BRA-Audit مقابل خطوط الأساس بما في ذلك PeerGuard وAuditAgent وGuardAgent وTrinityGuard وMulti-Agent Debate.
الأداء مقابل التكلفة:
في AgentsNet، يستعيد BRA-Audit الأداء ليقترب من الخطوط الأساسية النظيفة (الدرجة الإجمالية: 0.8208 مقابل 0.8162 للنظيفة) مع تقليل استهلاك الرموز بنسبة 17.2% مقارنة بـ PeerGuard و28.4% مقارنة بـ Multi-Agent Debate.
في BBH، يحسن الدقة من 0.3933 (تحت الهجوم) إلى 0.8600، مستخدماً رموزاً أقل بنسبة 19.3% من PeerGuard و40.6% أقل من Multi-Agent Debate.
في مهام البحث (Research)، يحقق درجة 0.902 بـ 38.5 ألف رمز، مما يقلل الاستخدام بنسبة 18.5% و36.3% مقارنة بأفضل خطوط الأساس.
المتانة: تظل الطريقة فعالة عبر عدد مختلف من الوكلاء (4 إلى 16)، وطوبولوجيات الرسم البياني (Watts-Strogatz، Barabási-Albert، Delaunay)، ومختلف النماذج اللغوية الأساسية (Qwen، GPT-5، Gemini، إلخ).
دراسات الاستئصال (Ablation Studies):
الميزانية: توفر نسبة التدقيق (ρ) البالغة 0.4 أفضل مقايضة بين فعالية الدفاع، وتكلفة التدقيق، وتكاليف التراجع.
المكونات: إزالة أي من مكوني "فجوة التدقيق" أو "الأثر الطوبولوجي" يؤدي إلى تدهور الأداء وزيادة استهلاك الرموز، مما يؤكد ضرورة كلا الوزن الزمني والهيكلي.
الإيجابيات الكاذبة: عند ρ=0.4، تكون معدلات الإيجابيات الكاذبة منخفضة (~4.67–6.00%)، بينما يزيد التدقيق الكامل (ρ=1.0) بشكل كبير من الإيجابيات الكاذبة (12–16%)، مما يسلط الضوء على مخاطر الإفراط في التدقيق للمسارات السليمة.
الأهمية والادعاءات
يدعي البحث أن BRA-Audit يظهر مقايضة باريتو تجريبية مواتية بين فعالية الدفاع واستهلاك الرموز. ومن خلال الانتقال من التدقيق خشن الحبيبات (في النهاية فقط) أو دقيق الحبيبات (كل جولة) إلى استراتيجية وضع معلوماتية طوبولوجياً ومدركة للميزانية، فإن النظام:
يحافظ على أداء الحماية بالقرب من الإعدادات النظيفة.
يقلل من نطاق عمليات التراجع من خلال الاسترداد الموضعي.
يقلل من استهلاك الرموز من البداية إلى النهاية بنسبة 17.2%–40.6% مقارنة بطرق الحماية الثقيلة.
يخلص المؤلفون إلى أن BRA-Audit يوفر آلية مدركة للتكلفة للإشراف أثناء التشغيل، مما يساهم في تطوير أنظمة وكلاء متعددة أكثر موثوقية وكفاءة دون المساس بالأمن.