Attacks and Mitigations for Distributed Governance of Agentic AI under Byzantine Adversaries
تتناول هذه الورقة البحثية ضعف إطار عمل SAGA المركزي لحوكمة الذكاء الاصطناعي الوكيل أمام المزودين الخبيثين من خلال تحليل ناقلات هجوم محددة واقتراح أربع بنيات تخفيف متميزة — تتراوح من المقاومة الكاملة للأخطاء البيزنطية إلى حلول المراقبة الهجينة والخفيفة — والتي تقدم مقايضات متفاوتة بين الأمان والأداء.
المؤلفون الأصليون:Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru
تخيل مدينة صاخبة حيث يتم توظيف الآلاف من الروبوتات المستقلة (الوكلاء الذكيّين) للقيام بمهام مثل حجز الاجتماعات، أو إدارة قواعد البيانات، أو كتابة الأكواد البرمجية. وللحفاظ على أمن هذه المدينة، يوجد "مبنى بلدية" مركزي (يُسمى المزود - Provider) يقوم بإصدار بطاقات الهوية، والتحقق من هوية الأشخاص المسموح لهم بالتواصل مع بعضهم البعض، ويحتفظ بسجل لجميع تحركات الجميع. هذا النظام يسمى SAGA.
المشكلة هي: ماذا لو كان العمدة الذي يدير مبنى البلدية شريراً؟ أو ماذا لو سيطر هكر (مخترق) على مكتب العمدة؟
هذه الورقة البحثية تستكشف هذا السيناريو تحديداً. فهي توضح كيف يمكن لبلدية فاسدة أن تدمر النظام بأكره، وتقدم ثلاث طرق مختلفة لإصلاح ذلك، اعتماداً على مقدار الأمان الذي تحتاجه مقابل السرعة التي تريدها.
إليك تفصيل قصة الورقة البحثية:
1. المشكلة: بلدية فاسدة
يفترض نظام SAGA الأصلي أن مبنى البلدية صادق. لكن المؤلفين يوضحون أنه إذا تعرضت البلدية للاختراق، فيمكنها القيام بأشياء فظيعة:
الوكيل الشبح: يمكن للبلدية السماح لروبوت بالدخول إلى المدينة بدون هوية حقيقية، لذا إذا سرق هذا الروبوت بيانات، فلن يعرف أحد من الذي أرسله.
سارق البيانات: يمكن للبلدية نسخ كلمات المرور والرسائل الإلكترونية الخاصة بالجميع سراً.
حارس البوابة: يمكن للبلدية منع الروبوتات الجيدة من التحدث مع بعضها البعض (مما يتسبب في توقف العمل) أو السماح للروبوتات السيئة بالتحدث مع روبوتات سرية (مما يتسبب في تسريبات).
الممحاة: يمكن للبلدية التظاهر بحذف روبوت خطير، بينما تبقيه يعمل في الواقع، أو ترفض حذفه عندما يُطلب منها ذلك.
بشكل أساسي، إذا كانت البلدية شريرة، فإن نظام الأمان بأكمله ينهار.
2. الحلول: ثلاث طرق لإصلاح البلدية
يقترح المؤلفون ثلاثة "علاجات" مختلفة لمنع البلدية الفاسدة، ولكل منها مقايضة بين الأمان والسرعة.
الخيار (أ): مجلس مدينة "شديد الصرامة" (SAGA-BFT)
الاستعارة: بدلاً من عمدة واحد، لديك مجلس مكون من 7 أشخاص. لاتخاذ أي قرار (مثل السماح لروبوت بالدخول)، يجب أن يوافق 5 منهم على الأقل. حتى لو كان هناك خائنان بين الـ 7، يمكن للثلاثة الصادقين الآخرين التصويت ضدهم وإيقاف القرار السيئ.
الجيد: هذا هو الخيار الأكثر أماناً. لا يمكن لعمدة فاسد فعل أي شيء لأن المجلس يوقفه.
السيء: إنه بطيء للغاية. إن جعل 5 أشخاص يتفقون يستغرق الكثير من الوقت والمكالمات الهاتفية. وجدت الورقة أن هذا النظام أبطأ بنحو 100 مرة من النظام الأصلي. الأمر يشبه انتظار اجتماع لجنة فقط لشراء كوب من القهوة.
الخيار (ب): "المخبر" (SAGA-AUD)
الاستعارة: تقوم بتعيين محقق خاص ("المُدقق") يتظاهر بأنه مواطن عادي. يحاول المحقق القيام بأشياء غريبة، مثل تسجيل روبوت وهمي أو محاولة التحدث مع روبوت غير مسموح له بالتحدث معه. إذا سمحت البلدية له بالقيام بذلك، يطلق المحقق جرس الإنذار.
الجيد: إنه سريع جداً لأن البلدية لا تحتاج للتحدث مع مجلس. هي تعمل بشكل طبيعي فحسب.
السيء: ليس مثالياً. المحقق يتحقق فقط من حين لآخر. إذا كانت البلدية شريرة، فقد تفلت بجريمة ما بين عمليات التحقق. كما أن المحقق لا يستطيع رؤية ما بداخل ملفات البلدية الخاصة، بل يرى فقط ما يحدث عند الباب الأمامي.
الخيار (ج): "كاميرات المراقبة" (SAGA-MON)
الاستعارة: تقوم بتثبيت نظام كاميرات مراقبة يديره طرف ثالث موثوق (مثل مشغل السحابة). هذه الكاميرا تراقب كل طلب واستجابة. وتتحقق من: "هل قالت البلدية 'نعم' لهذا الروبوت؟ هل سجلت قاعدة البيانات فعلياً كلمة 'نعم'؟ إذا رأت الكاميرا عدم تطابق، فإنها تطلق جرس الإنذار".
الجيد: إنها تمسك بكل شيء تقريباً وهي سريعة جداً (أبطأ قليلاً فقط من النظام الأصلي).
السيء: تتطلب مشغلاً موثوقاً للكاميرا. إذا كان مشغل الكاميرا فاسداً أيضاً، فإن هذا لن ينجح.
3. الأفضل من العالمين: المدينة الهجينة (SAGA-HYB)
أدرك المؤلفون أن ليس كل الروبوتات تحتاج إلى نفس المستوى من الحماية.
الاستعارة: تخيل مدينة بها أحياء مختلفة.
حي البنك: يحتوي على أغلى البيانات. يستخدم هذا الحي مجلس المدينة شديد الصرامة (الخيار أ). إنه بطيء، لكن المال آمن.
حي التسوق: يحتوي على الروبوتات اليومية العادية. يستخدم هذا الحي كاميرات المراقبة (الخيار ج). إنه سريع، والكاميرات تمسك بمعظم اللصوص.
النتيجة: تحصل على أمان المجلس حيث يهم الأمر، ولكنك تحصل على سرعة الكاميرات لكل شيء آخر. تُظهر الورقة أن هذا النظام الهجين أبطأ بنحو مرتين فقط من النظام الأصلي، ومع ذلك فهو يحمي أهم الأسرار.
ملخص النتائج
الهجوم: يمكن لسلطة مركزية فاسدة أن تكسر نظام أمان الذكاء الاصطناعي بأكمله.
الإصلاح: لا يمكنك الوثوق بشخص واحد فقط. أنت بحاجة إما إلى مجلس تصويت (بطيء ولكنه آمن)، أو مخبر (سريع ولكنه يحتاج للتحقق)، أو كاميرات (سريعة وفعالة).
الفائز: النهج الهجين هو الفائز العملي. فهو يسمح لك بتشغيل وكلاء الذكاء الاصطناعي الخاص بك بسرعة للمهام اليومية، مع إغلاق أكثر البيانات حساسية بأقوى أمان ممكن.
تخلص الورقة إلى أنه بينما الطريقة "شديدة الصرامة" مثالية من الناحية النظرية، إلا أنها بطيئة جداً للحياة الواقعية. أما الطريقة "الهجينة" فهي النقطة المثالية، حيث تقدم أماناً قوياً دون تعطيل النظام تماماً.
ملخص تقني: الهجمات والتدابير الوقائية للحوكمة الموزعة للذكاء الاصطناعي الوكيل تحت تأثير الخصوم البيزنطيين
بيان المشكلة
لقد تجاوز الانتشار السريع لأنظمة الذاء الاصطناعي الوكيل (Agentic AI) سرعة تطوير البنية التحتية الآمنة للحوكمة. وبينما تتيح أطر العمل مثل AutoGen وMetaGPT وكلاءً مستقلين، إلا أنها تفتقر إلى الحماية المدمجة، مما يجعلها عرضة للجهات الفاعلة الخبيثة. توفر الحلول الحالية، مثل SAGA (بنية حوكمة الوكيل الآمنة)، طبقة حوكمة مركزية لفرض السياسات، والمصادقة على الوكلاء، وضمان القدرة على الإسناد. ومع ذلك، تعتمد SAGA على مزود (Provider) مركزي موثوق منطقياً.
تحدد هذه الورقة ثغرة أمنية حرجة، وهي افتراض أن المزود صادق. ففي عمليات النشر الواقعية (السحب الخاصة أو العامة)، يكون المزود عرضة للتهديدات الداخلية، وهجمات القنوات الجانبية، وتصعيد الامتيازات (مثل CVE-2024-21626). إذا تم اختراق المزود وسلك سلوكاً بيزنطياً (أي انحراف تعسفي عن البروتوكول)، فإن الضمانات الأمنية للنظام بأكمله تنهار. يحلل المؤلفون أنواع الهجمات المحددة الممكنة في ظل هذا النموذج، مبرهنين على أن المزود الخبيث يمكنه تقويض إمكانية إسناد الوكلاء، واستخراج البيانات الخاصة، وتجاوز ضوابط الوصول، وتعطيل الاتصالات المصرح بها.
المنهجية
يقترح المؤلفون تحليلاً شاملاً لمشهد التهديدات يليه ثلاثة استراتيجيات تمهيدية مختلفة، تقدم كل منها مقايضات مختلفة بين الأمن والأداء.
1. تحليل الهجمات
يحدد المؤلفون نموذج مهاجم يمكن للمزود المخترق من خلاله التحكم في مكونات محددة: مدير البروتوكول (PM)، ومحرك التحكم في الوصول (ACE)، وقاعدة البيانات (DB). ويصنفون ويوضحون ست فئات ملموسة من الهجمات:
C1 (منع الوصول إلى النظام البيئي): منع التسجيل أو تسجيل الدخول للمستخدمين الصالحين.
C2 (تقويض إمكانية إسناد الوكيل): تسجيل وكلاء دون ربطهم بهويات بشرية موثقة، مما يسمح للوكلاء الخبيثين بالعمل دون عواقب.
C3 (استخراج البيانات الخاصة): سرقة معلومات الهوية الشخصية (PII) وبيانات الاعتماد أثناء التسجيل أو من قاعدة البيانات.
C4 (منع إدارة دورة حياة الوكيل): حظر التحديثات أو الإلغاءات أو تغييرات السياسة بشكل صامت.
C5 (السماح بالاتصال غير المصرح به): تزوير فحوصات التحكم في الوصول للسماح بتفاعلات محظورة.
C6 (تعطيل الاتصال المصرح به): حظر التواصل المشروع بين الوكلاء.
2. الحلول المقترحة
تقدم الورقة ثلاثة تنويعات معمارية لتأمين المزود:
SAGA-BFT (المقاومة للخطأ البيزنطي):
الآلية: استبدال بروتوكول الإجماع Raft (المقاوم للأخطاء) ببروتوكول مقاوم للخطأ البيزنطي (مثل PBFT/Tendermint) لكل من المتحكم وقاعدة البيانات. يتطلب الأمر 3f+1 من النسخ المتماثلة لتحمل f من الأخطاء.
المقايضة: يوفر أقوى الضمانات الأمنية (مثبت ضد جميع هجمات السلامة والتوافر) ولكنه يتسبب في عبء أداء كبير بسبب جولات الاتصال O(n2) المطلوبة للإجماع.
SAGA-MON (مراقبة جانب المزود):
الآلية: خدمة مراقبة سلبية (يديرها مشغل السحابة) تقوم بربط سجلات الشبكة (الطلبات/الاستجابات) بسجلات حالة قاعدة البيانات. تتحقق الخدمة من الثوابت، مثل التأكد من أن كل طلب يؤدي إلى تغيير مقابل في قاعدة البيانات وأن قرارات التحكم في الوصول تتوافق مع السياسة.
المقايضة: عبء منخفض؛ يعتمد على افتراض إمكانية التقاط السجلات من نقاط موثوقة (مثل إنهاء TLS أو الجوانب الجانبية Sidecars) وأن المتحقق منه موثوق.
SAGA-AUD (التدقيق من جانب العميل):
الآلية: يقوم المستخدمون (أو وكلاؤهم) بإدخال إجراءات "كناري" استباقية (مثل تسجيل مستخدم ببيانات اعتماد غير صالحة، أو محاولة التواصل مع وكيل محظور) للتحقق من استجابات المزود.
المقايضة: عبء منخفض؛ يعتمد على افتراض عدم قدرة المزود على التمييز بين المدققين والمستخدمين العاديين. الكشف احتمالي ويعتمد على وتيرة عمليات التدقيق.
SAGA-HYB (المعمارية الهجينة):
الآلية: تجمع بين النهج المذكورة أعلاه باستخدام بنية مجزأة (Sharded Architecture). يقوم طبقة التوجيه بتوجيه حركة المرور إلى أجزاء مختلفة. يتم توجيه الوكلاء ذوي الأمن العالي إلى أجزاء BFT، بينما تستخدم الوكلاء ذات الحساسية المنخفضة أو المخاطر المنخفضة أجزاء MON أو AUD.
المقايضة: تسمح لمشغلي النظام بتوزيع تكلفة المرونة البيزنطية، حيث توفر أمنًا قويًا فقط عند الضرورة مع الحفاظ على إنتاجية إجمالية عالية.
النتائج الرئيسية
قيم المؤلفون هذه المعماريات مقابل خط الأساس SAGA باستخدام معالج بـ 16 نواة وأعباء عمل متنوعة (تحديث OTK، التواصل بين الوكلاء، ومهام متعددة الوكلاء شاملة).
الأمن: أكد التقييم أن المزود الخبيث يمكنه تنفيذ جميع الـ 16 نوعًا من الهجمات بنجاح ضد SAGA الأساسي. نجحت SAGA-BFT في تخفيف جميع هجمات السلامة والتوافر. اكتشفت SAGA-MON وSAGA-AUD الهجمات باحتمالية عالية، وإن كان ذلك مع تأخير متأصل في دورات المراقبة/التدقيق.
عبء الأداء:
SAGA-BFT: عانت من تدهور حاد في الأداء، حيث حققت حوالي 1% فقط من إنتاجية SAGA الأساسي للطلبات الشائعة بسبب التكلفة العالية للإجماع البيزنطي.
SAGA-MON: حققت حوالي 95% من إنتاجية خط الأساس.
SAGA-AUD: حققت حوالي 85% من إنتاجية خط الأساس.
SAGA-HYB: أظهرت أنه من خلال خلط الأجزاء (Shards)، يمكن للنظام توفير أمن بمستوى BFT لمجموعة فرعية من الوكلاء مع إبقاء متوسط زمن الاستجابة قريبًا من خط الأساس (على سبيل المثال، ضعف زمن استجابة SAGA في التكوين الهجين، مقارنة بالعبء الهائل لـ BFT الكامل).
زمن الاستجటు النهائي (End-to-End Latency): في المهام الواقعية متعددة الوكلاء (الجدولة، تقارير المصروفات، الكتابة)، كان عبء SAGA-MON وSAGA-AUD ضئيلًا مقارنة بأوقات تفكير النماذج اللغوية الكبيرة (LLM). أضافت SAGA-BFT زمن استجابة كبيرًا ولكنها ظلت ضمن حدود معقولة للعمليات الحرجة أمنيًا.
الأهمية والادعاءات
تدعي الورقة أنها الأولى التي تحلل وتثبت بشكل منهجي التأثير المدمر للمزود المخترق في حوكمة الذكاء الاصطناعي الوكيل. وتتمثل مساهماتها الرئيسية في:
تحديد التهديدات: إنها تتجاوز المخاطر النظرية لتنفيذ هجمات ملموسة تقوض إمكانية الإسناد، والسرية، والسلامة في بيئة مزود موزعة.
التخفيفات العملية: تقدم طيفًا من الحلول (BFT، المراقبة، التدقيق، الهجين) بدلاً من نهج واحد "مقاس واحد يناسب الجميع"، مع الإقرار بالقيود العملية لأنظمة الإنتاجية العالية وزمن الاستجابة المنخفض.
تحليل المقايضات: توفر بيانات تجريبية تظهر أنه بينما تكون المرونة البيزنطية الكاملة مكلفة للغاية للاستخدام العام، فإن المراقبة والتدقيق الخفيف يقدمان أداءً قريبًا من خط الأساس مع احتمالات كشف عالية. ويُقدم نموذج (SAGA-HYB) كمسار قابل للتطبيق لنشر الحوكمة الآمنة على نطاق واسع، مما يسمح للمشغلين بالموازنة بين متطلبات الأمن واحتياجات الأداء.
يخلص المؤلفون إلى أن الحوكمة الآمنة للذكاء الاصطناعي الوكيل أمر ممكن حتى عندما تكون المكونات غير موثوقة، بشرط تصميم البنية لتكتشف وتخفف السلوك البيزنطي من خلال مزيج من التكرار والمراقبة والتدقيق.