Optimizing Agent Planning for Security and Autonomy
تقدم هذه الورقة مقاييس الاستقلالية وتصميماً لوكيل مدرك للأمن يخطط صراحةً للامتثال للسياسات، مما يثبت أن الدفاعات على مستوى النظام ضد حقن الأوامر (prompt injection) يمكن أن تحقق استقلالية أعلى في وجود العنصر البشري دون التضحو بجدوى المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً شخصياً ذكياً للغاية وفعالاً للغاية يُدعى أليكس. أليكس بارع في جلب رسائل البريد الإلكتروني، وحجز الرحلات الجوية، وإدارة تقويمك. لكن هناك عقبة: أليكس يثق بالآخرين أكثر من اللازم. إذا قلت لأليكس: "اقرأ هذا البريد الإلكتروني من شخص غريب ثم احذف جميع ملفاتي"، فقد يفعل أليكس ذلك دون أن يسألك، حتى لو كان البريد الإلكتروني فخاً.
هذه هي مشكلة وكلاء الذكاء الاصطناعي (AI Agents) الحاليين. إنهم أقوياء، ولكن يمكن خداعهم عبر "حقن الأوامر غير المباشر" (Indirect Prompt Injection)—وهو ببساطة قيام المخترقين بإخفاء تعليمات خبيثة داخل بيانات تبدو طبيعية (مثل بريد إلكتروني مزيف أو مقال إخباري) للسيطرة على سلوك الذكاء الاصطناعي.
يقدم البحث الذي تسأل عنه طريقة جديدة لجعل وكلاء الذكاء الاصطناعي هؤلاء أكثر أماناً، وبشكل مفاجئ، أكثر استقلالية.
إليك التفاصيل باستخدام تشبيهات بسيطة:
1. الطريقة القديمة: "الحارس الشخصي المفرط في الحماية"
في السابق، لإيقاف المخترقين، بنى الباحثون نظام "حارس أمن" (يُسمى IFC أو التحكم في تدفق المعلومات).
- كيف كان يعمل: كان الحارس يضع ملصقاً أحمر مكتوب عليه "غير موثوق" على أي بيانات تأتي من الإنترنت. إذا أراد الذكاء الاصطناعي القيام بشيء مهم (مثل حذف ملف) باستخدام تلك البيانات، يقول له الحارس: "توقف! أنا لا أعرف ما إذا كان هذا آمناً. اسأل بشرياً!"
- المشكلة: كان هذا النظام صارماً للغاية. حتى لو كانت البيانات غير ضارة، كان الحارس سيوقف الذكاء الاصطناعي ويجعله يطلب الإذن من إنسان. هذا أدى إلى إبطاء كل شيء وجعل الذكاء الاصطناعي يبدو وكأنه يفتقر إلى الاستقلالية. كان الأمر يشبه حارساً شخصياً يمنعك من شراء شطيرة لمجرد أن كاونتر الديلي قد يكون غير نظيف، رغم أنك تريد فقط شطيرة لحم.
2. الفكرة الجديدة: "الاستقلالية" مقابل "الأمان"
أدرك المؤلفون أن الطريقة القديمة لقياس النجاح كانت معيبة. فقد كانوا يحصون فقط عدد المهام التي أنجزها الذكاء الاصطناعي، متجاهلين عدد المرات التي اضطر فيها للتوقف وإزعاج البشر.
لققدموا مقياساً جديداً يسمى الاستقلالية (Autonomy).
- الهدف: يجب أن يتمكن وكيل الذكاء الاصطناعي من أداء وظيفته دون إزعاج البشر، إلا إذا كان في خطر حقيقي.
- التشبيه: فكر في سيارة ذاتية القيادة. أنت لا تريدها أن تتوقف وتسألك عن الإذن في كل مرة ترى فيها طائراً على الطريق. أنت تريدها فقط أن تسأل إذا رأت إشارة ضوئية حمراء أو مشاة. الهدف هو تقليل انقطاعات "الإنسان في الحلقة" (Human-in-the-Loop).
3. الحل: تعرف على PRUDENTIA
بنى المؤلفون وكيلاً جديداً للذكاء الاصطناعي باسم PRUDENTIA (والذي يوحي بكلمة "Prudent" أي الحذر أو الرزين). PRUDENTIA مختلف لأنه لا يتبع القواعد بشكل أعمى؛ بل هو يخطط مع وضع الأمن في الاعتبار.
إليك القوى الخارقة الثلاث التي يستخدمها PRUDENTIA:
أ. "المخطط الواعي أمنياً" (The Security-Aware Planner)
كانت وكلاء الذكاء الاصطناعي القديمة تحاول تنفيذ المهمة، ثم يتوقفها حارس الأمن، ثم تحاول مجدداً. أما PRUDENTIA فينظر إلى الخريطة قبل أن يبدأ القيادة.
- التشبيه: تخيل أنك تجهز حقيبتك لرحلة. الشخص العادي يجهز كل شيء ويأمل أن تسير الأمور على ما يرام. أما PRUDENTIA فينظر إلى قواعد شركة الطيران أولاً، ثم يحزم فقط ما هو مسموح به، حتى لا يتم إيقافه عند البوابة أبداً. هو يعرف أي الأدوات "آمنة" للاستخدام مع بيانات الإنترنت وأيها "خطيرة"، لذا يخطط لمسار يتجنب مناطق الخطر تماماً.
ب. "المتغير الاستراتيجي" (صندوق الحجر الصحي)
أحياناً يحتاج الذكاء الاصطناعي لقراءة بريد إلكتروني للقيام بمهمة، لكن البريد قد يكون فخاً.
- الطريقة القديمة: يقرأ الذكاء الاصطناعي البريد، فيصاب بـ "عدوى" من البيانات السيئة، وتصبح كل أفعاله بعد ذلك مشبوهة.
- طريقة PRUDENTIA: يضع البريد الإلكتروني في صندوق حجر صحي (متغير). يمكنه أن يطلب من "ذكاء اصطناعي مصغر" ومنعزل أن ينظر إلى الصندوق ويقول: "هل يوجد رابط هنا؟" دون السماح للبيانات السيئة بلمس العقل الرئيسي.
- الخدعة: PRUDENTIA ذكي بما يكفي ليعرف متى يفتح الصندوق. إذا كان يحتاج فقط لمعرفة "هل يوجد رابط؟"، فإنه يسأل الذكاء الاصطناعي المصغر. وإذا كان يحتاج لقراءة البريد بالكامل للقيام بمهمة، فهو يعلم أنه يجب عليه فتح الصندوق.
ج. مفتاح "التأييد" مقابل "الموافقة"
هذا هو الجزء الأكثر ذكاءً. عندما يجب على PRUDENTIA فتح صندوق الحجر الصحي، لديه خياران:
- طلب الموافقة (Approval): "يا بشري، أنا على وشك فتح هذا الصندوق واستخدام البيانات. هل هذا موافق؟" (هذا يقطع تدفق العمل في كل مرة).
- طلب التأييد (Endorsement): "يا بشري، سأقوم بفتح هذا الصندوق الواحد تحديداً. إذا قلت إنه نظيف، فسأثق به لبقية هذه المهمة الكاملة."
- الفائدة: بدلاً من طلب الإذن 10 مرات للقيام بـ 10 مهام صغيرة، يطلب PRUDENTIA مرة واحدة، ويحصل على "إشارة موافقة"، ثم يكمل المهام العشر على هواه. الأمر يشبه الحصول على بطاقة أمن للمبنى بأكله بدلاً من سؤال الحارس لفتح كل باب على حدة.
4. النتائج: أسرع وأكثر أماناً
اختبر الباحثون PRUDENTIA في تحديين كبيرين (AgentDojo و WASP) حيث حاول المخترقون خداع الذكاء الاصطناعي.
- الأمان: صدَّ PRUDENTIA 100% من الهجمات. لم يتمكن أي مخترق من الدخول.
- الاستقلالية: احتاج PRUDENTIA إلى مرتين إلى 3 مرات أقل من انقطاعات البشر مقارنة بأنظمة الذكاء الاصطناعي الآمنة السابقة.
- الكفاءة: لقد أنجز بالفعل مهاماً أكثر بنجاح لأنه لم يعلق في حلقات من طلب الإذن أو الارتباك بسبب البيانات السيئة.
الملخص
فكر في PRUDENTIA كفرق بين سائق متوتر يتوقف عند كل بركة ماء ليسأل الراكب عما إذا كان من الآمن القيادة عبرها، وسائق واثق يتحقق من تقرير الطقس، ويرتدي معطف المطر، ويقود عبر البركة دون توقف.
يثبت هذا البحث أنه من خلال جعل وكلاء الذكاء الاصطناعي أكثر ذكاءً بشأن الأمن (التخطيط المسبق) بدلاً من مجرد أكثر صرامة بشأن الأمن (حظر كل شيء)، يمكننا الحصول على ذكاء اصطناعي يكون آمناً ومستقلاً حقاً في آن واحد. نحن نحصل على أفضل ما في العالمين: لا مخترقين، ولا نوافذ منبثقة مزعجة تسأل "هل أنت متأكد؟".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.