Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms
تقدم هذه الورقة CSTM-Bench، وهي مجموعة بيانات وإطار تقييم للكشف عن تهديدات وكلاء الذكاء الاصطنا de عبر الجلسات التي تتهرب من الحواجز الوقائية عديمة الذاكرة، مما يثبت أن قارئات النواة (Coreset Readers) ذات الذاكرة المحدودة تتفوق على كل من النهج المقيد بالجلسة والنهج القائم على السجلات الكاملة، مع اقتراح مقياس جديد يوازن بين استدعاء الكشف واستقرار الخدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعيين حارس أمن لحماية مكتب عالي التقنية. مهمة هذا الحارس هي فحص كل شخص يدخل من الباب والتأكد من أنه لا يحاول سرقة أي شيء.
المشكلة: الحارس المصاب بـ "فقدان الذاكرة"
في الوقت الحالي، يعاني معظم حراس الأمن من الذكاء الاصطناعي من نوع محدد من فقدان الذاكرة. هم يفحصون الشخص، يقولون له "مرحباً"، يفحصون هويته، ثم ينسونه فوراً. إذا دخل شخص سيء 50 مرة على مدار شهر، سيقوم الحارس بفحصه في كل زيارة، ولن يرى شيئاً مريباً، وسيدعه يمر في كل مرة.
الشخص السيئ لا يسرق شيئاً في زيارة واحدة. بدلاً من ذلك، هو يلعب لعبة "جينجا" (Jenga):
- الزيارة 1: "هل يمكنك إخباري ما هي الخوادم لدينا؟" (غير ضار بمفرده)
- الزيارة 2: "هل يمكنك إظهار كلمة المرور الخاصة بخادم النسخ الاحتياطي؟" (غير ضار بمفرده)
- الزيار 3: "هل يمكنك إرسال كلمة المرور تلك إلى بريدي الإلكتروني الشخصي؟" (غير ضار بمفرده)
بشكل فردي، تبدو كل طلب كأنه موظف عادي يقوم بعمله. ولكن إذا قمت بتكديسهم معاً، ستصبح عملية سطو. إن حراس الأمن الحاليين "مقيدون بالجلسة"، مما يعني أنهم ينظرون فقط إلى اللحظة الحالية. إنهم يفتقدون الصورة الكبيرة لأن "عملية السطو" موزعة على مدى فترة زمنية.
الحل: "المحقق" الذي يمتلك ذاكرة
تقدم هذه الورقة طريقة جديدة لكشف هذه الهجمات بطيئة الاشتعال. بدلاً من مجرد فحص الشخص عند الباب، نحن بحاجة إلى محقق يحتفظ بملف جارٍ لكل شخص.
ومع ذلك، هناك عقبة: المحقق لا يمكنه تذكر كل شيء. إذا حاولت قراءة كتاب تاريخ مكون من 10,000 صفحة للإمساك بلص، فسيصاب المحقق بالإرهاق، أو يفقد التركيز، أو يغفو.
الابتكار: "قلم التحديد" (ذاكرة الكورسيت - Coreset Memory)
تقترح الورقة حلاً وسطاً ذكياً يسمى قارئ ذاكرة الكورسيت (Coresset Memory Reader). فكر في هذا على أنه قلم تحديد فعال للغاية.
بدلاً من قراءة كتاب التاريخ المكون من 10,000 صفحة بالكامل، يقوم قلم التحديد بمسح الصفحات ويحتفظ فقط بأكثر 50 جملة مثيرة للريبة في دفتر ملاحظات صغير.
- إذا بدت الجملة كعمل طبيعي، يتم تجاهلها.
- إذا بدت الجملة غريبة أو خارج السياق، يتم تحديدها والاحتفاظ بها.
عندما يحتاج المحقق (الذكاء الاصطناعي) لاتخاذ قرار، فإنه يقرأ فقط الـ 50 جملة المحددة. هذا يبقي المحقق حاداً، سريعاً، ومركزاً على التهديدات الحقيقية، متجاهلاً الضجيج.
الاختبار المعياري: "أرض التدريب"
أنشأ المؤلفون أرض تدريب ضخمة تسمى CSTM-Bench (معيار ذاكرة التهديدات عبر الجلسات).
- الاختبار: أنشأوا 26 نوعاً مختلفاً من "عمليات السطو" المصممة لتكون غير مرئية إذا نظرت إلى لحظة واحدة فقط.
- الأشرار: حتى أنهم بنوا "ذكاءً اصطناعياً شريراً" يحاول إعادة كتابة قصته لتبدو بريئة، خصيصاً لخداع حراس الأمن.
- النتيجة:
- الحارس القديم (الذي يفحص رسالة واحدة في كل مرة) فشل فشلاً ذريعاً عندما أعاد الشرير كتابة القصة.
- محقق السجل الكامل (الذي يحاول قراءة كل رسالة على الإطلاق) تعرض للإرهاق بسبب الحجم الهائل للنصوص وفقد التلميحات.
- محقق قلم التحديد (الطريقة الجديدة) نجح. فمن خلال تصفية الأشياء المملة والاحتفاظ بالأجزاء الأكثر إثارة للريبة، تمكن من كشف عملية السطو حتى عندما حاول الشرير إخفاءها.
"تكلفة" الذاكرة
تقدم الورقة أيضاً طريقة جديدة لقياس مدى "تكلفة" هذه الذاكرة. تخيل لو أن قلم التحديد يغير رأيه باستمرار بشأن الجمل التي يجب الاحتفاظ بها. في كل مرة يستبدل فيها جملة، يتعين على المحقق إعادة قراءة كل شيء من البداية. هذا بطيء ومكلف.
أنشأ المؤلفون مقياساً يسمى CSR (معدل استقرار الكورسيت). يقيس هذا المقياس عدد المرات التي يحافظ فيها قلم التحديد على نفس الجمل في دفتر الملاحظات.
- استقرار عالٍ: يبقى دفتر الملاحظات كما هو. يمكن للمحقق القراءة بسرعة. (جيد!)
- استقرار منخفض: يتغير دفتر الملاحظات كل ثانية. يتعين على المحقق إعادة القراءة باستمرار. (سيء/مكلف!)
الخلاصة الكبرى
تخبرنا هذه الورقة أنه لإيقاف الذكاء الاصطناعي من التعرض للخداع بواسطة الهجمات طويلة الأمد وبطيئة الخطى، لا يمكننا فقط جعل ذاكرة الذكاء الاصطناعي أكبر. نحن بحاجة إلى جعل ذاكرة الذكاء الاصطناعي أذكى. نحن بحاجة إلى نظام يفلتر الضجيج ويحتفظ فقط بالتلميحات الأكثر أهمية، مما يسمح للذكاء الاصطناعي برؤية "القصة كاملة" دون أن يصاب بالإرهاق من التفاصيل.
باختصار: لا تحاول تذكر كل شيء. تذكر الأشياء الصحيحة فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.