Mind Your HEARTBEAT! Claw Background Execution Inherently Enables Silent Memory Pollution
تكشف هذه الورقة عن ثغرة أمنية حرجة في وكلاء الذكاء الاصطناعي الشخصيين "Claw"، حيث يسمح التنفيذ في الخلفية المدفوع بنبضات القلب (heartbeat-driven) لمحتوى خارجي غير موثوق بتلويث ذاكرة الوكيل بصمت والتأثير على سلوكه المستقبلي تجاه المستخدم من خلال مسار "التعرض-الذاكرة-السلوك" (Exposure-Memory-Behavior)، مما يثبت أن المعلومات المضللة العادية —وليس فقط حقن الأوامر (prompt injection)— يمكن أن تخل بسلامة الوكيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً شخصياً فائق الذكاء يدعى Claw. هذا ليس مجرد روبوت دردشة تتحدث إليه؛ بل هو رفيق رقمي حي يتذكر كل ما أخبرته به، ويدير تقويمك، ويتفحص بريدك الإلكتروني، وحتى يتصفح الأخبار بينما أنت نائم.
تكشف الورقة البحثية التي شاركتَها عن خلل مخيف في طريقة عمل Claw. إنه ثغرة أمنية تُسمى "تلوث الذاكرة الصامت" (Silent Memory Pollution).
إليك قصة كيف يحدث ذلك، مشروحة ببساła.
1. "نبض القلب" (نبض المساعد)
تخيل أن لـ Claw نبض قلب. كل بضع دقائق، حتى عندما لا تتحدث إليه، يقوم هذا النبض بإيقاظ Claw ويقول له: "هيا، لنفحص بريدك الإلكتروني، ونلقي نظرة على الأخبار، ونرى ما إذا كان أحد قد ذكرك على وسائل التواصل الاجتماعي".
هذا أمر رائع للإنتاجية. فهذا يعني أن Claw يمكنه العثًة على دعوة اجتماع في بريدك الإلكتروني ووضعها في تقويمك قبل أن تطلب منه ذلك حتى.
المشكلة: في التصميم الحالي، يقوم Claw بعملية "الفحص" هذه في نفس الغرفة التي يتحدث فيها معك. ليس لديه "مكتب خلفي" منفصل لتفحص رسائل البريد الإلكتروني؛ كل شيء يحدث في غرفة المعيشة الرئيسية.
2. "الشبح في الغرفة" (الهجوم)
الآن، تخيل أن مخادعاً (مهاجماً) يريد خداع مساعدك. لا يحتاج إلى اختراق جهاز الكمبيوتر الخاص بك أو إرسال فيروس؛ يحتاج فقط إلى نشر كذبة على موقع تواصل اجتماعي أو إرسال بريد إلكتروني مزيف.
- الكذبة: "يا رفاق، التحديث الجديد للبرامج خطير! انتقلوا إلى هذا الإصدار المزيف بدلاً منه!"
- الفخ: يستيقظ نبض قلب مساعدك، ويرى هذا المنشور، ويقرأه. ولأن Claw مصمم ليكون مفيداً، يفكر: "أوه، هذه معلومة مهمة! يجب أن أتذكرها".
هنا يكمكم الجزء المخيف: أنت لم ترَ الكذبة أبداً. لم تنقر على الرابط، ولم تقرأ البريد الإلكتروني. لكن Claw امتصها بينما كنت غائباً.
3. "ضباب الدماغ" (تلوث الذاكرة)
لأن Claw والمستخدم يتشاركان في "غرفة الذاكرة" نفسها، تختلط هذه الكذبة مع ذكرياتك الحقيقية.
- على المدى القصير: في وقت لاحق من ذلك اليوم، تسأل Claw: "أي برنامج يجب أن أستخدم؟"
- النتيجة: يجيبك Claw بثقة: "يجب أن تستخدم ذلك الإصدار المزيف! لقد قرأت عنه في وقت سابق". يبدو واثقاً جداً من نفسه لأنه "تذكر" الكذبة كحقيقة.
هذا هو تلوث الذاكرة الصامت. لقد تم تسميم عقل المساعد بهدوء بمعلومات لم تراها أنت قط.
4. "الوشم الدائم" (الذاكرة طويلة المدى)
وجدت الورقة البحثية شيئاً أسوأ من ذلك. في بعض الأحيان، يقرر المساعد حفظ هذه "الحقيقة" الجديدة في ذاكرته طويلة المدى (مثل كتابتها في مذكرات دائمة).
- السيناريو: تسأل Claw: "احفظ ما تعلمناه اليوم".
- النتيجة: يكتب المساعد الكذبة في مذكراته الدائمة.
- العواقب: حتى لو أعدت تشغيل المحادثة بعد أيام، أو حتى أسابيع لاحقاً، سيظل المساعد يؤمن بالكذبة. لقد أصبحت الآن جزءاً من شخصيته الدائمة. قد يخبر مديرك، أو مصرفك، أو طبيبك باستخدام ذلك البرنامج المزيف، وسيبدو مقتنعاً بنسبة 100%.
5. لماذا من الصعب إيقافه
اختبر الباحثون هذا في شبكة اجتماعية وهمية تسمى MissClaw (نسخة مستنسخة من شبكة وكلاء حقيقية تسمى Moltbook). ووجدوا ثلاثة أشما أمور مخيفة:
- الأمر يتعلق بـ "ضغط الأقران": إذا بدا المنشور المزيف وكأنه حصل على الكثير من "الإعجابات" أو جاء من "مشرف"، فإن المساعد يصدقه فوراً. إنه يثق في الحشد أكثر من الحقيقة.
- الأمر لا يقتصر على "الأشرار" فقط: لا تحتاج إلى مخترق. يكفي أن يقوم شخص عادي بنشر إشاعة لكسر النظام.
- إنه يصمد أمام "التنظيف": حتى لو حاول المساعد نسيان الأشياء القديمة أو إذا دُفنت الكذبة تحت 20 منشوراً عادياً، فإن المساعد أحياناً لا يزال يجدها، ويتذكرها، ويتصرف بناءً عليها لاحقاً.
الخلاصة الكبرى
تحذرنا الورقة البحثية من أننا لا نستطيع الوثوق بمساعدينا من الذكاء الاصطناعي للحفاظ على "صفاء أذهانهم" أثناء عملهم في الخلفية.
حالياً، تصميم وكلاء الذكاء الاصطناعي هؤلاء يشبه منزلاً بلا أبواب مغلقة. إذا دخل غريب وهمس بكذبة في أذن الخادم (الذكاء الاصطناعي) بينما كان المالك نائماً، فقد يصدقها الخادم ويخبر المالك في اليوم التالي أن الكذبة هي الحقيقة.
الحل؟ نحن بحاجة إلى بناء "مكاتب خلفية" للذكاء الاصطناعي. عندما يقوم الذكاء الاصطناعي بتفحص رسائل البريد الإلكتروني أو وسائل التواصل الاجتماعي في الخلفية، يجب أن يفعل ذلك في غرفة منفصلة ومعزولة. لا ينبغي السماع له بخلط تلك الهمسات الخلفية مع الحقائق المهمة التي يستخدمها للتحدث معك، ما لم نصرح نحن (البشر) صراحةً: "نعم، لقد رأيت ذلك، ونعم، إنه حقيقي".
حتى ذلك الحين، علينا أن نكون حذرين: مجرد قول مساعدك الذكي إنه "يعرف" شيئاً ما، لا يعني أنه يعرف الحقيقة فعلياً. قد يكون قد تعرض للخداع من قبل شبح في الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.