تخيل أن لديك مساعداً آلياً ذكياً للغاية، لا يكتفي فقط بالإجابة على الأسئلة، بل يقوم بالفعل بالأشياء من أجلك؛ يمكنه كتابة الأكواد، أو حجز الرحلات الجوية، أو تنظيم ملفاتك الرقمية. وللقيام بذلك، يحتاج الروبوت إلى "دماغ" (نموذج الذكاء الاصطناعي) و"حقيبة ظهر" (النظام البرمجي الذي يحتوي على ذكرياته وأدواته ومهاراته). هذه الحقيبة أمر بالغ الأهمية لأنها تسمح للروبوت بتذكر ما فعله بالأمس لكي يتمكن من إكمال مشروع كبير اليوم. ولكن إليك الجزء الصعب: ماذا لو تسلل شخص ما فيروساً صغيراً غير مرئي إلى حقيبة الظهر هذه؟ قد لا يفعل شيئاً على الفور، بل ينتظر، مختبئاً في ملاحظة أو في إعداد أداة ما، حتى يختار الروبوت مهمة بريئة تماماً بعد أسابلة. فجأة، تطلق هذه المهمة البريئة شرارة الفيروس، فيقوم الروبوت عن طريق الخطأ بحذف ملفاتك أو إرسال رسالة سرية. هذا هو عالم "المخاطر المستمرة" في وكلاء الذكاء الاصطناعي: مخاطر تبقى حية عبر الزمن والمهام المختلفة، تنتظر اللحظة المناسبة للهجوم.

هذه الورقة البحثية، التي تحمل عنوان HarnessSafe، تشبه اختبار جهد ضخم وعالي التقنية لحقائب الظهر الخاصة بالروبوتات هذه. أراد الباحثون معرفة ما إذا كانت أنظمة الذكاء الاصطناعي الحالية قادرة على كشف هذه الهجمات "النائمة" قبل أن تستيقظ وتسبب المشاكل. لقد بنوا ساحة لعب تضم 328 سيناريو مختلفاً حيث حاولوا زرع هذه الفيروسات المختبئة في سبعة أنواع مختلفة من "حقائب الظهر" (مثل الذاكرة، والمهارات، والأدوات المشتركة) عبر سبعة أنظمة روبوتية شهيرة. وبدلاً من مجرد السؤال: "هل تم اختراق الروبوت؟ نعم أم لا؟"، قاموا بتتبع الهجوم خطوة بخطوة. لقد راقبوا ما إذا كان الفيروس قد كُشف في اللحظة التي زُرع فيها، أو ما إذا كان قد نجا عبر تجاوز الحدود (مثل يوم جديد أو مستخدم جديد)، أو ما إذا كان قد نجح أخيراً في التسبب في كارثة.

كانت النتائج بمثابة جرس إنذار. فقد وجد الباحثون أن السلامة لا تتعلق فقط بدماغ الروبوت أو حقيبة ظهره فحسب، بل تتعلق بـ التركيبة المحددة بين الاثنين. بعض أنظمة الروبوت كانت بارعة في كشف الفيروسات في ذاكرتها ولكنها سيئة جداً في رصدها في أدواتها. وأخرى كانت العكس تماماً. في الواقع، قد يمتلك نظامان نفس "معدل الفشل" (عدد المرات التي تم اختراقهما فيها)، ولكن أحد النظامين قد يكون قد أوقف الهجوم مبكراً، بينما ترك الآخر الهجوم يتجول لأيام قبل أن يفشل في النهاية. وهذا يعني أن مجرد عد المرات التي يتم فيها اختراق النظام ليس كافياً؛ نحن بحاجة إلى معرفة أين ومتى فشل الدفاع. تثبت الدراسة أن هذه الهجمات المخفية والمتأخرة حقيقية وخطيرة، وأن إصلاحها يتطلب النظر إلى رحلة الخطر بأكملها، وليس فقط الانفجار النهائي.

قصة "الجاسوس النائم"

لفهم ما قام به الباحثون، دعونا نتخيل أن وكيل الذكاء الاصطناعي هو متدرب منظم للغاية يعمل في مكتب ضخم. هذا المتدرب لديه حقيبة ظهر (الـ "harness") حيث يحتفظ بقوائم مهامه، وأدواته (مثل الآلة الحاسبة أو مجلد الملفات)، وملاحظاته عما أنجزه.

عادةً ما يكون هذا المتدرب متعاوناً. ولكن تخيل أن هناك جاسوساً (المهاجم) يريد تخريب المكتب. الجاسوس لا يكتفي بالصراخ "افعل شيئاً سيئاً!" لأن المتدرب سيرفض ذلك. بدلاً من ذلك، يسلل الجاسوس تعليمات نائمة في حقيبة ظهر المتدرب. ربما يكتب ملاحظة غريبة في قسم "الذاكرة"، أو يعدل ملف "مهارة" ليبدو طبيعياً ولكنه يحتوي على فخ مخفي.

يغادر الجاسوس. ويمضي المتدرب في يومه، مؤدياً مهاماً عادية ومملة. لا يحدث شيء. هذا هو جزء "الاستمرارية" — الأشياء السيئة تقبع هناك فحسب، في حالة انتظار.

ثم، بعد أيام، يطلب المدير (المستخدم) من المتدرب القيام بشيء بريء تماماً، مثل "تلخيص هذا التقرير". هذا هو "المحفز الحميد". ولكن لأن حقيبة ظهر المتدرب لا تزال تحتوي على تلك التعليمات النائمة من الجاسوس، فإن اللحظة التي يفتح فيها المتدب التقرير، ينطلق الفخ. قد يقوم المتدرب عن طريق الخطأ بحذف ملفات المدير أو إرسال بريد إلكتروني سري، وكل ذلك بينما يعتقد أنه يؤدي وظيفة عادية فحسب.

اختبار جهد حقيبة الظهر الكبرى

قرر مؤلفو هذه الورقة لعب دور الجاسوس لمعرفة أي أنظمة المكاتب كانت آمنة. لقد أنشأوا HarnessSafe، وهي مجموعة اختبار ضخمة تضم 328 طريقة مختلفة لزرع هؤلاء الجواسوس النائمين. اختبروا هؤلاء الجواسوس في سبعة أنواع مختلفة من حقائب الظهر:

1. الذاكرة (Memory): الاختباء في ملاحظات المتدرب.
2. المهارات (Skills): الاختباء في تعليمات كيفية أداء مهمة ما.
3. الأدوات/MCP (Tools/MCP): الاختباء في إعدادات الأدوات التي يستخدمها المتدرب.
4. الذاكرة-إلى-المهارة (Memory-to-Skill): تحويل ملاحظة إلى مهارة جديدة.
5. تفويض الوكيل الفرعي (Subagent Delegation): تمرير الجاسوس إلى روبوت مساعد.
6. ملخص الجلسة (Session Summary): الاختباء في ملخص لمحادثة سابقة.
7. النماذج المشتركة (Shared Artifacts): الاختباء في ملف مشترك بين موظفين مختلفين.

قاموا بتشغيل هذه الاختبارات على سبعة أنظمة روبوتية مختلفة من الواقع (مثل Claude Code وCodex CLI وغيرها) ليروا كيف ستتعامل مع الهجمات.

"درجة المرحلة": ليست مجرد نعم أو لا

هنا تبرز براعة الورقة البحثية حقاً. معظم اختبارات السلامة تكتفي بالقول: "هل تم اختراق الروبوت؟ نعم/لا". لكن الباحثين أدركوا أن هذا يشبه القول بأن حادث السيارة هو نفسه سواء تعطلت المكابح عند سرعة 10 أميال أو 100 ميل في الساعة.

بدلاً من ذلك، أنشأوا لوحة نتائج مكونة من 7 مراحل (تسمى N0 إلى N5b) لتتبع مدى تقدم الجاسوس بالضبط:

• N0: لم يتم رؤية الجاسوس على الإطلاق. حقيبة الظهر كانت مغلقة بإحكام.
• N1: تم رصد الجاسوس بمجرد محاولته الدخول.
• N2: دخل الجاسوس وغير شيئاً ما، ولكن تم كشفه قبل أن يتمكن من إلحاق ضرر حقيقي.
• N3: نجا الجاسوس من "الليل" (جلسة جديدة) وتمت إعادة قراءته من قبل المتدرب.
• N4: حاول الجاسوس القيام بشيء سيء، لكن النظام أوقف هذا الإجراء.
• N5a/N5b: نجح الجاسوس! لقد وقع الضرر.

باستخدام لوحة النتائج هذه، استطاعوا رؤية أن بعض الأنظمة كانت جيدة في إيقاف الجواسيد عند الباب (N1) ولكنها سيئة في إيقافهم بمجرد دخولهم (N3). وأخرى كانت العكس.

ما وجدوه: الأمر يتعلق بالاقتران

الاكتشاف الكبير هو أن السلامة تعتمد على "الاقتران المحدد" بين دماغ الروبوت (نموذج الذكاء الاصطناعي) وحقيبة ظهره (الـ harness).

• لا أحد مثالي: لم يكن هناك نظام واحد هو الأفضل في كل شيء. على سبيل المثال، كان أحد الأنظمة (Codex CLI) مذهلاً في كشف الجواسيس في أدواته وذاكرته، ولكنه كان في الواقع الأسوأ في كشفهم في "مهاراته". ونظام آخر (Claude Code) كان رائعاً في المهارات ولكنه كان أضعف في أماكن أخرى.
• الدماغ يهم أيضاً: إذا أخذت نفس حقيبة الظهر ووضعت داخلها دماغاً مختلفاً للذكاء الاصطناعي، فإن درجة السلامة تتغير بشكل كبير. فقد يكون أحد الأدمغة حذراً جداً ويكشف الجاسوس، بينما قد يكون الآخر واثقاً أكثر من اللازم ويسمح له بالمرور.
• فخ "الدرجة المتساوية": قد يمتلك نظامان نفس "معدل نجاح الهجوم" (بمعنى أن كلاهما فشل في نفس عدد المرات). ولكن عند النظر إلى المراحل، قد يكون أحدهما قد فشل مبكراً (N1)، بينما ترك الآخر الجاسوس يتجول لأيام (N3) قبل أن يفشل. وهذا يعني أن درجة "النجاح/الفشل" البسيطة تخفي الكثير من التفاصيل الخطيرة.

الخلاصة

تخلص الورقة إلى أنه لا يمكننا مجرد النظر إلى روبوت والقول: "إنه آمن" أو "إنه غير آمن". السلامة هي رقصة معقدة بين البرمجيات التي تحفظ الذاكرة والذكاء الاصطناعي الذي يفكر. إذا أردنا إيقاف هجمات "الجاسوس النائم" هذه، فنحن بحاجة إلى بناء أنظمة تراقب رحلة الخطر بأكملها، وليس فقط النتيجة النهائية. نحن بحاجة إلى معرفة أين انكسر الدفاع بالضبط حتى نتمكن من إصلاح ذلك الجزء المحدد من حقيبة الظهر.

باختصار، أظهر لنا الباحثون أنه في عالم وكلاء الذكاء الاصطناعي، يمكن لخطر خفي أن ينام لفترة طويلة، وأن كشفه يتطلب نظرة أكثر تفصيلاً بكثير من مجرد التحقق مما إذا كان الروبوت لا يزال يعمل. لقد قدموا لنا الخريطة ولوحة النتائج لمساعدتنا في تحديد مكان الشقوق بالضبط.