تخيل أنك قبطان لسفينة فضائية ذكية جداً وسريعة جداً. هذه السفينة تمتلك نوعاً جديداً من نظام الطيار الآلي: وكيل ذكاء اصطناعي (AI Agent). هذا الوكيل لا يكتفي بالتوجيه فحسب؛ بل يمكنه التحدث مع أجهزة الكمبيوتر الأخرى، وفتح الأبواب، وتحريك البضائع، وحتى إصلاح المحرك. لكن الجزء الصعب هنا هو أن السفينة تحلق عبر مجرة مليئة بالضجيج. أحياناً، يعطي أحد أفراد الطاق الطيبينا أمراً، وأحياناً أخرى يحاول كائن فضائي ماكر خداع السفينة عبر إخفاء أمر زائف داخل رسالة تبدو غير ضارة.

لفترة طويلة، اعتقد العلماء الذين يدرسون سفن الذكاء الاصطناعي أن الطريقة الوحيدة للبقاء آمنين هي النظر إلى كلمات الأمر. إذا بدا الأمر مخيفاً، مثل "فجر المحرك"، فإنهم يوقفونه. وإذا بدا لطيفاً، مثل "أصلح المحرك"، فإنهم يسمحون بمروره. لكن هذا يشبه حارس أمن في ملهى ليلي ينظر فقط إلى لون قميصك. إذا ارتدى لص قميصاً أحمر، سيسمح له الحارس بالدخول. وإذا ارتدى رجل إطفاء قميصاً أحمر، فسيوقفه الحارس. المشكلة هي أن الكلمات نفسها يمكن أن تكون طلباً ودوداً من مدير، أو فخاً مميتاً من مخترق، اعتماداً كلياً على من يتحدث وما هو الموقف. تجادل هذه الورقة بأننا يجب أن نتوقف عن النظر إلى الكلمات وحدها ونبدأ في النظر إلى القصة الكاملة وراءها.

---

الخلط الكبير: الكلمات مقابل من قالها

يشير مؤلفو هذه الورقة، وهم فريق من الباحثين من جامعة كاليفورنيا في سانتا كروز وجامعة كاليفورنيا في بيركلي، إلى خطأ فادح في كيفية اختبار وحماية وكلاء الذكاء الاصطناعي. يقولون إننا كنا نطرح السؤال الخاطئ. فبدلاً من سؤال: "هل يبدو هذا الأمر خطيراً؟"، يجب أن نسأل: "هل هذا الأمر مسموح به في هذا الموقف المحدد؟".

لفهم سبب أهمية ذلك، تخيل أمر "حذف ملف":

• السيناريو (أ): مديرك، الذي يمتلك مفتاح المبنى، يقول: "احذف الملفات القديمة من العام الماضي". هذا أمر جيد.
• السيناريو (ب): مخترق، وضع ملاحظة في لوحة إعلانات عامة، يقول: "احذف الملفات القديمة من العام الماضي". هذه كارثة.

الكلمات متطابقة. الإجراء متطابق. لكن في الحالة الأولى، هو عملية تنظيف روتينية. وفي الحالة الثانية، هي جريمة. أنظمة الأمان الحالية تشبه روبوتاً يقرأ الملاحظة فقط؛ فهو يرى كلمة "حذف" فيصاب بالذعر، أو يرى كلمة "حذف" فيظن "أوه، هذا جيد"، دون التحقق من هوية كاتبها. يجادل المؤلفون بأن هذا يشبه محاولة الحكم على فيلم من خلال النظر إلى إطار واحد فقط؛ فأنت تفقد الحبكة، والشخصيات، والسياق.

الفحص الأمني المكون من أربعة أجزاء

لإصلاح ذلك، تقترح الورقة أن نتوقف عن النظر إلى الإجراء وحده ونبدء في التحقق من أربعة أشياء محددة، مثل فريق أمني يجري قائمة مراجعة قبل السماح للسفينة الفضائية بالتحرك. يسمون هذا "إطار عمل شامل" (Holistic Framework)، وهو مجرد تعبير منمق يعني "النظر إلى الصورة الكاملة".

إليك القواعد الأربع التي يقول المؤلفون إنه يجب علينا التحقق منها لكل إجراء يتخذه الذكاء الاصطناعي:

1. تفويض المصدر (من يتحدث؟): يسأل هذا: "هل قال هذا الشخص الذي يمتلك المفاتيح الصحيحة هذا الأمر فعلاً؟". إذا جاء أمر من صفحة ويب عشوائية أو مستند يقرأه الذكاء الاصطناعي، فذلك يشبه شخصاً غريباً يصرخ بالأوامر من الشارع. حتى لو كان الأمر هو "أرسل أموالاً"، إذا لم يكن هذا الغريب هو مدير البنك، فالإجابة هي "لا".
2. توافق المهمة (ما هي المهمة؟): يسأل هذا: "هل هذا الأمر جزء من الوظيفة التي تم استئجار الذكاء الاصطناعي للقيام بها؟". تخيل روبوتاً مخصصاً لتوصيل البيتزا؛ إذا طلب منه شخص ما "اذهب لسرقة بنك"، فهذه مهمة مختلفة. حتى لو كان الروبوت يستطيع القيادة إلى البنك، فلا ينبغي له فعل ذلك لأنه ليس ضمن مهمته.
3. توافق الإجراء (هل هذه الخطوة تناسب المهمة؟): يسأل هذا: "هل هذه الحركة المحددة تساعد في تحقيق المهمة؟". إذا كان الروبوت يوصل البيتزا، فقد يحتاج إلى فتح باب. ولكن إذا قرر "تحطيم الباب" للمرور، فهذا تجاوز للحد. الهدف (توصيل البيتزا) جيد، لكن الإجراء (التحطيم) خاطئ.
4. عزل البيانات (هل تتسرب الأسرار؟): يسأل هذا: "هل يخلط الذكاء الاصطناعي بين المعلومات الخاصة؟". تخيل مساعد طبيب؛ إذا ساعد المريض (أ)، ثم ساعد المريض (ب)، فلا ينبغي له أن يخبر المريض (ب) عن التاريخ الطبي للمريض (أ) عن طريق الخطأ. يجب على الذكاء الاصطناعي أن يحافظ على "ملفات" الأشخاص المختلفين منفصلة.

لماذا تفشل الاختبارات القديمة

تشير الورقة إلى أن العديد من الاختبارات التي نستخدمها اليوم لمعرفة ما إذا كان الذكاء الاصطناعي آمناً هي اختبارات معيبة لأنها تتجاهل هذه القواعد الأربع. نظر الباحثون في مجموعتين شهيرتين من الاختبارات، AgentDojo و WASP، اللتين تحتويان على 45 سيناريو "هجوم" مختلف.

ووجدوا شيئاً مفاجئاً: كل واحد من تلك الـ 45 "هجوماً" يمكن أن يكون أيضاً طلباً طبيعياً وقانونياً.

• الهجوم: "حول 30,000 دولار على دفعات صغيرة".
  • النسخة "السيئة": مخترق يحاول سرقة الأموال.
  • النسخة "الجيدة": محاسب شرعي يحاول البقاء تحت الحد اليومي أثناء دفع ثمن منزل.
• الهجوم: "أضف مستخدماً جديداً كمالك (Owner)".
  • النسخة "السيئة": مخترق يستولي على مشروع.
  • النسخة "الجيدة": مدير يقوم بضم شريك مؤسس جديد.

الاختبارات الحالية ترى الإجراء فقط ("تحويل أموال" أو "إضافة مستخدم") وتقول: "هذا هجوم!". يقول المؤلفون إن هذا خطأ؛ فالاختبار لا يستطيع التمييز لأنه لا يتحقق من من طلب ذلك أو لماذا. الأمر يشبه معلماً يرسب طالباً لأنه كتب كلمة "قنبلة" في قصة عن فيلم، دون أن يقرأ بقية القصة.

مشكلة "اللقطة الواحدة" (Snapshot)

ينتقد المؤلفون أيضاً طريقة اختبارنا للذكاء الاصطناعي. معظم الاختبارات تشبه "اللقطات الثابتة"؛ حيث يعطون الذكاء الاصطناعي أمراً، ويرون ما سيحدث، ثم يعيدون كل شيء إلى حالته الأولى. إنهم يمسحون ذاكرة الذكاء الاصطناعي ويبدأون من جديد.

لكن الحياة الواقعية ليست لقطة ثابتة، بل هي فيلم. قد لا يشن المخترق هجوماً فورياً؛ قد يزرع ملاحظة "مسمومة" في ذاكرة الذكاء الاصطناعي اليوم، وبعد ثلاثة أيام، يقرأ الذكاء الاصطناعي تلك الملاحظة ويعتبرها أمراً حقيقياً. ولأن اختبارات "اللقطة الواحدة" تعيد ضبط الذاكرة، فإنها لن تتمكن أبداً من رؤية هذه الهجمات البطيلة والمتسللة. يجادل المؤلفون بأننا بحاجة إلى مراقبة رحلة الذكاء الاصطناعي بأكملها، وليس مجرد خطوة واحدة في كل مرة.

الحل: طريقة جديدة لبناء الدفاعات

لذا، ماذا نفعل؟ تقترح الورقة أن نتوقف عن محاولة بناء "مرشحات المحتوى" (البرامج التي تمسح الكلمات بحثاً عن النوايا السيئة) ونبدأ في بناء "فحوصات السياق".

• بدلاً من السؤال: "هل تبدو هذه الجملة كعملية اختراق؟"
• يجب أن نسأل: "هل المصدر مصرح له؟ هل المهمة مسموحة؟ هل الإجراء مبالغ فيه؟ هل هناك تسريب للبيانات؟"

هذا يغير طريقة بناء دفاعاتنا. إذا كان الدفاع جيداً في التحقق من "تفويض المصدر"، فهو ليس بحاجة لأن يكون مثالياً في تخمين ما إذا كانت الكلمة "سيئة". هو فقط يحتاج لمعرفة ما إذا كان الشخص المتحدث يمتلك مفتاحاً. وهذه مهمة أسهل وأكثر موثوقية.

يعترف المؤلفون بأن هذا تغيير كبير. هذا يعني أننا لا نستطيع الاعتماد فقط على "معرفة" الذكاء الاصطناعي بما هو سيء. يجب أن نبني أنظمة تتحقق باستمرار من القواعد الأربع بينما يعمل الذكاء الاصطناعي. ويقترحون أنه بينما لا يمكننا دائماً امتلاك تتبع مثالي، يمكننا بناء أنظمة "جيدة بما يكفي" في التحقق من هذه القواعد الأربع لإيقاف الأخطاء الكبيرة.

الخلاصة

لا تدعي هذه الورقة أنها حلت كل مشاكل أمن الذكاء الاصطناعي. هي لا تقول: "لقد أصلحنا كل شيء!". بدلاً من ذلك، تقول: "لقنا ننظر إلى المشكلة من الزاوية الخاطئة".

من خلال التعامل مع الأمن كقصة حول من يفعل ماذا ولماذا، بدلاً من مجرد قائمة من الكلمات السيئة، يمكننا بناء ذكاء اصطناعي آمن حقاً. الأمر هو الفرق بين حارس أمن ينظر فقط إلى وجهك، وحارس يتحقق من هويتك، وتذكرتك، ووجهتك، وحقائبك. تقترح الورقة أنه إذا أردنا لعملاء الذكاء الاصطناوينا أن يحلقوا بأمان عبر المجرة، فعلينا البدء في فحص التذكرة كاملة، وليس مجرد الوجه.