One Successful Run Is Not an Exploit: Replaying LLM-Written Exploit Scripts with the Model Out of the Loop

في عالم أمن الحاسوب، هناك سباق مستمر بين أولئك الذين يبنون الدفاعات وأولئك الذين يحاولون كسرها. عندما يحتوي نظام حاسوبي على نقطة ضعف خفية، تُعرف باسم "الثغرة الأمنية"، يمكن لمهاجم ماهر كتابة قطعة صغيرة من الكود لاستغلالها والوصول غير المصرح به. واليوم، يستخدم الباحثون الذكاء الاصطناعي لكتابة هذه القطع من الكود تلقائيًا. تُعطى هذه الأنظمة التي تعمل بالذكاء الاصطناعي، والتي تُسمى غالبًا "الوكلاء" (agents)، تحديًا ومجموعة من القواعد، وتحاول هي توليد نص برمجي (script) ينجح في اختراق نظام تجريبي. وإذا نجح النص البرمجي ولو لمرة واحدة، فإن الطريقة القياسية لقياس النجاح في هذا المجال هي احتساب ذلك كفوز. وكان الافتراض السائد هو أنه إذا استطاع الذكاء الاصطناعي كتابة نص برمجي يعمل لمرة واحدة، فقد وجد طريقة موثوقة لكسر النظام. لكن هذا الافتراض يترك سؤالاً جوهرياً دون إجابة: إذا أخذت نفس هذا النص البرمجي وقم بتشغيله مرة أخرى على نظام جديد، فهل سيعمل للمرة الثانية؟

وضع أحد الباحثين هدفًا للإجابة على هذا السؤال من خلال تغيير كيفية اختبار هذه النصوص البرمجية التي أنتجها الذكاء الاصطناعي. فبدلاً من مطالبة الذكاء الاصطناعي بالمحاولة مرارًا وتكرارًا، وهو ما قد يختبر قدرة الذكاء الاصطعي على التفكير والتكيف، قرر اختبار النصوص البرمجية نفسها. لقد أخذ النصوص البرمجية الفائزة التي أنتجها الذكاء الاصطناعي بالفعل وقام بتشغيلها بشكل متكرر على نسخ جديدة ونظيفة من الأنظمة المستهدفة، دون السماح للذكاء الاصطناعي بالمشاركة في الجولة الثانية. هذا النهج يشبه أخذ مفتاح نجح في فتح باب مرة واحدة، ثم تجربته على عشرات الأبواب الجديدة والمتطابقة لمعرفة ما إذا كان لا يزال مناسبًا. أراد الباحث معرفة ما إذا كان المفتاح جيدًا حقًا، أم أنه نجح فقط بسبب حالة معينة ومؤقتة للباب الأول.

تضمنت الدراسة أربعة عشر تحديًا أمنيًا مختلفًا، تراوحت من ثغرات تسجيل الدخول البسيطة إلى قضايا أكثر تعقيدًا حيث يعالج النظام مدخلات المستخدم بطرق خطيرة. طُلب من الذكاء الاصطناعي حل هذه التحديات، وقد نجح في توليد نصوص برمجية عاملة في 196 محاولة مختلفة. ثم أخذ الباحث كل نص من هذه النصوص الـ 196 وشغله عشر مرات على أنظمة جديدة، مما أدى إلى إنشاء إجمالي 1,960 عملية اختبار. كانت النتائج واضحة للغاية: في 1,950 من تلك العمليات، عمل النص البرمجي تمامًا كما فعل في المرة الأولى. وهذا يعني أنه في الغالبية العظمى من الحالات، بمجرد أن يجد الذكاء الاصطناعي حلاً، يكون ذلك الحل عبارة عن كود مستقر وموثوق يمكن إعادة استخدامه. لم يكن النص البرمجي يعتمد على الحظ أو لحظة نجاح عابرة؛ بل كان أداة صلبة تعمل باستمرار.

ومع ذلك، كشفت الدراسة أيضًا عن استثناء رائع يفسر لماذا كانت الطريقة القديمة في الاختبار غير كافية. كان هناك نص برمجي واحد من أصل 196 فشل في كل مرة تم تشغيله فيها على نظام جديد. لقد كان نصًا "ميتاً" لا يمكنه فتح الباب. ومع ذلك، عندما قام الباحث بتشغيل تسلسل الخطوات الكاملة التي اتخذها الذكاء الاصطناعي لإنشاء ذلك النص البرمجي — عبر إعادة تشغيل محاولات الذكاء الاصطناوية السابقة بالترتيب قبل تشغيل النص النهائي — نجح النص البرمجي فجأة في كل مرة. كان السبب دقيقًا وخفيًا. فقد اعتمد النص البرمجي على الحالة الداخلية لنظام الحاسوب، وتحديدًا قائمة من "الأصناف" (classes) التي يحتفظ بها لغة برمجة النظام في الذاكرة. كانت محاولات الذكاء الاصطناعية السابقة قد أضافت عناصر إلى هذه القائمة دون قصد، مما أدى إلى إزاحة مواقع العناصر. كان النص البرمماجي النهائي مبرمجًا بشكل ثابت للبحث عن عناصر محددة في مواقع محددة. وعلى نظام جديد، كانت تلك المواقع فارغة أو تحتوي على أشياء خاطئة. ولكن بعد تشغيل الخطوات السابقة، نمت القائمة وتغيرت، مما وضع العناصر الصحيحة تمامًا حيث توقعها النص البرمجي. لقد كان النجاح ينتمي إلى الرحلة بأكملها، وليس فقط للخطوة النهائية.

يسلط هذا الاكتشاف الضوء على فرق جوهري بين طريقة تفكير الذكاء الاصطناعي وبين سلوك الكود الذي ينتجه. وجد الباحث أن قدرة الذكاء الاصطناعي على توليد حل ما كانت غير مستقرة للغاية. في كثير من الحالات، كان الذكاء الاصطناعي يفشل في إيجاد حل في محاولته الأولى، ثم ينجح في الثانية، ثم يفشل مرة أخرى في الثالثة. إذا نظرت فقط إلى عملية توليد الذكاء الاصطناعي، فسترى الكثير من عدم الاتساق. ولكن بمجرد أن يتمكن الذكاء الاصطناعي من كتابة نص برمجي يعمل، فإن هذا النص نفسه يكون دائمًا مستقرًا تقريبًا. كان عدم الاستقرار في عملية التفكير، وليس في الأداة التي تم إنشاؤها. وهذا يعني أن نجاح تشغيل واحد للذكاء الاصطناعي لا يثبت أن الذكاء الاصطناعي جيد باستمرار في إيجاد الحلول، ولكنه يثبت أن الحل المحدد الذي وجده هو عادةً حل موثوق.

اختبر الباحث أيضًا ما إذا كانت هذه النصوص البرمجية ستعمل إذا كان نظام الحاسوب الذي تهاجمه مختلفًا قليلاً، مثل تشغيل نسخة أحدث من لغة البرمجة. أعاد بناء الأنظمة المستهدفة بنسخة محدثة قليلاً من البرنامج وشغل النصوص البرمجية مرة أخرى. ظلت معظمها تعمل، لكن نصًا برمجيًا واحدًا كان موثوقًا تمامًا على النظام القديم فشل تمامًا في النظام الجديد. أظهر هذا أن حتى تغييرًا طفيفًا في البيئة يمكن أن يكسر نصًا برمجيًا بدا مثاليًا، مما يعزز فكرة أن نجاح النص البرمجي مرتبط بالظروف المحددة التي تم إنشاؤه في ظلها.

الخلاصة الرئيسية من هذا العمل هي أننا بحاجة إلى تغيير كيفية الحكم على نجاح الذكاء الاصطناعي في مجال الأمن. إن نجاحًا واحدًا لا يكفي لاعتبار النص البرمجي "ثغرة استغلالية" (exploit). لمعرفة ما إذا كان الذكاء الاصطناعي قد وجد ثغرة حقيقية حقًا، يجب علينا التحقق من أن النص البرمجي الذي كتبه يعمل بشكل متكرر من تلقاء نفسه، دون مساعدة الذكاء الاصطناعي. تُظهر الدراسة أنه بينما تكون عملية توليد الذكاء الاصطناعي غالبًا مهتزة وغير متوقعة، فإن النصوص البرمجية التي تنجح في إنتاجها تكون عادةً صلبة وموثوقة. والحالة الوحيدة التي فشل فيها نص برمجي في العمل بمفرده، كانت بسبب اعتماده على حالة خفية تركها خلفها عمل الذكاء الاصطناعي في محاولاته السابقة، وهو تفصيل لن تكشفه عملية اختبار واحدة. ومن خلال فصل عملية كتابة الكود عن عملية تشغيله، قدم الباحث صورة أوضح لما يمكن لهذه الأنظمة من ذكاء اصطناعي القيام به حقًا، موضحًا أن الأدوات التي تبنيها غالبًا ما تكون أكثر موثوقية من العملية التي تبنيها.