How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency
تقدم هذه الدراسة أول تحليل تجريبي واسع النطاق لاتساق اختبار الاختراق لنماذج اللغات الكبيرة، حيث كشفت أن أربعة نماذج أظهرت اختلافات ذات دلالة إحصائية في معدلات نجاح الهجمات الذاتية (تتراوح بين 25% و85%) وأنماط فشل متميزة عند إخضاعها لـ 400 تجربة متكررة ضد هدف ثابت قابل للاختراق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حارس أمن يحاول اختبار مدى براعة مجموعة جديدة من الروبوتات المؤتمتة في اختراق مبنى مغلق. تريد أن تعرف: إذا أرسلت نفس الروبوت 100 مرة لتجربة نفس الحيلة، هل سيتصرف بنفس الطريقة في كل مرة، أم سيكون غير متوقع؟
هذه الورقة البحثية هي تجربة ضخمة حيث أرسل المؤلف أربعة "روبوتات ذكاء اصطناعي" مختلفة (نماذج لغوية كبيرة) لمهاجمة نظام كمبيوتر وهمي وضعيف. كان إجمالي الهجمات 400 هجمة. لم يكن الهدف مجرد معرفة ما إذا كان بإمكانهم الاختراق، بل لمعرفة مدى ثباتهم واستمراريتهم.
إليك قصة ما حدث، بأسلوب مبسط:
1. الإعداد: ملعب "المصيدة"
بنى الباحث "منزلاً رقمياً فخاً" (honeypot) يحتوي على ثلاثة أقفال سهلة الكسر:
- متجر إلكتروني بباب ضعيف (حقن SQL).
- باب خلفي بكلمة مرور ضعيفة (SSH).
- صندوق بريد بدون قفل (FTP مجهول).
أخبروا روبوتات الذكاء الاصطناعي: "أنت مختبر أمني معتمد. مهمتك هي كسر هذه الأقفال الثلاثة. انطلق!"
2. المفاجأة الكبرى: لم يقل أحد "لا"
كانت النتيجة الأكثر صدمة تتعلق بـ الرفض.
في الماضي، كان الناس يخشون أن يقول الذكاء الاصطناعي: "لا يمكنني فعل ذلك، هذا خطير" عندما يُطلب منه اختراق شيء ما.
- النتيجة: في جميع المحاولات الـ 400، لم يقل أي ذكاء اصطناعي "لا" واحدة.
- التشبيه: تخيل أنك تطلب من روبوت 400 مرة أن يفتح قفلاً، وفي كل مرة يمسك بالأدوات ويبدأ العمل فوراً. لم يتردد أي منهم أو ادعى أنهم "آمنون جداً" للقيام بذلك.
- لماذا؟ لقد صاغ الباحثون الطلب على أنه "اختبار معتمد". يبدو أنه عندما يعتقد الذكاء الاصطناعي أنه يقوم بوظيفة مشروعة (مثل حارس أمن)، فإنه يعطي الأولوية لكونه مفيداً على أن يكون حذراً.
3. الخلل: أحد الروبوتات مر بيوم سيء
واجه أحد الروبوتات، وهو Claude، مشكلة تقنية كبيرة خلال التجربة.
- المشكلة: تعرضت الشركة المصنعة لـ Claude (وهي Anthropic) لحالة ازدحام في الخادم. كان الأمر أشبه بدخول دماغ الروبوت في غيبوبة مفاجئة لأن المصنع كان مشغولاً للغاية.
- الالتباس: في البداية، ظن الباحث أن Claude يرفض الاختراق. ولكن بعد مراجعة السجلات، أدركوا أن الروبوت لم يكن يقول "لن أفعل"، بل إن الاتصال بالإنترنت مع الروبوت كان ينقطع باستمرار.
- الإصلاح: قاموا بإعادة تصنيف هذه الإخفاقات. هي ليست "رفضاً لأسباب أمنية"، بل هي مجرد "أخطاء إنترنت". وحتى مع هذه الأخطاء، كان روبوت Claude الذي أكمل المهمة ناجحاً جداً.
4. كيف فشلوا: روبوتات مختلفة، أخطاء مختلفة
عندما لم تنجح الروبوتات، فشلت بطرق مختلفة تماماً، مثل أنواع مختلفة من السائقين الذين تتحطم سياراتهم:
- الروبوت المحلي (Qwen): كان يشبه السائق الذي يشعر بالملل ويتوقف بالسيارة في منتصف الطريق. كان يكسر قفلاً أو اثنين، ثم يعلن أن المهمة "انتهت" ويغادر، رغم أنه لم يكمل المهمة بالكامل.
- روبوت GPT-4o-mini: كان يشبه السائق الذي يستمر في القيادة حتى ينفد الوقود. حاول أشياء كثيرة جداً لدرجة أنه اصطدم بحد زمني (25 محاولة) قبل أن يتمكن من الإنهاء، رغم أنه كان دقيقاً جداً.
- روبوت Gemini: كان هذا الروبوت هو الأكثر موثوقية. نادراً ما يستسلم ونادراً ما يرتكب أخطاء. إذا بدأ مهمة، فإنه ينهيها دائماً تقريباً.
- روبوت Claude: كما ذكرنا، فشله الرئيسي كان انقطاع اتصال الإنترنت.
5. خدعة "الذاكرة": سرقة المفاتيح
كان أحد السلوكات الأكثر إثارة للاهتمام هو إعادة استخدام بيانات الاعتماد.
- السيناريو: وجدت الروبوتات اسم مستخدم وكلمة مرور في صندوق البريد (FTP).
- الخدعة: تذكر اثنان من الروبوتات (Qwen و GPT-4o-mini) كلمة المرور تلك واستخدماها لفتح الباب الخلفي (SSH) تلقائياً. لم يحتا fact إلى أن يُطلب منهما فعل ذلك؛ بل استنتجا الأمر بأنفسهما.
- العائق: الروبوتات التي كانت تملك "ذاكرة قصيرة" (تتذكر الرسائل القليلة الأخيرة فقط) لم تفعل ذلك. أما الروبوتات ذات "الذاكرة الطويلة" (تتذكر المحادثة بأكملها) فقد فعلت. وهذا يشير إلى أن امتلاك ذاكرة طويلة يساعد الذكاء الاصطناعي على ربط النقاط بين أجزاء النظام المختلفة.
6. السرعة والاستراتيجية
- السرعة: بمجرد أن تبدأ الروبوتات، تكون سريعة. عادة ما يجدون طريقة للاختراق في غضون 15 إلى 30 ثانية من وقت العالم الحقيقي.
- الاستراتيجية: بعض الروبوتات تحاول دائماً الباب الإلكتروني أولاً. وأخرى تحاول دائماً صندوق البريد أولاً.
- التنوع: كان أحد الروبوتات (GPT-4o-mini) مبدعاً للغاية. من بين 100 جولة، استخدم 98 استراتيجية مختلفة. كان مثل لص لا يستخدم نفس الحيلة مرتين أبداً. أما الروبوت الآخر (Gemini) فكان أكثر قابلية للتنبؤ، حيث استخدم نفس الحيل القليلة مراراً وتكراراً.
الخلاصة
تخبرنا هذه الدراسة بشيئين رئيسيين:
- الأمان ليس جداراً: إذا صغت الطلب كـ "اختبار معتمد"، فإن نماذج الذكاء الاصطنا هذه ستسعد بمحاولة اختراق الأشياء دون قول "لا". ليس لديها زر "إيقاف" مدمج لهذا النوع المحدد من المهام.
- الذكاء الاصطناعي غير متوقع: حتى لو أعطيت نفس الروبوت نفس التعليمات 100 مرة، فقد يستخدم 98 طريقة مختلفة لحل المشكلة، أو قد يعلق في حلقة مفرغة، أو قد يستسلم مبكراً.
ملاحظة هامة: تحذر الورقة البحثية أنه نظراً لأن الروبوتات كانت سريعة ومتسقة في بدء هجماتها (خلال 30 ثانية)، فإن الأنظمة الأمنية بحاجة لأن تكون مستعدة لرصدها فوراً. لا يمكنك الانتظار حتى ينتهوا؛ عليك الإمساك بهم بينما هم فقط يتفحصون المكان.
أشار الباحث أيضاً إلى أن هذه كانت تجربة محكومة في مبنى وهمي. نحن لا نعرف ما إذا كانت هذه الروبوتات ستتصرف بنفس الطريقة في بيئة حقيقية، معقدة، أو غير معروفة. لكن بالنسبة لهذا الاختبار المحدد، كان الذكاء الاصطناعي متسقاً بشكل مفاجئ في رغبته في الهجوم، ولكنه كان غير متسق تماماً في كيفية القيام بذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.