LLMs + Security = Trouble
تجادل الورقة البحثية بأن الاعتماد على الذكاء الاصطناي الاحتمالي للكشف عن الثغرات الأمنية في الكود المولد بواسطة الذكاء الاصطناي غير كافٍ، وبدلاً من ذلك، يجب دمج الأمن مباشرة في عملية التوليد — مثل فك التشفير المقيد في النماذج الشبيهة بالانتشار — لتوفير ضمانات أقوى "آمنة من حيث التصميم" دون إثقال كاهل المطورين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة: "محاربة النار بالنار"
تخيل أنك تبني ناطحة سحاب ضخمة وعالية التقنية. ولتسريع العمل، تقوم بتوظيف أسطول من الروبوتات البناءة (نماذج اللغات الكبيرة - LLMs) لصف الطوب وتركيب السباكة.
المشكلة؟ هذه الروبوتات سريعة للغاية، لكنها لا "تفهم" حقاً قوانين الفيزياء أو معايير السلامة. هي فقط تنظر إلى ملايين الصور للمباني وتحاول محاكاتها. ولأنها تعتمد فقط على التخمين بناءً على الأنماط، فإنها قد تترك عارضة هيكلية مرتخية أو تركب أنبوب غاز بجانب مخرج كهربائي بالخطأ.
حالياً، يتمثل حل الصناعة في توظيف روبوتات تفتيش (أدوات فحص ذكاء اصطناعي) لمراقبة عمل الروبوتات البناءة (أدوات توليد ذكاء اصطناعي).
يجادل الكاتب، بنجامين ليفشيتس، بأن هذا يشبه "محاربة النار بالنار". فإذا كان بناؤنا يرتكبون أخطاءً قائمة على الاحتمالات والتخمين، فإن المفتشين سيقعون في نفس نوع الأخطاء. ينتهي بك الأمر في "حلقة احتمالية" حيث يقوم كل من الباني والمفتش بالتخمين فقط، مما يترك المبنى عرضة لحدث "البجعة السودية" (Black Swan)—وهو فشل هيكلي نادر وكارثي لم يتوقعه أي من الروبوتين.
الحجج الثلاث الرئيسية
1. "الذيل الطويل" للخطر (إبرة في كومة قش)
في أي قاعدة برمجية ضخمة، معظم الأخطاء (Bugs) سهلة الاكتشاف. لكن الأخطاء الخطيرة—التي تُعرف بـ "الثغرات الصفرية" (Zero-days)—تشبه الشقوق المجهرية الصغيرة في الأساسات. وهي لا تظهر إلا في ظروف محددة وغريبة جداً (مثل حدوث زلزال ضخم في اللحظة ذاتها التي تمر فيها شاحنة ثقيلة بجانب المبنى).
بما أن مفتشي الذكاء الاصطناعي يعملون وفق "ميزانية" محددة (لا يمكنهم فحص سوى عدد معين من الأشياء في وقت معين)، فإنهم يميلون للتركيز على الأمور الواضحة. إنهم يغفلون عن "الذيل الطويل" للأخطاء النادرة والمعقدة. أما المخترق البشري، فهو مثل المحقق الصبور الذي قد يقضي شهوراً في البحث عن ذلك الشق المحدد. إذا كان المدافع يستخدم روبوتاً يعتمد على "التخمين"، فإن المهاجم سيجد الثغرة في النهاية.
2. فخ "برمجة الأجواء" (المعماري الكسول)
هناك توجه جديد يسمى "برمجة الأجواء" (Vibe Coding)، حيث يقوم المطورون بمجرد وصف ما يريدونه بلغة بسيطة ويتركون الذكاء الاصطناعي يقوم بالباقي. يبدو الأمر ساحراً—كأنك "تنسجم" مع الآلة.
تجادل الورقة البحثية بأنه إذا حاولنا إصلاح هذا باستخدام طرق "النماذج العصبية الرمزية" (Neurosymbolic)—وهي طريقة متطورة لدمج الذكاء الاصطناعي مع قواعد رياضية صارمة—فإننا نصطدم بمشكلة بشرية. هذه الطرق الصارمة تتطلب من الإنسان أن يعمل كعالم رياضيات دقيق، يدقق في كل خطوة منطقية. لكن معظم "مبرمجي الأجواء" يريدون فقط الضغط على زر "قبول الكل" والمضي قدماً. وهذا يجعل الإنسان هو الحلقة الأضعف؛ حيث يتحول إلى مجرد "ختم مطاطي" يعتمد كوداً لا يفهمه فعلياً، مما يؤدي فعلياً إلى تجاوز جميع ضوابط السلامة.
3. الحل: "الأمن من خلال البناء" (الطوبة مسبقة التشكيل)
بدلاً من بناء منزل ثم التحقق مما إذا كان آمناً، يقترح المؤلف تغيير طريقة صنع الطوب نفسه.
بدلاً من ترك الذكاء الاصطناعي "يرتجل" الكود ثم فحصه لاحقاً، يجب أن نستخدم "التشفير المقيد" (Constrained Decoding).
التشبيه:
تخيل أنك تعلم طفلاً الرسم.
- الطريقة القديمة (بعد وقوع الحدث): تتركه يرسم أي شيء، ثم تأخذ قلماً أحمر وتضع دوائر حول الأخطاء. (هذا بطيء وفوضوي).
- الطريقة الجديدة (المقيدة): تعطيه كتاب تلوين بحدود سوداء سميكة. يمكنه أن يكون مبدعاً في اختيار الألوان، لكنه مستحيل فيزيائياً أن يرسم خارج الخطوط.
يشير المؤلف تحديداً نحو "نماذج الانتشار" (Diffusion Models) (نفس التقنية المستخدمة لإنشاء صور الذكاء الاصطناعي مثل Midjourney). هذه النماذج لا تكتب الكود كلمة بكلمة فحسب، بل "تشكل" البرنامج بأكمله دفعة واحدة. وهذا يسم يسمح لنا بدمج قواعد الأمن مباشرة في "شكل" الكود. إذا كان من المفترض أن يحتوي جزء من الكود على قفل أمان، فإن النموذج يُمنع رياضياً من حتى "تخيل" نسخة من الكود لا تحتوي على ذلك القفل.
ملخص في إيجاز
لا ينبغي لنا أن نحاول بناء قوة شرطة "ذكية" للإمساك بمجرمي ذكاء اصطناعي "أغبياء". بدلاً من ذلك، نحتاج إلى بناء مصانع "ذكية" تجعل من المستحيل فيزيائياً على الذكاء الاصطناعي تصنيع جزء معيب من الأساس.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.