Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs
تقدم هذه الورقة دراسة محاكاة متمايزة تُظهر أن نجاح النماذج اللغوية الكبيرة في الإصلاح الآلي للثغرات قد يكون مدفوعاً بحفظ بيانات التدريب بدلاً من الاستنتاج الحقيقي، حيث يؤدي تغيير موقع الخطأ في المطالبات إلى تدهور كبير في قدرتها على توليد الرقع البرمجية الصحيحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم طالب ذكي جداً، ولكنه مغرور قليلاً، كيفية إصلاح آلة معطلة. تظهر له الآلة، وتشير بدقة إلى الجزء المعطل، وتسأله: "هل يمكنك إصلاح هذا؟"
ينظر الطالب إلى الآلة، يفكر لثانية، ثم يسلمك إصلاحاً مثالياً. تهتف له فرحاً! ولكن بعد ذلك تبدأ في التساؤل: هل تعلم الطالب حقاً كيفية إصلاح الآلات، أم أنه اكتفى فقط بحفظ الإجابة لهذا السؤال المحدد من كتاب مدرسي قرأه من قبل؟
هذه الورقة البحثية هي "قصة تحقيق مشبوهة" حول النماذج اللغوية الكبيرة (LLMs) وقدرتها على إصلاح الثغرات الأمنية في الكمبيوتر. يشتبه المؤلفان، ماريا كامبوريسي وفابيو ماساتشي، في أن النتائج المذهلة التي رأيناها حتى الآن قد تكون خدعة. ويسميان هذه الخدع بـ "الأيدي الخفية".
إليك تفصيل لتحقيقاتهما باستخدام تشبيهات بسيطة:
الأيدي الثلاث "الخفية" (المشتبه بهم)
يعتقد المؤلفان أن هناك ثلاثة عوامل خفية تساعد هذه النماذج الذكية في الظهور بمظهر أذكى مما هي عليه في الواقع:
"الكتاب المدرسي المسرب" (تسريب البيانات):
تخيل أن الطالب يؤدي اختباراً، لكن الإجابات طُبعت بالخطأ على ظهر ورقة الاختبار، وقد درس الطالب تلك الورقة قبل الامتحان. في عالم الذكاء الاصطناعي، "الكتاب المدرسي" هو مجموعة البيانات التي تحتوي على الأخطاء والإصلاحات. إذا تم تدريب الذكاء الاصطناعي على نفس الأخطاء التي يُطلب منه إصلاحها الآن، فهو لا يقوم بـ "الإصلاح"؛ بل هو مجرد استرجاع لإجابة محفوظة."نظام تحديد المواقع المثالي" (التحديد المثالي للموقع):
عادةً، عندما نطلب من الذكاء الاصطناعي إصلاح خطأ ما، نخبره بالضبط بسطر الكود المعطل. الأمر يشبه إعطاء الطالب خريطة عليها علامة "X" حمراء ضخمة فوق الترس المعطل مباشرة. يشتبه المؤلفان في أنه إذا قمت بإزالة علامة الـ "X" أو نقلتها إلى ترس خاطئ، فقد يرتبك الطالب. إذا كان الذكاء الاصطناعي ذكياً حقاً، فيجب أن يجد الجزء المعطل حتى لو أشرت إلى الجزء الخطأ. إذا فشل، فهذا يعني أنه كان يتبع علامة الـ "X" فقط، ولم يفهم الآلة.خدعة "ملء الفراغات" (الإكمال مقابل الإصلاح):
أحياناً، تكون الطريقة التي نطلب بها من الذكاء الاصطناعي إصلاح الكود تشبه لعبة "أكمل الفراغ". نحن نحذف الجزء المعطل ونقول: "املأ الفراغ". ولأن نماذج الذكاء الاصطناعي بارعة في تخمين الكلمة التالية في الجملة، فقد يخمنون الإصلاح الصحيح لمجرد أن الكلمة هي الأكثر شيوعاً التي تناسب السياق، وليس لأنهم يفهمون المنطق.
التجربة: اختبار "إزاحة نظام تحديد المواقع"
لإثبات نظريتهما، وضع المؤلفان تجربة ذكية. لقد أخذا اختباراً قياسياً حيث تقوم نماذج الذكاء الاصطناعي بإصلاح الثغرات الأمنية وأضافا إليه تحولاً: لقد كذبا على الذكاء الاصطناعي عمداً.
- الإعداد: أخبرنا الذكاء الاصطناعي: "الخطأ موجود في السطر 10".
- التحول: في الواقع، أخبرنا الذكاء الاصطناعي أن الخطأ في السطر 12، أو السطر 14، أو السطر 8. لقد قمنا بإزاحة "موقع" الخطأ.
الفرضية:
- إذا كان الذكاء الاصطناعي "عبقرياً" (يعمم): يجب أن ينظر إلى الكود، ويدرك أن الخطأ موجود في مكان آخر، ويصلحه بشكل صحيح، بغض النظر عن المكان الذي أشرت إليه.
- إذا كان الذكاء الاصطناعي "غشاشاً" (يحفظ): فسوف يتجاهل إشارتك الخاطئة، وينظر إلى "بنك ذاكرته"، ثم يخرج الإجابة التي حفظها للمشكلة الأصلية. أو إذا كانت الإشارة بعيدة جداً، فقد يرتبك ويفشل تماماً.
يتوقع المؤلفان أنه إذا كان الذكاء الاصطناعي يحفظ فقط، فستكون النتائج هي نفسها سواء أشرت إلى المكان الصحيح أو إلى مكان يبعد 8 أسطر. الأمر يشبه طالباً يعرف أن الإجابة هي "42" وسيكتب "42" مهما كان السؤال الذي طُرح عليه، طالما أن السؤال يبدو مألوفاً نوعاً ما.
"الرأي الثاني" (المراجع)
أضاف المؤلفان أيضاً ذكاءً اصطناعياً ثانياً ليعمل كـ "مراجع". بعد أن يقوم الذكاء الاصطناعي الأول بإصلاح الكود، يقوم الذكاء الاصطناعي الثاني بفحصه.
- النظرية: إذا كان الذكاء الاصطناعي الأول يحفظ الإجابات فقط، فإن الذكاء الاصطناعي الثاني (الذي حفظ نفس الإجابات أيضاً) سيكون جيداً جداً في رصد الإصلاح المحفوظ "الصحيح" ورفض الإصلاحات الخاطئة.
- الاختبار: إذا أفسدنا التعليمات (تمت إزالة "اليد الخفية")، فمن المفترض أن يرتبك الذكاء الاصطناعي الثاني فجأة ويتوقف عن القدرة على التمييز بين الإصلاح الجيد والإصلاح السيئ.
ما الذي يفعلونه
إنهم يجرون هذا الاختبار على مجموعة بيانات من أكواد لغة "جافا" (Java) التي تحتوي على ثغرات أمنية. إنهم يقومون بـ:
- تحريك الهدف: إخبار الذكاء الاصطناعي أن الخطأ في مكان خاطئ.
- تغيير اللغة: إعادة تسمية المتغيرات حتى لا يتمكن الذكاء الاصطناعي من مطابقة الكلمات التي حفظها.
- فحص العمل: استخدام اختبارات آلية وخبراء بشريين لمعرفة ما إذا كان الإصلاح يعمل بالفعل.
الهدف
هم لا يحاولون القول بأن الذكاء الاصطناعي عديم الفائدة. هم يريدون معرفة: هل يتعلم الذكاء الاصطناعي حقاً كيفية إصلاح الثغرات الأمنية، أم أنه مجرد ببغاء يردد ما سمعه أثناء التدريب؟
إذا وجدوا أن تغيير "موقع الخطأ" لا يغير معدل نجاح الذكاء الاصطناعي، فهذا يثبت أن الذكاء الاصطناعي يغش عبر الحفظ. أما إذا انخفض معدل النجاح عند العبث بالتعليمات، فهذا يعني أن الذكاء الاصطناعي يحاول فعلياً فهم المشكلة.
باخت-صار: هذه الورقة البحثية هي "اختبار كشف الكذب" لإصلاح كود الذكاء الاصطناعي، وهي مصممة للفصل بين الذكاء الحقيقي وبين الحفظ المتقن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.