Beyond F1: A Study of LLM Reliability in Smart Contract Vulnerability Detection
تقيم هذه الدراسة 14 نموذجاً من النماذج اللغوية الكبيرة في مجال اكتشاف ثغرات العقود الذكية، كاشفةً أن اختيار النموذج أكثر أهمية من استراتيجيات صياغة الأوامر أو زيادة الحوسبة أثناء وقت الاستدلال، حيث تُظهر النماذج الرائدة الأكبر حجماً موثوقية فائقة بينما يمكن للنماذج الأصغر وتقنيات الاستدلال الممتدة أن تؤدي إلى تدهور الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التمويل اللامركزي الرقمي، تتحرك الأموال عبر برامج ذاتية التنفيذ تُسمى العقود الذكية. هذه العقود تشبه آلات البيع الذاتي الرقمية التي توزع الأصول تلقائياً عند استيفاء شروط محددة، وتعمل دون الحاجة إلى مديرين بشريين أو بنوك. ولأن هذه البرامج تعمل على تقنية "البلوكشين"، فإنها بمجرد نشرها تصبح دائمة فعلياً؛ فإذا اكتُشف خلل بعد بناء الآلة، يكون من المستحيل غالباً إصلاحه. هذا الثبات يجعل الأمن أمراً بالغ الأهمية، حيث يمكن حتى لخطأ ضئيل أن يؤدي إلى خسارة مليارات الدولارات. لسنوات، اعتمد الباحثون على أدوات مؤتمتة لفحص هذه العقود بحثاً عن الأخطاء، لكن هذه الأدوات غالباً ما تجد صعوبة في فهم سياق الكود، مما يؤدي تكراراً إلى إطلاق إنذارات كاذبة أو تفويت مخاطر خفية. ومؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يُعرف باسم "النماذج اللغوية الكبيرة"، وهي قادرة على قراءة وفهم الكود تماماً مثل المبرمج البشري. وقد أثار هذا سؤالاً مفعماً بالأمل: هل يمكن لهذه الأنظمة الذكية أن تحل محل أو تحسن من عمليات الفحص الأمني التقليدية للعثور على الثغرات قبل أن تسبب ضرراً؟
لقد وضعت دراسة حديثة هذا السؤال قيد الاختبار من خلال وضع أربعة عشر نموذجاً مختلفاً من نماذج الذكاء الاصطناعي تحت الاختبار. قام الباحثون بجمع أربعة وخمسين عقداً ذكياً من الواقع، تضمنت بعضها عيوباً أمنية معروفة وأخرى سليمة تماماً، لمعرفة مدى قدرة النماذج على التمييز بينهما. لم يكتفوا بمجرد سؤال النماذج عن الكود؛ بل جربوا أربع طرق مختلفة لطرح الأسئلة، تتراوح من سؤال مباشر بسيط إلى تعليمات معقدة وخطوة بخطوة تجبر النماذج على التفكير في تحليلها. كما اختبروا ما إذا كان منح النماذج مزيداً من الوقت لـ "التفكير" أثناء العملية سيحسن من نتائجها، وهي ميزة توفرها بعض النماذج الحديثة للتفكير بعمق في المشكلات. كان الهدف هو تحديد ما إذا كانت هذه الأدوات القوية قادرة على العثور على الأخطاء البرمجية بشكل موثوق دون اتهام الكود السليم بأنه خطير.
كشفت النتائج عن انقسام حاد في الأداء يتحدى بعض الافتراضات الشائعة حول كيفية عمل هذه النماذج. وجدت الدراسة أن مجرد منح النموذج مزيداً من الوقت للتفكير أو مطالبته باتباع عملية استنتاج مفصلة لا يجعلها دائماً أفضل. في الواقع، بالنسبة لأحد النماذج الأعلى أداءً، أدى تفعيل وضع التفكير الإضافي هذا إلى جعل أدائه أسوأ، مما تسبب في تفويت ثغرات حقيقية وخفض دقته الإجمالية. يشير هذا إلى أن الجهد الحسابي الإضافي لا يترجم تلقائياً إلى تحليل أمني أفضل. بدلاً من ذلك، كان العامل الأهم هو ببساطة اختيار النموذج نفسه. فقد أثبتت النماذج الأفضل، وهي النماذج الكبيرة والمطورة تجارياً، أنها موثوقة للغاية، حيث حددت الثغرات بشكل صحيح ونادراً ما ارتكبت أخطاءً بشأن الكود السليم.
وفي تباين صارخ، تصرفت النماذج الأصغر والأكثر انفتاحاً (open-source) التي اختبرتها الدراسة بشكل مختلف تماماً. فبينما كانت هذه النماذج الصغيرة ممتازة في رصد المشكلات المحتملة، إلا أنها عانت من خلل جوهري: وهو عدم قدرتها على التمييز بين العقد الضعيف والعقد السليم. لقد وصمت كل عقد نظيف بأنه خطير، وكأنها تصرخ "ذئب!" عند كل منعطف. وقد صاغ الباحثون مصطلحاً محدداً لهذا الميل نحو "هلوسة" التهديدات حيث لا توجد، وأطلقوا عليه اسم "معدل الباسيلسك" (Basilisk Rate). إن النموذج الذي يمتلك معدلاً عالياً من هذا النوع يعد عديم الفائدة للأمن لأنه سيغرق المهندسين بالإنذارات الكاذبة. وأظهرت الدراسة أن أفضل ستة نماذج أداءً سجلت سجلاً مثالياً في عدم وسم الكود النظيف أبداً، بينما وصفت أصغر ثلاثة نماذج كل عقد نظيف بأنه معرض للاختراق.
كما سلط التحقيق الضوء على عتبة محددة في حجم هذه النماذج يبدو أنها تحدد مدى موثوقيتها. فالنماذج التي قدمت أداءً جيداً كانت تمتلك عموماً عدداً أكبر من المعلمات الداخلية (parameters)، والتي يمكن اعتبارها بمثابة تعقيد لقاعدة معرفتها الداخلية. وتشير الدراسة إلى وجود نقطة تحول حول حجم معين، حيث تميل النماذج التي تقل عن تلك العتبة إلى الهلوسة باستمرار، بينما تصبح النماذج التي تفوقها حجماً دقيقة وجديرة بالثقة. ومن المثير للاهتمام أن أحد النماذج الكبيرة مفتوحة المصدر نجح في سد هذه الفجوة، حيث قدم أداءً يقارب النماذج التجارية الأعلى أداءً، لكن النماذج الأصغر ظلت غير موثوقة.
في الختام، تخلص الدراسة إلى أنه بالنسبة للمهمة المحددة المتمثلة في العثور على الثغرات الأمنية في العقود الذكية، فإن اختيار نموذج الذكاء الاصطناعي يهم أكثر بكثير من طريقة توجيهه أو مقدار الوقت الممنوح له للتفكير. وبينما تظهر هذه الأدوات المتقدمة وعوداً كبيرة، إلا أنها ليست حلاً سحرياً يعمل بنفس الطريقة مع كل نظام. إن النهج الأكثر فعالية يتمثل في اختيار نموذج ثبتت دقته وتجنب تلك التي تميل إلى رؤية مشكلات لا وجود لها. وبالنسبة لمستقبل التمويل الرقمي، يعني هذا أن فرق الأمن يجب أن تفحص بعناية أدوات الذكاء الاصطناعي التي تستخدمها، لضمان اعتمادها على أنظمة يمكنها التمييز بين التهديد الحقيقي وقطعة الكود غير الضارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.