The Next Challenge for Agentic Cybersecurity: A Realistic, Contamination-Free Reverse Engineering Benchmark
تقدم هذه الورقة البحثية SRE-Bench، وهو أول معيار مرجعي واقعي وخالٍ من التلوث لتقييم قدرات الهندسة العكسية الوكيلية على الكود الثنائي، والذي يكشف أن حتى أقوى النماذج اللغوية الكبيرة الرائدة تعاني لمواكبة الأداء البشري بسبب التحديات الفريدة المتمثلة في تحليل الثنائيات غير المرئية والمحمية.
المؤلفون الأصليون:Jeremy Spence, Nicholas Assaderaghi, Jinhao Zhu, Nikil Ravi, Raluca Ada Popa, Guannan Wei, Yangruibo Ding, Zhuo Zhang
تخيل أنك محقق يحاول حل لغز ما. عادةً، عندما تحقق في جريمة، تتاح لك الفرصة لقراءة مذكرات المشتبه به، وملاحظاته المكتوبة بخط اليد، ورسائله الإلكترونية. هذا يشبه النظر إلى الشيفرة المصدرية (Source Code): وهي التعليمات الأصلية المكتوبة بلغة بشرية تخبر الحاسوب بما يجب فعله. ولكن في عالم الأمن السيبراني الحقيقي، لا يترك الأشرار مذكراتهم مكشوفة للعيان؛ بل يسلمونك صندوقاً مغلقاً ومختوماً دون أي تعليمات على خارجه. هذا هو الملف الثنائي (Binary): وهو ملف مكون من بايتات حاسوبية خام تبدو كأنها طلاسم بالنسبة للبشر. ولكي تفهم ما بداخل هذا الصندوق، عليك القيام بعملية الهندسة العكسية (Reverse Engineering) — أي تفكيك الصندوق قطعة قطعة، لتخمين كيفية عمل القفل وما هي المحتويات.
الآن، تخيل أننا صنعنا محققين أذكياء للغاية يعتمدون على الذكاء الاصطناعي (يُطلق عليهم اسم وكلاء الذكاء الاصطناعي - AI Agents)، وهم بارعون في قراءة تلك المذكرات؛ حيث يمكنهم رصد الأكاذيب وإيجاد الأدلة في النصوص بسرعة تفوق البشر. ولكن هل يستطيع هؤلاء المحققون الرقميون كسر الصناديق المغلقة؟ هذا هو السؤال الجوهري. إذا كان بإمكان الذكاء الاصطناعي قراءة المذكرات فقط ولكنه لا يستطيع فتح الصندوق، فهو ليس بطلاً حقيقياً في الأمن السيبراني. نحن بحاجة لمعرفة ما إذا كان بإمكان هؤلاء المحققين الرقميين القيام بالعمل الشاق المتمثل في الهندسة العكسية، أم أنهم يعتمدون فقط على الأنماط التي رأوها في البيانات التي تدربوا عليها.
تقدم هذه الورقة البحثية اختباراً جديداً كلياً وشديد الصعوبة يسمى SRE-Bench لمعرفة ذلك. قام الباحثون ببناء 19 برنامجاً جديداً وسرياً بالكامل من الصفر — كأنهم يصنعون 19 لعبة فيديو معقدة أو نظاماً أمنياً فريداً لم يسبق لأي ذكاء اصطناعي رؤيته من قبل. ثم قاموا بتأمين هذه البرامج باستخدام 44 نوعاً مختلفاً من الحراس الأمنيين عالي التقنية (تقنيات التمويه - Obfuscation) لجعل كسرها أمراً في غاية الصعوبة. لقد اختبروا خمسة من أذكى نماذج الذكاء الاصطناعي في العالم ضد هذه الصناديق المغلقة، بما في ذلك نسخ مستقبلية مثل GPT-5.6-sol و Claude-Opus-5 من تقييم عام 2026.
كانت النتائج بمثابة جرس إنذار. فحتى أقوى ذكاء اصطناعي في هذه الدراسة، وهو GPT-5.6-sol، تمكن من حل حوالي 31.5% فقط من الحالات بشكل كامل (حيث حقق درجة مثالية في 80 حالة من أصل 262 حالة). أما النماذج الأخرى فكان أداؤها أسوأ بكول، حيث فشلت بعضها في حل حالة واحدة. وجدت الدراسة أن وكلاء الذكاء الاصطناعي يتصرفون بشكل مختلف تماماً عن الخبراء البشر؛ فبينما يعاني البشر مع أمور مثل "تحسين الكود" (Code Optimization) — الذي يجعل الكود فعالاً ولكنه غير منظم — لم تلاحظ نماذج الذكاء الاصطناعي تلك العقبات تقريباً. بدلاً من ذلك، اعتمد الذكاء الاصطناعي بشكل كبير على رؤية الأسماء والتسميات داخل الكود؛ وعندما قام الباحثون بإزالة تلك الأسماء، انهار أداء الذكاء الاصطناعي. والأهم من ذلك، تثبت الدراسة أن كون النموذج بارعاً في قراءة الشيفرة المصدرية لا يعني بالضرورة أنه بارع في كسر الملفات الثنائية. يظل "الصندوق المغلق" تحدياً ضخماً وغير محلول، ويعد SRE-Bench أول اختبار واقعي وعادل لقياس مدى قربنا من حل هذه المعضلة.
ملخص تقني: SRE-Bench
بيان المشكلة
بينما تتقدم الوكلاء البرمجية (AI agents) بسرعة في المهام السيبرانية المتعلقة بالشيفرة المصدرية، لا تزال هناك فجوة حرجة في قدرتها على تحليل البرمجيات الموزعة حصريًا كملفات ثنائية (binaries). وهذا هو الواقع للأهداف الدفاعية عالية القيمة (البرمجيات المؤسسية المملوكة، والبرامج الثابتة/firmware) والتهديدات الهجومية (البرمجيات الخبيثة المموّهة)، حيث لا تتوفر الشيفرة المصدرية. يتطلب تحليل هذه الملفات الثنائية عملية الهندسة العكسية (RE): وهي استعادة دلالات البرنامج عالية المستوى من تمثيلات بايتات غامضة.
تعاني المعايير الحالية لتقييم الهندسة العكسية الوكيلية من عيبين جوهريين يمنعانها من قياس القدرة الحقيقية بدقة:
تلوث البيانات (Data Contamination): تعتمد العديد من المعايير على شيفرات مصدرية عامة أو تحديات CTF. إذا كان النموذج قد اطلع على الهدف أثناء مرحلة التدريب المسبق، فيمكنه تجاوز التحليل الفعلي عبر التعرف على غرض البرنامج، مما يؤدي إلى تضخيم مقاييس الأداء. في الهندسة العكسية، حتى المعرفة السطلية بهدف البرنامج تعتبر ضارة لأنها توفر توجيهًا من الأعلى إلى الأسفل يختصر عملية الاستعادة.
الافتقار إلى النطاق الواقعي والحماية: غالبًا ما تستخدم المعايير الحالية برامج "لعب" (toy programs) أو تحديات من نوع CTF تفتقر إلى تعقيد البرمجيات الواقعية (آلاف الأسطر من الكود) وإجراءات الحماية المتطورة ضد التحليل (التمويه، التغليف، ومكافحة التصحيح) الموجودة في الواقع.
وبناءً على ذلك، لا يوجد اختبار صارم لتحديد ما إذا كانت قدرات أمن الشيفرة المصدرية القوية تنتقل إلى تحليل الملفات الثنائية.
المنهجية: بناء SRE-Bench
لمعالجة هذه الفجوات، قدم المؤلفون SRE-Bench، وهو أول معيار للهندسة العكسية واقعي وخالٍ من التلوث. تعطي منهجية البناء الأولوية للتطوير في "غرفة نظيفة" والتعقيد الواقعي على حساب السهولة.
1. التطوير في غرفة نظيفة (Clean-Room Development)
صفر تلوث: تم تطوير جميع البرامج الـ 19 المستهدفة، والبنية التحتية للتقييم، وحزمة الحماية من الصفر بواسطة خبراء هندسة عكسية بمتوسط خبرة ست سنوات. لم يتم اشتقاق أي كود من مشاريع عامة.
المواصفات الخاصة: تم تنفيذ كل برنامج بناءً على مواصفات تصميم خاصة لم تُنشر أبدًا.
التدقيق العدائي: استخدم المؤلفون عمليات تدقيق "التحايل على المكافأة" (reward-hacking) المتكررة، حيث وضعوا الوكلاء في مواجهة نماذج قيد التطوير لتحديد ومعالجة الاختصارات (مثل النصوص المقروءة التي تكشف سلوكيات مخفية) التي تسمح بالحصول على الدرجة دون إجراء هندسة عكسية حقيقية.
2. النطاق والمجالات الواقعية
النطاق: يتكون المعيار من 19 برنامجًا يبلغ متوسط عدد أسطر الكود فيها 16,915.8 سطرًا (LoC)، بإجمالي يتجاوز 320 ألف سطر. وهذا أكبر بمقدار 30 إلى 470 ضعفًا من معايير الهندسة العكسية السابقة.
المجالات: تغطي البرامج خمسة مجالات هندسة عكسية ممثلة تم تحديدها من نقاشات الصناعة:
بروتوكولات الشبكة: مجموعات (stacks) عميل-خادم مشفرة مملوكة تتطلب إعادة بناء آلة الحالة (state machine). understood
الألعاب: لعبة roguelike طرفية مكونة من 20 طابقًا مع سلوكيات "بيض عيد الفصح" (Easter egg) مخفية يتم تحفيزها بواسطة منطق معين.
تنسيقات الملفات: ضاغط/مشفر ملفات مخصص يتطلب من الوكيل هندسة مسار متعدد المراحل لفك تشفير الأرشيفات.
البرمجيات الخبيثة: زرع (implant) لينكس اصطناعي وآمن يحاكي ست عائلات من البرمجيات الخبيثة (مثل برامج الفدية، وC2) حيث تتمثل المهمة في التنظيف الدفاعي.
البرامج الثابتة (Firmware): برنامج ثابت "bare-metal" لمتحكم دقيق خيالي يتطلب التحكم من خلال محاكي يشبه JTAG.
3. حزمة حماية ضد التحليل
لمحاكاة الدفاعات الواقعية، بنى المؤلفون حزمة حماية مخصصة (27 ألف سطر كود) تضم 44 عنصرًا أوليًا متميزًا عبر تسع عائلات. ومن الجدير بالذكر أن أكثر من نصف هذه العناصر ليس لها تطبيقات عامة. تشمل الميزات الرئيسية ما يلي:
التشفير الموثق لكل صفحة: يتم تشفير الصفحات بمفاتيح مشتقة من سياق التنفيذ، مما يمنع استخراج تفريغ الذاكرة (memory dumps).
فك التشفير عند الطلب: يتم فك تشفير الكود صفحة بصفحة فقط عند التنفيذ، مما يقلل من بقاء النص الصريح في الذاكرة.
مكافحة التصحيح المرتبطة بالقياس: يتم إفساد مفاتيح فك التشفيد إذا تم اكتشاف إشارات تصحيح (مثل ptrace أو نقاط التوقف/breakpoints).
افتراضية المحمل (Loader Virtualization): يتم تنفيذ منطق التحميل الحرج في بيئة افتراضية (VM) مخصصة ذات رموز تشغيل (opcodes) مموهة.
مكافحة إعادة الاستضافة (Anti-Re-hosting): تمنع المهاجمين من استخراج روتين فك التشفير لتشغيله في عملية منفصلة.
4. مسار التقييم
النماذج (Instances): تم تجميع البرامج الـ 19 في 262 نموذجًا ثنائيًا (تتفاوت حسب التحسين، حذف الرموز، الربط، وإعدادات الحماية).
المهام: يحدد كل نموذج 6 مهام ذات تقييم حتمي (مثل استعادة مصافحة البروتوكول، أو تحفيز سلوك مخفي في اللعبة)، مما ينتج عنه 1,572 مهمة إجمالية.
النماذج (Models): تم تقييم خمسة نماذج لغوية كبيرة رائدة (GPT-5.6-sol, Claude-Opus-5, GPT-5.5, Grok-4.5, GLM-5.2) باستخدام إطار عمل موحد مع مجموعة أدوات تعتمد على bash وأدوات هندسة عكسية قياسية (Ghidra, radare2، إلخ). بلغت التكلفة الإجمالية للتقييم 31.4 ألف دولار.
النتائج الرئيسية
يكشف التقييم أن الهندسة العكسية الوكيلية لا تزال غير محلولة إلى حد كبير، حتى بالنسبة لأكثر النماذج تقدمًا.
سقف الأداء: حقق أقوى نموذج، GPT-5.6-sol، متوسط درجات 3.69/6 (61.4% من الدرجة القصوى الممكنة) وحل بالكامل 31.5% فقط من النماذج. أما أضعف نموذج (GLM-5.2) فقد حل 0% من النماذج بالكامل.
تأثير الحماية: كانت حزمة الحماية الداخلية هي العائق الرئيسي؛ حيث قللت أداء GPT-5.6-sol إلى النصف (من 4.69 إلى 2.50) ودفعت جميع النماذج الأخرى إلى أداء يقترب من الصفر.
التباين مع المحللين البشر:
التحسين والربط (Optimization & Linking): على عكس المحللين البشر الذين يعانون مع تحسينات المترجم (compiler optimizations) والربط الساكن (static linking)، فإن الوكلاء الحاليين لا يتأثرون نسبيًا بهذه العوامل.
حذف الرموز (Symbol Stripping): يعتمد الوكلاء بشكل كبير على المرتكزات اللفظية (أسماء الدوال/المتغيرات). تسبب حذف الرموز في انخفاض كبير في الأداء (على سبيل المثال، انخفض GPT-5.6-sol بمقدار 0.48 نقطة)، مما يشير إلى أن الوكلاء يعطون الأولوية للتسميات على حساب الاستنتاج على مستوى التعليمات البرمجية.
التلوث مقابل النطاق: أكدت دراسات الاستبعاد (Ablation studies) أن كلا العاملين ضروريان:
تم حل برنامج بسيط (toy program) تم تطويره في غرفة نظيفة بسهما من قبل جميع النماذج.
تم حل برنامج مشتق من مشروع عام (حتى مع التعديلات) بسهولة من قبل جميع النماذج.
فقط الجمع بين المنشأ الخاص والنطاق الواقعي خلق فجوة الصعوبة التي ميزت بين النماذج.
الأهمية والادعاءات
يزعم البحث أن SRE-Bench يضع معيارًا جديدًا لتقييم الأمن الوكيلي من خلال إثبات ما يلي:
القدرة على التعامل مع الشيفرة المصدرية لا تنتقل إلى تحليل الملفات الثنائية: الأداء القوي في معايير الشيفرة المصدرية لا يضمن الكفاءة في الهندسة العكسية للملفات الثنائية.
التحكم في التلوث أمر غير قابل للتفاوض: يجب أن تمنع المعايير بصرامة النماذج من التعرف على الأهداف؛ وإلا فإن المقاييس ستعكس استرجاع الذاكرة بدلاً من التحليل.
النطاق أمر جوهري: التعقيد الواقعي (آلاف أسطر الكود) هو شرط مسبق للتقييم ذي المعنى؛ فبرامج الـ "toy" تفشل في التنبؤ بالأداء على الأهداف الحقيقية.
الوكلاء الحاليون هشّون: بينما يمكن للوكلاء التعامل مع بعض التحليلات الهيكلية، إلا أنهم يفشلون بشكل كبير عند مواجهة حماية متطورة ضد التحليل ويفتقرون إلى الاستنتاج القوي على مستوى التعليمات البرمجية المطلوب للملفات الثنائية المموهة بالكامل.
يعمل SRE-Bench كاختبار صارم وخالٍ من التلوث لقياس التقدم في هذا المجال الحرج، مسلطًا الضوء على أن الفجوة بين فهم الشيفرة المصدرية وتحليل الملفات الثنائية لا تزال تشكل تحديًا كبيرًا للمجال.