Benchmarking Large Language Models for IoC Recovery under Adversarial Code Obfuscation and Encryption
تقدم هذه الورقة معياراً ومنهجيةً ونظاماً من مجموعة بيانات تضم 336 برنامج جافا سكريبت (JavaScript) مُعمّاة ومُشفرة لتقييم قدرة النماذج اللغوية الكبيرة على استعادة مؤشرات الاختراق، مما يكشف أنه بينما تتعامل هذه النماذج بفعالية مع التحويلات خفيفة الوزن مثل إعادة تسمية المتغيرات وتشفير Base64، فإن أداءها في الكشف يتدهور بشدة أمام أساليب التستر التشفيري مثل XOR وAES-256.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق رقمي تحاول العثور على دليل مخفي (مثل عنوان IP محدد) داخل قطعة من الكود البرمجي. عادةً ما يكون هذا سهلاً، حيث يكون الدليل مكتوباً بوضوح، مثل اسم مكتوب على ورقة. ولكن ماذا لو قام الأشرار بإخفاء ذلك الدليل؟ قد يكتبونه بشفرة سرية، أو يبعثرون الحروف، أو يغلقونه داخل خزنة.
هذه الورقة هي بمثابة "تقرير درجات" لنماذج اللغة الكبيرة (LLMs) — وهي برامج الدردشة الآلية الذكية التي نستخدمها اليوم — حول مدى جودة قدرتها على العمل كمحققين عندما تكون الأدلة مخفية.
إليك تفاصيل تحقيقهم:
الإعداد: لعبة "الاستغماية" (الغميضة)
قام الباحثون بإنشاء لعبة ضخمة من لعبة "الاستغماية".
- اللاعبون: اختبروا خمسة نماذج ذكاء اصطناعي شهيرة (مثل ChatGPT وGemini وClaude وGrok وCohere).
- الدليل: "مؤشر اختراق" (IoC) وهمي، وهو مجرد مصطلح معقد لعنوان IP مشبوه (مثل رقم هاتف لشخص سيء).
- أماكن الاختباء: أخذوا 336 قطعة من الكود البرمجي وأخفوا الدليل داخلها باستخدام 12 مستوى مختلفاً من الصعوبة.
- المستوى 1-4 (أماكن الاختباء السهلة): قاموا فقط بإعادة تسمية المتغيرات (تسمية "IP_Address" بشيء مثل "x99")، أو إضافة كود غير ضروري لإرباك العين، أو استخدام ترميزات بسيطة مثل Base64 (والذي يشبه كتابة رسالة بلغة سرية يمكن لأي شخص فك تشفيرها بسهولة).
- المستوى 5-6 (أماكن الاختباء الصعبة): قاموا بقفل الدليل داخل خزنة تشفيرية. استخدموا تشفيراً قوياً (XOR وAES-256). والأهم من ذلك، أنهم تركوا المفتاح الخاص بالخزنة هناك في الكود تماماً كما قد يفعل مخترق حقيقي.
- المستوى 7-12 (أماكن الاختباء الكابوسية): قاموا بدمج الخزنة المقفلة مع كل عمليات إعادة التسمية المربكة والكود غير الضروري.
النتائج: تأثير "مفتاح الضوء"
كانت النتائج مفاجئة وواضحة جداً. لم يروا تراجعاً تدريجياً في الأداء؛ بل رأوا مفتاح ضوء.
1. أماكن الاختباء "السهلة" (المستويات 1-4):
عندما كان الدليل مجرد حروف مبعثرة أو معاد تسميتها، كان المحققون من الذكاء الاصطناعي مذهلين.
- وجدت معظم النماذ الدليل بنسبة 100% من الوقت.
- كانوا مثل الأطفال الذين يلعبون الغميضة ويمكنهم بسهولة رؤية حذاء يبرز من خلف الستارة. لقد تعرفوا على الأنماط حتى عندما تغيرت الكلمات.
2. أماكن الاختباء "الصعبة" (المستويات 5-12):
في اللحظة التي استخدم فيها الباحثون التشفير (الخزنة)، انهار أداء الذكاء الاصطناعي.
- على الرغم من أن المفتاح كان موجوداً هناك مباشرة في الكود، إلا أن نماذج الذكاء الاصطناعي لم تستطع فتح الخزنة.
- انتقلوا من العثيد على الدليل بنسبة 100% من الوقت إلى العثور عليه بنسبة تقترب من 0% من الوقت.
- التشبيه: تخيل أن لديك صندوقاً مغلقاً، والمفتاح ملصق خارج الصندوق. المحقق البشري سينظر إلى المفتاح، ويضعه في القفل، ويفتح الصندوق. أما الذكاء الاصطناعي، فقد نظر إلى الصندوق والمفتاح، ولكن بدلاً من محاولة فتح القفل، قال ببساطة: "لا أستطيع رؤية ما بداخل الصندوق"، أو خمن رقماً عشوائياً.
مشكلة "التخمين"
عندما تعذر على الذكاء الاصطناعي العثور على الدليل، بدأ بعضهم في الهلوسة (اختلاق أشياء من الخيال).
- أحد النماذج (Gemini) اخترع عناوين IP وهمية بنسبة 5% من الوقت تقريباً.
- النمط: عندما كان الذكاء الاصطناعي يعلق، لم يكن يكتفي بالقول "لا أعرف". بل كان غالباً يخمن عنواناً خاصاً شائعاً جداً (مثل
192.168.17.101). - التشبيه: إنه مثل طالب في امتحان لا يعرف الإجابة. بدلاً من ترك السؤال فارغاً، يكتب "الإجابة هي على الأرجح 42" لأن هذا الرقم ظهر كثيراً في اختبارات أخرى. كان الذكاء الاصطناعي يخمن فقط بناءً على ما رآه من قبل، وليس عبر حل اللغز فعلياً.
الخلاصة الكبرى
تختتم الورقة بحقيقة بسيطة:
- الذكاء الاصطناعي بارع في قراءة الخط اليدوي الفوضوي. إذا كان الكود مجرد حروف مبعثرة أو معاد تسميتها، يمكن للذكاء الاصطناعي فهمه.
- الذكاء الاصطناعي سيء جداً في كسر الخزنات. إذا كان الكود مشفراً، يصطدم الذكاء الاصطناعي بحائط مسدود. ليس لديه القدرة على "التفكير" في رياضيات التشفير، حتى لو كان المفتاح أمامه مباشرة.
باختاً: أدوات الذكاء الاصطناعي هذه ممتازة في العثات على الأدلة المخفية في وضح النهار، لكنها حالياً عديمة الفائدة ضد الكود الذي تم إغلاقه بتشفير قوي. لا يمكنها "فتح" الغموض؛ بل يمكنها فقط قراءة ما هو مرئي بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.