Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

تخيل أنك تحاول قراءة رسالة سرية مكتوبة بلغة تم تشفيرها، وتجريدها من علامات الترقيم، ومسح جميع أسماء الأشخاص المعنيين بها. هذا هو ما يحدث عندما يحاول خبراء الأمن فهم برامج الكمبيوتر التي تم تجميعها في شكل "ثنائي" (binary code) — وهي التعليمات الخام القابلة للقراءة بواسطة الآلة والتي تعمل على هاتفك أو حاسوبك المحمول. عادةً ما تأتي هذه البرامج مع دليل "كود مصدري" (source code) مفيد، ولكن عندما يحاول المخترقون أو مؤلفو البرمجيات الخبيثة إخفاء آثارهم، يختفي ذلك الدليل. يضطر الخبراء إلى استخدام أدوات خاصة لترجمة هذا الكود الثنائي المشفر إلى شيء يشبه الكود البرمجي، لكنه غالباً ما يظهر كخليط فوضوي ومربك من الأرقام والأسماء العامة مثل "sub_401B20". ولجعل هذا الأمر منطقياً، يحتاجون إلى إعادة كتابته في شكل قصة سهلة الفهم للبشر، وهي عملية تسمى "الهندسة العكسية للثنائي الموجهة للإنسان" (Human-Oriented Binary Reverse Engineering). ولكن الجزء الصعب هنا هو: كيف تعرف ما إذا كانت القصة الجديدة المنقحة جيدة حقاً؟ لا يمكنك ببساطة أن تطلب من الكمبيوتر عدّ الكلمات التي تطابق إجابة مثالية، لأن الإجابة المثالية غير موجودة (الدليل الأصلي قد اختفى). وسؤال خبير بشري لقراءة كل سطر هو أمر بطيء للغاية، ومكلف، وهم يصابون بالتعب. لذا، السؤال الكبير هو: هل يمكننا تعليم ذكاء اصطناعي فائق الذكاء ليعمل كحكم ويخبرنا ما إذا كانت الترجمة جيدة، دون الحاجة إلى الدليل الأصلي لمقارنته به؟

يتعمق هذا البحث في هذا السؤال تحديداً، مستكشفاً ما إذا كانت النماذج اللغوية الكبيرة (LLMs) — وهي نفس نوع الذكاء الاصطناعي الذي يمكنه كتابة القصائد أو حل المسائل الرياضية — يمكن أن تكون هي "الحكام" لهذه الترجمات البرمجية الفوضوية. وجد الباحثون أن حكام الذكاء الاصطنا هذه بالفعل أفضل بكثير في فهم معنى الكود مقارنة بالمقاييس التقليدية القديمة، التي تبحث فقط عن تطابق الكلمات. في الواقع، اتفق حكام الذكاء الاصطناعي مع الخبراء البشر بنسبة 63.20% من الوقت، بينما اتفقت الطرق الحاسوبية القديمة بنسبة 35.04% فقط. ومع ذلك، اكتشف البحث أيضاً التواءً مفاجئاً: لا يوجد إعداد واحد "أفضل" للذكاء الاصطناعي يعمل في كل المواقف. فأحياناً، يعمل نموذج ذكاء اصطناعي محدد مع طريقة معينة لطرح الأسئلة بشكل رائع في تسمية الدوال (functions)، ولكنه يفشل فشلاً ذريعاً في تلخيص الكود. الأمر يشبه محاولة استخدام زوج واحد من الأحذية للجري، والسباحة، والمشي لمسافات طويلة؛ أنت بحاجة إلى المعدات المناسبة لكل مهمة.

ولحل هذه المشكلة، بنى المؤلفون نظاماً ذكياً يسمى "BinJudge". فكر فيه كمنظم حركة مرور ذكي ينظر إلى كل قطعة كود محددة ويختار فوراً حكم الذكاء الاصطناعي المثالي وأفضل طريقة لطرح السؤال عليه. هذا النظام لا يكتفي باختيار "أفضل" حكم للجميع؛ بل يتكيف آنياً. ومن خلال القيام بذلك، تمكن BinJudge من الاقتراب أكثر من الخبراء البشر (محققاً تحسناً في الاتفاق بنسبة تصل إلى 24.7%)، مع توفير كمية هائلة من المال — حيث كلف فقط جزءاً ضئيلاً (بين 0.06 و 0.84 من التكلفة) مما سيكلفه استخدام الإعداد الثابت الأكثر تكلفة. يثبت البحث أنه بينما لا يمكننا مجرد اختيار زر سحري واحد لإصلاح كل شيء، يمكننا بناء نظام مرن وذكي يجعل تقييم هذه الترجمات البرمجية المعقدة سريعاً، ورخيصاً، ودقيقاً بشكل مذهل.

الخلفية: فك تشفير الرسالة المشفرة

قبل أن نصل إلى الحدث الرئيسي، دعونا نمهد الطريق ببعض الأفكية الرئيسية.

الهندسة العكسية للثنائي (Binary Reverse Engineering) تشبه محاولة إعادة بناء كعكة بعد خبزها، وتسطيحها، وكشط كل الزينة عنها. لديك المنتج النهائي (الملف الثنائي)، ولكن ليس لديك الوصفة (الكود المصدري). يستخدم الخبراء أدوات لعكس العملية، وتحويل كود الآلة مرة أخرى إلى شيء يشبه الكود البرمجي. ومع ذلك، ولأن "الوصفة" الأصلية قد فُقدت، فإن النتيجة غالباً ما تكون فوضوية.

الهندسة العكسية للثنائي الموجهة للإنسان (HOBRE) هي الخطوة التالية. إنها فن أخذ ذلك الكود الفوضوي الشبيه بالآلة وصقله ليكون قابلاً للقراءة من قبل البشر. يتضمن ذلك إعطاء الدوال أسماءً وصفية رائعة (بدلاً من "sub_401B20")، وكتابة ملخصات واضحة لما يفعله الكود، وإصلاح الهيكل ليبدو كقصة مكتوبة جيداً.

مشكلة التقييم: كيف تعرف ما إذا كان "الصقل" قد نجح؟

• الطريقة القديمة (مطابقة النصوص): تخيل تصحيح مقال طالب من خلال عد الكلمات التي تطابق نموذج الإجابة الخاص بالمعلم. إذا قال الطالب "القط ركض بسرعة" وكان النموذج يقول "السنور انطلق بسرعة"، فإن الكمبيوتر القديم سيقول: "خطأ! صفر نقاط!" لأن الكلمات لا تتطابق. وهذا أمر سيء بالنسبة للكود لأن هناك طرقاً عديدة لقول الشيء نفسه.
• الطريقة البشرية: يقرأ خبير بشري الكود ويقول: "نعم، هذا يبدو منطقياً". هذا هو "المعيار الذهبي"، لكنه بطيء، ومكلف، ويصعب توسيع نطاقه.
• الفكرة الجديدة (الذكاء الاصطناعي كحكم - LLM-as-a-Judge): ماذا لو طلبنا من ذكاء اصطناعي، قرأ ملايين الكتب والمقتطفات البرمجية، أن يعمل كمعلم؟ بدلاً من مجرد عد الكلمات، يفهم الذكاء الاصطناعي المعنى. فهو يعرف أن "القط" و"السنور" هما نفس الشيء، ويمكنه معرفة ما إذا كان الملخص يشرح الكود فعلياً أم أنه يبدو منمقاً فحسب.

رحلة الورقة البحثية: اختبار حكام الذكاء الاصطناعي

قرر الباحثون، بقيادة شيووي شانغ وفريقه، وضع فكرة "حكم الذكاء الاصطناعي" هذه تحت الاختبار. لم يكتفوا بالتخمين؛ بل بنوا ساحة لعب ضخمة وعالية الجودة تسمى BinJudgeBench.

بناء ساحة اللعب:
أخذوا 51 مشروعاً برمجياً من العالم الحقيقي، وقاموا بتجميعها في كود ثنائي، ثم جردوها من جميع الأسماء والتعليقات المفيدة. ثم طلبوا من 8 نماذج مختلفة من الذكاء الاصطناعي محاولة إصلاح الكود مجدداً. ولمعرفة من قام بعمل جيد، جعلوا ثلاثة خبراء بشريين (وهم بمثابة محققي أكواد) يقرؤون النتائج ويقيمونها على مقياس من 1 إلى 5. وقد تحققوا من أمور مثل:

• هل يبدو منطقياً؟ (الصحة الدلالية - Semantic Correctness)
• هل يساعد الإنسان على فهم الكود بشكل أسرع؟ (المنفعة - Utility)
• هل كُتب بأسلوب طبيعي وبشري؟ (الأسلوبية - Idiomization)

وقد خلق هذا "معياراً ذهبياً" يحتوي على أكثر من 1,200 مثال تم تقييمه بعناية.

الاكتشاف الأول: حكام الذكاء الاصطناعي مقابل المقاييس القديمة
قارن الفريق بين حكام الذكاء الاصطناعي والمقاييس القديمة القائمة على "عد الكلمات". كانت النتائج واضحة: حكام الذكاء الاصطناعي كانوا أفضل بكثير في فهم الجانب البشري.

• اتفق حكام الذكاء الاصطناعي مع الخبراء البشر بنسبة 63.20%.
• اتفقت المقاييس الحاسوبية القديمة بنسبة 35.04% فقط.

يشير هذا إلى أن الذكاء الاصطناعي يمكنه فعلياً "فهم" معنى الكود، وليس فقط التهجئة. إنه يشبه الفرق بين روبوت يعد عدد المرات التي تقول فيها "مرحباً" وبين صديق يفهم أنك ترحب بشخص ما بحرارة.

الاكتشاف الثاني: أسطورة "النموذج الواحد الذي يناسب الجميع"
هنا يصبح الأمر مثيراً للاهتمام. جرب الباحثون إعدادات مختلفة لحكام الذكاء الاصطناعي:

• نماذج مختلفة: بعض نماذج الذكاء الاصطناعي ضخمة ومكلفة (مثل GPT-4o)، والبعض الآخر أصغر وأرخص.
• مطالبات (Prompts) مختلفة: بعضها طُلب منها فقط إعطاء درجة (Zero-Shot)، والبعض الآخر عُرِضت عليها أمثلة لما يبدو عليه الرقم "5" أو "1" (Few-Shot)، والبعض الآخر طُلب منه شرح منطقه خطوة بخطوة (Chain-of-Thought).
• درجات حرارة (Temperatures) مختلفة: وهذا يتحكم في مدى "إبداع" أو "عشوائية" الذكاء الاصطناعي عند الإجابة.

وجدوا أنه لا يوجد إعداد واحد هو الأفضل.

• بالنسبة لبعض المهام، مثل تلخيص الكود، كان عرض الأمثلة للذكاء الاصطناعي (Few-Shot) هو الأفضل.
• بالنسبة لمهام أخرى، مثل تسمية الدوال، ساعد طلب التفكير خطوة بخطوة (Chain-of-Thought) النماذج الصغيرة على الأداء بشكل أفضل.
• في بعض الأحيان، كان النموذج الضخم والمكلف هو الأفضل؛ وفي أحيان أخرى، كان النموذج الأصغر والأرخص جيداً بنفس القدر.

هذا يعني أنه لا يمكنك مجرد اختيار "أفضل" ذكاء اصطناعي واستخدامه لكل شيء. الأمر يشبه محاولة استخدام مطرقة ثقيلة لإصلاح ساعة يد؛ فأحياناً تحتاج إلى مفك براغي صغير، وأحياناً تحتاج إلى مطرقة ثقيلة.

الحل: BinJudge (منظم حركة المرور الذكي)
بما أنه لا يوجد إعداد واحد هو الأفضل، بنى الفريق BinJudge. وهو نظام خفيف الوزن يعمل كـ "موجه" ذكي.

1. ينظر إلى قطعة كود محددة.
2. يسأل نفسه: "أي نموذج ذكاء اصطناعي وأي أسلوب سؤال سيكون الأفضل لهذا الكود المحدد؟"
3. يختار هذا المزيج المحدد ويرسل الكود إلى ذلك الحكم.

نتائج BinJudge:

• دقة أفضل: من خلال اختيار الحكم المناسب للمهمة، حسن BinJudge الاتفاق مع الخبراء البشر بنسبة 4.5% إلى 24.7% مقارنة بمجرد استخدام إعداد ثابت واحد.
• أرخص: لأنه غالباً ما يختار نماذج أصغر وأرخص عندما تكون جيدة بما يكفي، فقد قلل التكلفة لتكون بين 0.06x و 0.84x من تكلفة استخدام الإعداد "الأفضل" الأكثر تكلفة.

ماذا يعني هذا؟

تخلص الورقة البحثية إلى أننا لسنا بحاجة للاعتماد على الخبراء البشريين المكلفين لكل قطعة كود، ولا يتعين علينا القبول بالمقاييس الحاسوبية الغبية التي تعد الكلمات فحسب. يمكننا استخدام حكام الذكاء الاصطناعي، ولكن يجب أن نكون أذكياء في استخدامهم. لا يمكننا مجرد اختيار "أفضل" ذكاء اصطناعي؛ نحن بحاجة إلى نظام يتكيف، ويختار الأداة المناسبة للمهمة المناسبة.

ويشير المؤلفون بحذر إلى أنه على الرغم من أن حكام الذكاء الاصطناعي رائعون، إلا أنهم ليسوا مثاليين. فقد يرتبكون أحياناً إذا كان الكود غامضاً جداً أو إذا أصبح الذكاء الاصطناعي "فصيحاً" للغاية ولكنه غير دقيق. ولكن بشكل عام، يشير هذا العمل إلى أنه مع وجود نظام تكيفي صحيح، يمكننا تقييم ترجمات الكود بطريقة سريعة، ورخيصة، وقريبة بشكل مدهش مما سيقوله الخبير البشري. إنها خطوة كبيرة نحو جعل عالم الكود الثنائي المظلم والفوضوي أكثر قابلية للقراءة للجميع.