Semantic Reverse Engineering Legacy Software Applications with ChatGPT, Gemini AI, and Claude AI

ملخص تقني: الهندسة العكسية الدلالية لتطبيقات البرمجيات القديمة باستخدام ChatGPT وGemini AI وClaude AI

بيان المشكلة
تعتمد الهندسة العكسية التقليدية للبرمجيات (RE) بشكل أساسي على الجانب النحوي (Syntactic)، حيث تركز على استعادة الكود المصدري أو هياكل الثنائيات (Binaries) دون ضرورة فهم القصد الكامن أو "قواعد العمل" (Business Rules). وبينما توجد أدوات لإزالة التعمية (Deobfuscation) وكشف البرمجيات الخبيثة، إلا أنها نادراً ما تعالج الطبقة الدلالية (Semantic Layer) المطلوبة لاستنتاج التعريفات الرسمية للقيود من الكود القديم. تعالج هذه الدراسة تحدي الهندسة العكسية الدلالية: وهي أخذ كود مصدري قديم (تحديداً لغة MS Access VBA التي تفرض قيود قواعد بيانات غير علاقية) واستنتاج تعريفه الرسمي باستخدام نظرية المجموعات، والعلاقات، والدوال، ومنطق الرتبة الأولى (First-order predicate logic)، بالإضافة إلى التعبير عنه بدقة باللغة الإنجليزية البسيطة. ويشير المؤلفون إلى أنه بينما ركز عملهم السابق على الهندسة العكسية لمخططات قواعد البيانات إلى النموذج الرياضي للبيانات الأساسي ((E)MDM)، فإن هذه الدراسة تستهدف الهندسة العكسية للتطبيقات نفسها.

المنهجية
استخدمت الدراسة ثلاثة نماذج لغوية كبيرة (LLMs): ChatGPT (Plus 5.3 وMini)، وGemini (3)، وClaude (Sonnet 4.6). تضمن الإعداد التجريبي ما يلي:

• الأجهزة والبرمجيات: جهاز Toshiba Satellite Intel CORE i7، ونظام التشغيل MS Windows 10، وبرنامج MS Access 365، وبرنامج MatBase v. 5.2 (نموذج أولي لنظام إدارة بيانات ذكي يعتمد على (E)MDM).
• بيانات المدخلات: مقتطفات برمجية من تطبيقين قديمين: قاعدة بيانات جغرافية (Geography) وقاعدة بيانات للأنساب (Genealogy). فرضت هذه المقتطفات قيوداً معقدة غير علاقية (على سبيل المثال: "يجب أن تكون عاصمة الدولة مدينة تنتمي لتلك الدولة"، وقيود تاريخية تتعلق بالزيجات الملكية وفترات الحكم).
• المعالجة المسبقة: قام الباحثون عمداً بإزالة جميع التعليقات من كود VBA وإزالة عبارات عرض رسائل الخطأ (MsgBox) لاختبار قدرة الذكاء الاصطناعي على فهم قصد الكود دون الحاجة إلى توثيق صريح أو تغذية راجعة من وقت التشغيل.
• العملية: انخرط الباحثون في حوارات تكرارية مع نماذج الذكاء الاصطناي. قدموا مقتطفات برمجية وطلبوا من النماذج القيام بما يلي:
  1. استنتاج "قاعدة العمل" (Business Rule).
  2. تقديم شرح لكل سطر برمجي.
  3. صياغة القيد رسمياً باستخدام المنطق الرياضي (نظرية المجموعات، نظرية الفئات، ومنطق الرتبة الأولى).
  4. نقد وتحسين الصياغة الرسمية بناءً على ملاحظات المؤلفين (مثل تصحيح التمييز بين الدوال الكلية والجزئية، أو بين قيود الحالة وقيود الانتقال).

النتائج الرئيسية
تفاوت أداء أدوات الذكاء الاصطناعي الثلاثة بشكل كبير عبر مقتطفات الكود البسيطة والمعقدة:

1. القيود البسيطة (تطبيق الجغرافيا):

   • ChatGPT: نجح في استنتاج قاعدة العمل ("يجب أن تظل العاصمة في الدولة المخصصة لها") وقدم تفسيرات دقيقة لكل سطر. كما حدد بشكل صحيح أن القيد غير علاقي (على مستوى التطبيق) وانخرط في حوار رياضي متطور حول صياغة القيد كـ "دالة ذاتية جزئية ناقصة الانعكاس" (null-reflexive partial self-map). وقد أقر بأخطائه المتعلقة بأنواع المتغيرات وصححها.
   • Claude: فهم قاعدة العمل بشكل صحيح وطبيعة القيد الاستباقية (تقييد الخيارات مقابل منع التحديثات). كما أثنى على الصياغة الجبرية للمؤلفين واستوعب فوراً مفهوم "نقص الانعكاس" (null-reflexivity).
   • Gemini: حدد القاعدة بشكل صحيح وقدم صياغة منطقية من الرتبة الأولى. ومع ذلك، ارتكب خطأً جوهرياً بوصفه دالة "العاصمة" بأنها دالة شمولية (Surjection) بدلاً من كونها دالة تقابلية (Injection)، مما يعني فشله في استيعاب الطبيعة الجزئية للدالة. كما أظهر ميلاً نحو استخدام لغة مجازية فضفاضة ("Bio-Logic"، "Topology of Cringe") بدلاً من التحليل التقني الدقيق.

2. القيود المعقدة (تطبيق الأنساب - الزيجات الملكية):

   • التحدي: فرض الكود قاعدة تقضي بأنه لا يمكن استبدال الزوجين المتزوجين إذا كانا قد حكما نفس الدولة في آن واحد، إلا إذا كانا والداً وطفلاً.
   • الفشل الأولي: أخطأت جميع النماذج الثلاثة (ChatGPT وGemini وClaude) في البونة الأولية. استنتجوا خطأً أن الكود يرفض الزواج نفسه، بدلاً من رفض الانتقال (تغيير الأزواج) تحت ظروف معينة.
   • التصحيح والتباين:
     • ChatGPT: عند التصحيح، أقر بالخطأ فوراً، وميز بين "قيود الحالة" (State constraints) و"قيود الانتقال" (Transition constraints/Dynamic integrity)، وعمم الدرس المستفاد. وصاغ القاعدة بشكل صحيح كـ AllowedTransition بدلاً من ValidState.
     • Gemini: بدا في البداية وكأنه فهم التصحيح، لكنه عاد لاحقاً إلى الخطأ الأصلي في منطقه. كما حاول تحويل المحادثة نحو هجرة الكود القديم إلى Python/SQLite بدلاً من تحليل المنطق الحالي.
     • Claude: ارتكب نفس الخطأ الذي ارتكبه الآخرون في البداية. وبعد تأخير كبير (بسبب حدود الاستخدام)، أقر بالخطأ واستوعب أخيراً قصد الكود بشكل صحيح.

الأهمية والادعاءات
تدعي الورقة أنه بينما تعد أدوات الذكاء الاصطناعي فعالة للغاية للهندسة العكسية الدلالية لـ مقتطفات الكود الصغيرة والبسيطة، إلا أنها تواجه صعوبة حالياً مع أكواد الأنظمة القديمة المعقدة ومتعددة الجمل البرمجية، حيث غالباً ما تستنتج عكس المنطق المقصود تماماً.

• مقارنة الأدوات: خلص المؤلفون إلى أن ترتيب أداء الأدوات في الهندسة العكسية الدلالية يختلف عن الهندسة الأمامية. تم تحديد ChatGPT كالأكثر قدرة لهذه المهمة المحددة نظراً لقدرته على الانخراط في حوار رياضي عميق وتكراري، وتصحيح أخطائه، وفهم التمييز بين قيود الحالة والانتقال. ولوحظ أن Claude ممتاز للهندسة الأمامية ولكنه أقل فعالية هنا في البداية، رغم استيعابه للمفاهيم في النهاية. أما Gemini فقد وُصف بأنه "عديم الفائدة تقريباً" لهذه المهمة عندما يتجاوز تعقيد الكود حوالي 30 جملة برمجية، مستشهداً بإسهابه، واعتماده على المجازات، وعدم قدرته على الحفاظ على الاتساق المنطقي.
• التعاون بين الإنسان والذكاء الاصطناعي: تؤكد الأبحاث أن الذكاء الاصطناعي لا يمكنه بعد استبدال مهندسي البرمجيات المهرة. ويرى المؤلفون أن نجاح الهندسة العكسية الدلالية يعتمد بشدة على قدرة المهندس البشري على توجيه الذكاء الاصطناعي، مما يتطلب أساساً قوياً في الرياضيات (مستوى K-12 وما فوق) للتعرف على اللحظة التي تكون فيها الصياغة الرياضية للذكاء الاصطناعي خاطئة (مثل الخلط بين الدوال التقابلية والشمولية، أو بين الحالة والانتقال).
• القيود: اقتصرت الدراسة على النسخ المجانية من أدوات الذكاء الاصطناعي وعلى كود VBA القديم. ولا يدعي المؤلفون أن نسخ الاشتراك أو اللغات الأخرى ستؤدي إلى نتائج مختلفة جذرياً، بل قد تؤدي فقط إلى تفاعلات أسرع أو أكثر سخاءً.

الخلاصة
تفترض الورقة أن الهندسة العكسية الدلالية تنتقل من كونها "كابوساً" إلى كونها "أمراً سهلاً" في الحالات البسيطة، لكنها تظل تحدياً معقداً للأنظمة القديمة المتشابكة. إن الهدف النهائي — وهو كشف البنية الجبرية والمنطقية للكود السلوكي — يتطلب علاقة تكافلية حيث يقدم الذكاء الاصطناي التحليل السريع، بينما يوفر الخبير البشري الدقة الرياضية اللازمة للتحقق من التفسير الدلالي وتصفيته.