DuET: Dual Execution for Test Output Prediction with Generated Code and Pseudocode

إليك ملخص تقني مفصل لورقة البحث "DUET: التنفيذ المزدوج للتنبؤ بمخرجات الاختبار باستخدام الكود المولد والـ Pseudocode (الكود الوصفي)."

1. تعريف المشكلة

تتناول الورقة البحثية مهمة التنبؤ بمخرجات الاختبار (Test Output Prediction)، وهي مهمة فرعية بالغة الأهمية في التوليد الآلي لحالات الاختبار وتقييم الكود. بالنظر إلى وصف للمشكلة ($D$) ومدخل اختبار ($I$)، يكون الهدف هو التنبيد بالمخرج الصحيح ($O$) دون الحاجة بالضرورة إلى امتلاك كود الحل الحقيقي.

• الحالة الراهنة للأفضل (TestChain): تعتمد المقاربات السابقة، مثل TestChain، على التنفيذ المباشر للكود (Direct Code Execution). حيث يقوم النموذج بتوليد كود قابل للتنفيذ من وصف المشكلة ثم يقوم بتشغيله للتنبؤ بالمخرج.
• التحدي الجوهري: التنفيذ المباشر يتسم بالهشاشة. فحتى لو فهم النموذج المنطق بشكل صحيح، فإن أخطاء التنفيذ الطفيفة (مثل أخطاء "الزيادة أو النقص بمقدار واحد"، أو أخطاء بناء الجملة، أو تهيئة المتغيرات الخاطئة) في الكود المولد يمكن أن تؤدي إلى فشل التنفيذ أو إنتاج نتائج غير صحيحة. وعلى العكس من ذلك، فإن الاعتماد فقط على استدلال النموذج اللغوي الكبير (LLM) لمحاكاة التنفيذ (بدون كود) يؤدي غالباً إلى هلوسات التنفيذ (execution hallucinations) (أي أخطاء منطقية في عمليات الاستدلال متعددة الخطوات).

2. المنهجية: إطار عمل DUET

يقترح المؤلفون إطار عمل DUET (التنفيذ المزدوج)، وهو إطار يجمع بين مسارين متكاملين للتنفيذ للتخفيف من نقاط الضعف في كل منهما.

أ. مساران للتنفيذ

1. التنفيذ المباشر للكود (مسار "الكود" - The "Code" Path):

   • يولد كوداً قابلاً للتنفيذ من وصف المشكلة.
   • ينفذ الكود مباشرة على مدخل الاختبار.
   • نقاط القوة: حتمي ودقيق للكود الصحيح؛ ومحصن ضد هلوسات الاستدلال.
   • نقاط الضعف: حساس للغاية لأخطاء التنفيذ أو بناء الجملة. إذا كان الكود معيباً، فسيكون المخرج خاطئاً.

2. تنفيذ الكود الوصفي القائم على LLM (مسار "الـ Pseudocode" - The "Pseudocode" Path):

   • يولد كوداً وصفياً (pseudocode) عالي المستوى (يجرد التفاصيل بعيداً عن بناء الجملة منخفض المستوى).
   • يستخدم النموذج اللغوي الكبير (LLM) لـ محاكاة تنفيذ هذا الكود الوصفي عبر الاستدلال (سلسلة الأفكام - Chain-of-Thought)، بدلاً من تشغيله في مترجم (compiler).
   • نقاط القوة: مرن تجاه أخطاء التنفيذ لأنه يركز على القصد الخوارزمي بدلاً من بناء الجملة.
   • نقاط الضعف: عرضة لـ الهلوسة (hallucinations) في سلاسل الاستدلال المعقدة ومتعددة الخطوات (مثل فقدان تتبع الحالة في الحلقات التكرارية العميقة).

ب. التجميع: التصويت بالأغلبية الوظيفية الموزون بالمسار (Path-Weighted Functional Majority Voting)

لتجميع مخرجات هذين المسارين، يستخدم DUET آلية التصويت بالأغلبية الوظيفية (FMV) مع نسخة جديدة موزونة بالمسار (Path-Weighted):

• الـ FMV القياسي: يجمع عدة تنبؤات من كلا المسارين ويختار المخرج الأكثر تكراراً.
• الـ Path-Weighted FMV: يخصص أوزانًا أعلى للمخرجات من مسار معين إذا اتفقت جميع العينات داخل ذلك المسار بالإجماع على نفس النتيجة.
  • إذا أنتج مسار ما (مثل التنفيذ المباشر) اتفاقاً بالإجماع، يتم رفع أصواته ($w_{high}$).
  • خلاف ذلك، تحصل الأصوات على وزن أساسي ($w_{base}$).
• المنطق: يستفيد هذا من ثقة "المسار الصحيح". فإذا كان الكود صحيحاً، فمن المرجح أن يكون التنفيذ المباشر متفقاً بالإجماع. وإذا كان الكود معيباً ولكن المنطق سليماً، فقد يكون مسار الكود الوصفي هو المتفق بالإجماع.

3. المساهمات الرئيسية

1. أول استخدام لتنفيذ الكود الوصفي القائم على LLM: تقدم الورقة مفهوم ترسيخ التنبؤ بمخرجات الاختبار على الكود الوصفي المولد ومحاكاة تنفيذه عبر استدلال الـ LLM، مما يفصل التنبؤ عن صحة الكود.
2. إطار عمل DUET: استراتيجية ثنائية المسار مبتكرة تدمب بين التنفيذ المباشر للكود واستدلال الكود الوصفي. وقد حددت أن هذه الطرق متكاملة:
   • يتفوق الكود الوصفي عندما يكون توليد الكود عرضة للخطأ (أخطاء التنفيذ).
   • يتفوق التنفيذ المباشر عندما تكون درجة تعقيد الاستدلال عالية (تجنب الهلوسة).
3. تحديد "مشكلة عدم وجود ميزة" (Zero-Advantage Problem): حلل المؤلفون توليد الكود من البداية إلى النهاية ووجدوا أن استخدام التنفيذ المباشر للكود (TestChain) لتصفية المرشحين يمكن أن يكون ضاراً. فإذا كان الكود المولد معيباً، فإن المخرج المتوقع سيكون خاطئاً، مما يؤدي إلى رفض المرشحين الصحيحين المحتملين أو قبول الخاطئين منهم. يعالج DUET ذلك من خلال توفير مسار تحقق موازٍ ومستقل عن صحة الكود.
4. أداء يمثل أعلى المعايير (SOTA): حقق DUET معايير جديدة في التنبؤ بمخرجات الاختبار وتوليد الكود من البداية إلى النهاية.

4. النتائج التجريبية

قيم المؤلفون DUET على مجموعات بيانات LiveCodeBench، و BigCodeBench-Hard، و DevEval، و HumanEval(+).

• التنبؤ بمخرجات الاختبار (LiveCodeBench):

  • حقق DUET نسبة Pass@1 بلغت 81.1% باستخدام GPT-4-Turbo، متفوقاً على أفضل المعايير السابقة (TestChain مع FMV) بمقدار 5.6 نقطة مئوية وعلى النموذج الخام بمقدار 13.6 نقطة مئوية.
  • تفوق باستمرار على نماذج المسار الواحد عبر مختلف أحجام النماذج (Llama-3-8B, Llama-3-70B, Mistral-Large).

• توليد الكود من البداية إلى النهاية:

  • عند دمجه في خط أنابيب CODET لتصفية الكود المرشح، حسن DUET نسبة Pass@1 بمقدار 3.2 نقطة مئوية على LiveCodeBench-Easy.
  • والجدير بالذكر أن استبدال DUET بـ TestChain أدى إلى تدهور الأداء بمقدار 5.6 نقطة مئوية، مما يؤكد "مشكلة عدم وجود ميزة" للتنفيذ المباشر في سيناريوهات التصفية.
  • حقق DUET أفضل النتائج على BigCodeBench-Hard (باستخدام نماذج معززة بالاستدلال مثل QwQ-32B) و DevEval (توليد على مستوى المستودع/Repository-level).

• تحليل أنماط الفشل:

  • الكود الصحيح: يحقق التنفيذ المباشر دقة تقارب 100%؛ بينما الكود الوصفي أقل قليلاً (~86%) بسبب الهلوسة.
  • الكود غير الصحيح: ينخفض التنفيذ المباشر بشكل حاد (39%)، بينما يظل الكود الوصفي قوياً (54%).
  • طول التتبع (Trace Length): يتفوق تنفيذ الكود الوصفي على التنفيذ المباشر في أطوال التتبع القصيرة إلى المتوسطة (أقل من 100 خطوة)، ولكنه يتراجع في التتبعات الطويلة جداً حيث تتراكم أخطاء الاستدلال. يظل التنفيذ المباشر مستقراً بغض النظر عن طول التتبع. يوازن DUET بفعالية بين هذه المقايضات.

5. الأهمية والخاتمة

تثبت الورقة أن الاعتماد على نمط تنفيذ واحد (سواء الكود أو الاستدلال) غير كافٍ للتنبؤ الموثوق بمخرجات الاختبار.

• المتانة: من خلال الجمع بين الدقة الرمزية لتنفيذ الكود وتجريد الكود الوصفي، يخلق DUET نظاماً متيناً ضد كل من أخطاء التنفيذ وهلوسات الاستدلال.
• الأثر العملي: لا تتطلب الطريقة أي تغييرات هيكلية أو تدريباً إضافياً؛ فهي استراتيجية استدلال جاهزة للعمل (plug-and-play) ترفع بشكل كبير من موثوقية النماذج اللغوية الكبيرة في مهام هندسة البرمجيات.
• الاتجاهات المستقبلية: يقترح المؤلفون آليات وزن تكيفية يمكنها اختيار المسار الأكثر موثوقية ديناميكياً بناءً على صعوبة الحالة أو طول التتبع.

باختصار، يمثل DUET تحولاً جذرياً في توليد حالات الاختبار، حيث ينتقل من "التوليد والتشغيل" إلى "التوليد، والمحاكاة، والتحقق المتقاطع"، واضعاً معياراً جديداً لموثوقية تقييم وتوليد الكود.