ملخص تقني: استراتيجيات إعادة الكتابة لاسترجاع الأكواد

بيان المشكلة

تعاني أنظمة استرجاع الأكواد القائمة على التضمين (Embedding-based) بشكل متكرر من فهم سطحي لسلوك البرامج، حيث تميل غالباً إلى الإفراط في الملاءمة (overfitting) مع الإشارات النحوية السطحية بدلاً من المعنى الدلالي. يؤدي هذا إلى رسم تمثيلات متجهية متشابهة لقصاصات أكواد متباينة دلالياً. وبينما حاولت الأعمال السابقة التخفيف من ذلك باستخدام النماذج اللغوية الكبيرة (LLMs) لإعادة صياغة الاستعلامات والمتون بأسلوب معياري، لا تزال هناك مسألتان حرجتان دون حل:

1. التحول التمثيلي: إلى أي مدى يؤدي تغيير مستوى التمثيل (على سبيل المثال، من الكود إلى اللغة الطبيعية أو الكود الزائف) إلى تحسين عملية الاسترجاع فعلياً؟
2. تبرير التكلفة مقابل المنفعة: متى يكون التكلفة الحسابية لاستدعاء نموذج لغوي كبير عبر الإنترنت لكل استعلام مبررة، وهل يمكن إجراء إعادة الكتابة بشكل غير متصل (offline)؟

تعمل الطرق الحالية عادةً عند مستوى تمثيلي واحد (الكود)، وغالباً ما تعامل التمثيلات الوسيطة (مثل الكود الزائف) كجسور عابرة بدلاً من كونها أهداف استرجاع نهائية. علاوة على ذلك، فهي تفتقر عموماً إلى أدوات تشخيصية للتنبؤ متى ستكون إعادة الكتابة مفيدة.

المنهجية

يجري المؤلفون دراسة منهجية تقيم تسلسلاً هرمياً من ثلاث استراتيجيات لإعادة الكتابة تحت نظامين من التعزيز:

1. استراتيجيات إعادة الكتابة:
   • إعادة الصياغة الأسلوبية: توحيد بناء الكود وأسلوبه (اتباعاً لـ Li et al., 2024).
   • الكود الزائف المعزز باللغة الطبيعية (NL-enriched PseudoCode): تحويل الكود إلى كود زائف مهيكل مع تعليقات باللغة الطبيعية، ويُستخدم مباشرة كتمثيل للاسترجاع.
   • النسخ الكامل للغة الطبيعية (Full Natural Language Transcription): تحويل قصاصات الكود بالكامل إلى أوصاف باللغة الطبيعية، وتُستخدم مباشرة كتمثيل للاسترجاع.
2. أنظمة التعزيز:
   • الاستعلام والمتن المشترك (QC, Online): يتم إعادة كتابة كل من الاستعلام والمتن بواسطة النموذج اللغوي الكبير قبل عملية التضمين.
   • المتن فقط (C, Offline): يتم إعادة كتابة المتن فقط؛ بينما تظل الاستعلامات في شكلها الأصلي.
3. الإعداد التجريبي:
   • المعايير المرجعية (Benchmarks): ست مجموعات بيانات من مجموعة CoIR (تغطي نماذج كود-إلى-كود، نص-إلى-كود، والأنماط الهجينة).
   • المشفرات (Encoders): خمسة مشفرات تتراوح من الأغراض العامة إلى المتخصصة في الكود (مثل MoSE-18، CodeXEmbed، E5-Base-V2).
   • أدوات إعادة الكتابة (Rewriters): ثلاث عائلات مستقلة من النماذج (Qwen3-Coder، DeepSeek-Coder-V2، Codestral) لضمان المتانة ضد الآثار الناتجة عن نموذج معين.
4. التشخيصات: يقدم البحث مقياسين لتحليل تأثير إعادة الكتابة:
   • $\Delta H$ (إنتروبيا الرموز): التغير في إنتروبيا شانون للرموز المدخلة، ويقيس التنوع المعجمي.
   • $\Delta \bar{s}$ (تشابه جيب التمام للتضمين): التغير في متوسط تشابه جيب التمام الزوجي للتضمينات، ويقيس التباين التمثيلي (isotropy).

المساهمات الرئيسية

1. تمثيلات استرجاع جديدة: يعد المؤلفون أول من قيم "الكود الزائف المعزز باللغة الطبيعية" و"اللغة الطبيعية على مستوى القصاصة" كأهداف استرجاع مباشرة، وليس مجرد وسائط عابرة.
2. مقارنة منهجية: تقييم مضبوط عبر ثلاثة مستويات لإعادة الكتابة، ونظامين للتعزيز، وعدة عائلات من المشفرات والمعيدين للصياغة.
3. إطار تشخيصي: تقديم $\Delta H$ و $\Delta \bar{s}$ كأدوات تشخيص على مستوى التمثيل. والأهم من ذلك، يوضح البحث أن $\Delta H$ يعمل كمتنبئ مستقل عن نوع المعيد للصياغة لتحقيق مكاسب الاسترجاع تحت نظام QC.
4. إطار التكلفة والمنفعة: تعيد الدراسة صياغة إعادة الكتابة باستخدام النماذج اللغوية الكبيرة ليس كحل عالمي، بل كطبقة علاجية ذات ظروف محددة للفعالية.

النتائج

• فعالية (NL+QC): تحقق إعادة الكتابة باللغة الطبيعية الكاملة مع تعزيز الاستعلام والمتن المشترك (NL+QC) أكبر مكاسب الأداء. في معيار CT-Contest (كود-إلى-كود)، حسنت هذه الطريقة قيمة NDCG@10 لنموذج MoSE-18 من 0.23 إلى 0.74 (+0.51 مطلق). وتظل هذه هي الاستراتيجية الأفضل أو المتساوية في الأفضلية لجميع معيدي الصياغة في المهام الكثيفة الكود.
• عدم جدوى (المتن فقط - C): تؤدي إعادة كتابة المتن فقط إلى تدهور أداء الاسترجاع في حوالي 62% من التكوينات (56 من أصل 90). ويُعزى ذلك إلى عدم التطابق في النمط (modality mismatch) بين المتن المعاد كتابته والاستعلامات الأصلية. يتفوق نظام QC على نظام C في 78 من أصل 90 مقارنة زوجية.
• الاعتماد على المشفر: تتناسب المكاسب عكسياً مع قدرة المشفر. تستفيد المشفرات خفيفة الوزن (مثل MoSE-18) بشكل كبير من إعادة الكتابة، بينما غالباً ما تشهد المشفرات القوية (مثل Qwen3-Emb) عوائد ثابتة أو سلبية، مما يشير إلى أن إعادة الكتابة هي الأكثر قيمة كعلاج للنماذج الأضعف.
• نمط الاستعلام: يظل التسلسل الهرمي للتجريد (إعادة صياغة < كود زائف < لغة طبيعية) صالحاً لمهام كود-إلى-كود، لكنه ينهار في مهام نص-إلى-كود. عندما تكون الاستعلامات بالفعل باللغة الطبيعية، فإن إعادة كتابة المتن إلى لغة طبيعية يمحو الإشارات النحوية المتبقية دون خلق محاذاة جديدة، مما يضر بالأداء غالباً.
• القوة التنبؤية لـ $\Delta H$: تحت نظام QC، يعد التغير في إنتروبيا الرموز ($\Delta H$) متنبئاً هاماً لمكاسب الاسترجاع.
  • بالنسبة لـ Codestral: $\rho = +0.593$ ($p < 0.001$).
  • بالنسبة لـ DeepSeek: $\rho = +0.274$.
  • المجمع (باستثناء Qwen): $\rho = +0.436$ ($p < 0.001$).
  • هذا الارتباط يظل قائماً عبر عائلات مختلفة من معيدي الصياغة، مما يجعل $\Delta H$ وسيطاً رخيصاً وغير مرتبط بنوع المعيد لتقرير ما إذا كانت إعادة الكتابة ستؤتي ثمارها قبل البدء بعملية الاسترجاع.

الأهمية والادعاءات

يزعم البحث إعادة صياغة استخدام النماذج اللغوية الكبيرة لإعادة الكتابة في استرجاع الكود كقرار تكلفة-منفعة وليس كمجرد خطوة معالجة مسبقة قياسية. ويخلص المؤلفون إلى أن:

• إعادة الكتابة هي الأكثر فعالية كـ طبقة علاجية للمشفرات خفيفة الوزن التي تتعامل مع استعلامات تهيمن عليها الأكواد.
• تقدم عوائد متناقصة للمشفرات القوية أو الاستعلامات الغنية بالفعل باللغة الطبيعية.
• يوفر مقياس $\Delta H$ آلية عملية ومنخفضة التكلفة للممارسين للتنبؤ بما إذا كان زوج (الاستعلام/المتن) سيستفيد من إعادة الكتابة، مما يسمح لهم بتجنب استدعاءات النماذج اللكية غير الضرورية عندما يشير التشخيص إلى إمكانية ربح منخفضة.

يصرح المؤلفون صراحةً بأن نتائجهم متواضعة فيما يتعلق بالنماذج مغلقة المصدر واللغات ذات الموارد المحدودة، معتبرين إياها من القيود. كما يؤكدون أنه بينما تحسن إعادة الكتابة عملية الاسترجاع، فإنها ترث تحيزات النموذج اللغوي ومخاطر الهلوسة، مما يستوجب التدقيق البشري واستخدام مؤشرات المصدر عند النشر.