ملخص تقني: RISCOSET لتقدير عدم اليقين في توليد الكود القائم على النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتوليد الكود البرمجي، لكنها تعاني من "الهلوسة" وتوليد مخرجات سامة أو متحيزة، مما يحد من نشرها في التطبيقات عالية الخطورة. وبينما يوفر التنبؤ المطابق (Conformal Prediction - CP) إطار عمل لتقدير عدم اليقين مع ضمانات خالية من التوزيع، فإن تكييفه مع مهام التوليد المهيكلة مثل الكود البرمجي يعد تحديًا.

تواجه الأساليب الحالية، مثل مجموعات التنبؤ (PAC) للتنبؤ بالشيء الصحيح تقريبًا (Probably Approximately Correct) للكود (Khakhar et al., 2023)، قيدين حرجين:

1. قيود الرتابة (Monotonicity Constraints): تعتمد هذه الأساليب على فرضية رتابة قوية فيما يتعلق بالمخاطر وحجم مجموعة التنبؤ. وهذا يقيد مساحة البرامج الجزئية المقبولة، مما يؤدي غالبًا إلى حلول دون المستوى الأمثل تقوم بإزالة الكثير من عقد الكود (code nodes).
2. افتراض الملصق الواحد (Single-Label Assumption): صُممت هذه الأساليب لتصنيف الملصق الواحد. ومع ذلك، فإن توليد الكود هو بطبيعته مشكلة تصنيف متعددة الملصقات، حيث يمكن لبرامج متعددة مختلفة بنيويًا أن تمتلك نفس الدلالات (semantics) الصحيحة. تفشل الأساليب الحالية في استيعاب هذا التعدد، مما يحد بشدة من مساحة المرشحين.

المنهجية: RISCOSET

يقترح المؤلفون RISCOSET، وهو أسلوب يبني مجموعات تنبؤ متحكمة في المخاطر لتوليد الكود القائم على النماذج اللغوية الكبيرة عبر إعادة صياغة المشكلة كمسألة تصنيف متعددة الملصقات والاستفادة من إطار عمل "التعلم ثم الاختبار" (Learn Then Test - LTT) (Angelopoulos et al., 2025).

المكونات الأساسية

1. إعادة الصياغة متعددة الملصقات والمخاطر المهيكلة:
   بدلاً من فرض الرتابة، يعرّف RISCOSET دالة مخاطر مهيكلة بناءً على الصحة الدلالية. بالنسبة لمدخل معين، الهدف هو إنتاج مجموعة تنبؤ (تمثل كبرنامج جزئي أو شجرة دلالية فرعية AST) تحتوي على برنامج صحيح واحد على الأقل من مجموعة ملصقات محسنة $\tilde{Y}$. يتم تعريف المخاطر التجريبية بأنها نسبة الحالات في مرحلة المعايرة التي تفشل فيها مجموعة التنبؤ في التقاطع مع مجموعة البرامج الصحيحة.

2. التحسين للبرامج الجزئية:
   لتوليد مجموعة التنبؤ، تحل الطريقة مسألة تحسين تهدف إلى تقليم العقد من شجرة الإعراب المجرد (AST) للكود المولد.

   • الهدف: الاحتفاظ بأكبر عدد ممكن من العقد مع ضمان أن إجمالي عدم اليقين (اللوغاريتم السالب للاحتمالية) للبرنامج الجزئي المتبقي لا يتجاوز عتبة $\lambda$.
   • القيود: يجب أن يحقق الحل اتصال الشجرة (إذا تم إزالة أب، يجب إزالة الأبناء أيضًا) وحدًا على عدد عمليات إزالة الأشجار الفرعية المسموح بها ($t_{max}$). ومن الأهمية بمكان أن هذا التحسين يزيل قيد الرتابة الصارم الموجود في أساليب PAC، مما يسمح بمساحة أكبر من الملصقات الممكنة.

3. اختبار الفرضيات المتعددة (LTT):
   يستخدم RISCOSET إطار عمل LTT لاختيار المعلمة المثلى $\hat{\lambda}$ التي تتحكم في المخاطر.

   • يعامل عملية اختيار $\lambda$ كمسألة اختبار فرضيات متعددة.
   • لمجموعة من قيم $\lambda$ المرشحة، يقوم بحساب القيم الاحتمالية ($p$-values) بناءً على المخاطر المهيكلة التجريبية.
   • باستخدام خوارزمية تتحكم في معدل الخطأ لكل عائلة (Family-Wise Error Rate - FWER)، يحدد مجموعة صالحة من المعلمات $\Lambda_{valid}$ تضمن بقاء المخاطر تحت حد محدد من قبل المستخدم $\alpha$ بثقة عالية ($1-\delta$).

4. استراتيجية التنفيذ الانتقائي:
   بما أن توليد الكود متعدد الملصقات، فإن عملية المعايرة تتطلب أخذ عينات من برامج مرشحة متعددة والتحقق منها عبر تنفيذ حالات الاختبار، وهو أمر مكلف حاسوبيًا. للتخفيف من ذلك، يقدم RISCOSET استراتيجية تنفيذ انتقائية:

   • يستخدم درجات عدم اليقين (مثل الارتباك/Perplexity) لتقرير أي البرامج المأخوذة عينات تتطلب تنفيذ الاختبار.
   • البرامج ذات عدم اليقين المنخفض تُقبل كصحيحة دون تنفيذ، بينما يتم التحقق من البرامج ذات عدم اليقين العالي.
   • تستخدم هذه الاستراتيجية أخذ العينات بالأهمية (Importance Sampling) وتباين هوفدينج (Hoeffding's inequality) لتقدير الحد الأعلى للخطأ، مما يضمن بقاء معدل خطأ الملصق ضمن حد محكوم $\epsilon$ مع تقليل التكاليف الحسابية بشكل كبير.

المساهمات الرئيسية

1. إطار عمل RISCOSET: أول تطبيق لإطار عمل LTT في توليد الكود المهيكل، والذي يعيد صياغة بناء مجموعة التنبؤ كمسألة متعددة الملصقات بقيود أضعف من أساليب PAC.
2. تحسين المخاطر المهيكلة: صياغة تحسين مبتكرة لتوليد البرامج الجزئية (أشجار AST فرعية) تزيد من المعلومات المحتفظ بها مع تلبية ضمانات التحكم في المخاطر، بعيدًا عن افتراضات الرتابة المقيدة.
3. المعايرة الفعالة: استراتيجية تنفيذ انتقائية توازن بين المقايضة بين التحكم في المخاطر والتكلفة الحسابية للتحقق من الملصقات، مدعومة بحدود خطأ غير تقاربية.
4. التحقق التجريبي: تجارب شاملة تثبت فعالية الطريقة عبر ثلاثة نماذج (Deepseek-Coder، Qwen2.5-Coder، Llama3.1) وثلاث مجموعات بيانات (HumanEval، MBPP، APPS).

النتائج التجريبية

قيم المؤلفون RISCOSET مقابل خطوط الأساس المتطورة، بما في ذلك نهج مجموعة تنبؤ PAC والنسخة الجشعة (Greedy variant).

• تقليل إزالة العقد: يقلل RISCOSET بشكل كبير من عدد عقد AST التي يتم إزالتها مقارنة بالنماذج المنافسة مع الحفاظ على نفس مستوى التحكم في المخاطر. على سبيل المثال، في مجموعة بيانات MBPP مع $\alpha=0.15$، قللت الطريقة من إزالة الكود بنسبة 24.5% مقارنة بأفضل منافس.
• ضمانات التغطية: حققت مجموعات التنبؤ المنشأة باستمرار معدلات تغطية تتجاوز الحد المستهدف ($1-\alpha$)، مما يؤكد ضمانات التحكم في المخاطر من الناحية النظرية.
• قابلية توسع النموذج: أدت الطريقة أداءً جيدًا عبر كل من النماذج المتخصصة في الكود (Qwen2.5-Coder) والنماذج العامة (Llama3.1)، مما يظهر أن الأداء يتحسن مع النماذج التوليدية الأكثر قوة.
• كفاءة التنفيذ الانتقائي: نجحت استراتيجية التنفيذ الانتقائي في تقليل نسبة البرامج التي تتطلب تنفيذ حالة الاختبار (على سبيل المثال، تجنب التنفيذ لـ ~30% من البرامج عند معدل خطأ ملصق $\epsilon=0.1$) مع الحفاظ على التغطية فوق العتبة المستهدفة.

الأهمية والادعاءات

يدعي البحث أنه أول عمل يقدم إطار عمل LTT في مهام توليد الكود المهيكلة. تكمن أهميته الأساسية في معالجة قيود أساليب PAC الحالية من خلال:

• إلغاء الحاجة إلى افتراضات رتابة قوية، مما يوسع مساحة البرامج المرشحة ويقلل من الإزالة غير الضرورية للكود.
• استيعاب الطبيعة متعددة الملصقات لتوليد الكود بشكل طبيعي (وجود حلول صحيحة متعددة لمهمة واحدة).
• توفير ضمانات إحصائية صارمة لصحة مجموعات الكود المولدة دون الاعتماد على افتراضات الاستقلال التي تفشل في المجالات المهيكلة مثل الكود.

يخلص المؤلفون إلى أنه بينما ينصب تركيزهم على توليد الكود، فإن الطريقة المقترحة قابلة للتكيف مع مسائل التنبؤ المهيكلة الأخرى حيث يكون تقدير عدم اليقين أمرًا بالغ الأهمية. وهم يقرون بالعبء الحسابي لمرحلة المعايرة، لكنهم يؤكدون أن استراتيجية التنفيذ الانتقائي تخفف من هذه التكلفة بفعالية.