💻 computer science

VeriScale: Adversarial Test-Suite Scaling for Verifiable Code Generation

تقدم الورقة البحثية VeriScale، وهو إطار عمل تنافسي يعمل على توسيع وتلخيص مجموعات الاختبار لإنشاء معايير أكثر صرامة مثل VerinaPlus وVerinaLite، والتي تكشف عن نقاط ضعف كبيرة في قدرات النماذج اللغوية الكبيرة (LLMs) في توليد الكود والقدرات المواصفاتية التي تفشل المعايير الحالية في اكتشافها.

المؤلفون الأصليون: Yifan Bai, Xiaoyang Liu, Zihao Mou, Guihong Wang, Jian Yu, Shuhan Xie, Yantao Li, Yangyu Zhang, Jingwei Liang, Tao Luo

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifan Bai, Xiaoyang Liu, Zihao Mou, Guihong Wang, Jian Yu, Shuhan Xie, Yantao Li, Yangyu Zhang, Jingwei Liang, Tao Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طباخاً آلياً لطهي وجبة معقدة. أنت تعطي الروبوت وصفة (وهي "المواصفات") وتطلب منه طهي الطبق (وهو "الكود"). ولكي تعرف ما إذا كان الروبوت جيداً، تتذوق الطعام.

المشكلة: فخ "الاختبار السهل"
الاختبارات التي نستخدمها حالياً للتحقق من هؤلاء الطهاة الآليين تشبه اختباراً سهلاً للغاية. نحن نعطيهم فقط بعض المكونات البسيطة (مثل "الملح" و"الماء") ونطلب نتيجة بسيطة ("حساء"). إذا صنع الروبوت حساءً، فإننا نمنحه درجة امتياز (A+).

لكن هنا تكم-ن الخدعة. قد يكون الروبوت يغش؛ فقد يكون حفظ الإجابة بأن "ملح + ماء = حساء"، ولكن إذا أعطيته مكوناً غريباً مثل "معجون الأسنان"، فقد يحاول لا يزال صنع الحساء ويدعي أنه صحيح. أو، قد يكتب وصفة تقول "أضف الملح"، لكنه ينسى أن يقول "لا تضف السم". ولأن الاختبار لم يتضمن "معجون الأسنان" أو "السم"، فقد نجح الروبوت، رغم أنه في الواقع خطير أو معطل.

تجادل الورقة البحثية بأن الاختبارات الحالية صغيرة وسهلة للغاية، مما يجعل الذكاء الاصطناعي يبدو أذكى مما هو عليه في الواقع.

الحل: VeriScale (إطار عمل "اختبار الجهد")
ابتكر المؤلفون نظاماً جديداً يسمى VeriScale. فكر في هذا كـ "اختبار جهد" أو تمرين "الفريق الأحمر" (Red Team) لكود الذكاء الاصطناعي. بدلاً من مجرد طلب طبخ الحساء من الذكاء الاصطناعي، يحاول VerilScale خداع الذكاء الاصطناعي لجعله يفشل.

يعمل النظام عبر خطوتين رئيسيتين:

الخطوة 1: "مضمار العقبات" (التوسع)

أولاً، ينشئ VeriScale مضمار عقبات ضخم وفوضوي من المكونات.

البذرة: يبدأ بمكونات عادية.
الطفرة: يستخدم "آلة طفرات" لتحريف وتغيير هذه المكونات. يحول كوباً من الماء إلى دلو من الثلج، أو رشة ملح إلى جبل من الملح. إنه يخلق سيناريوهات غريبة وحالات استثنائية (edge-case) لم يسبق للذكاء الاصطناعي رؤيتها.
الطباخ "المخادع" (التخليق العدائي): هذا هو الجزء الذكي؛ حيث يطلب VeriScale من ذكاء اصطناعي آخر، ذكي جداً، أن يلعب دور "المخادع". يحاول هذا المخادع كتابة وصفة مزيفة تبدو وكأنها تتبع القواعد ولكنها تنتج في الواقع شيئاً تافهاً.
- مثال: إذا كانت القاعدة هي "يجب أن يكون الحساء ساخناً"، فقد يكتب المخادع وصفة تنتج "آيس كريم" ويدعي: "حسناً، تقنياً، الآيس كريم هو طعام، لذا فقد اتبعت القاعدة!".
- يقوم VeriScale بتشغيل وصفات "المخادع" هذه مقابل قواعد الذكاء الاصطناعي. إذا قبلت قواعد الذكاء الاصطناعي "الآيس كريم" على أنه "حساء ساخن"، فإن VeriScale يكشف الخلل. إنه يولد قائمة ضخمة من لحظات "الإيقاع في الفخ" هذه.

الخطوة 2: "قائمة التحقق الأساسية" (الاختزال)

الآن، يمتلك VeriScale الآلاف من حالات الاختبار الماكرة هذه. تشغيل كل هذه الحالات على كل ذكاء اصطناعي سيستغرق وقتاً طويلاً جداً وسيكلف ثروة. لذلك، يقوم بعملية "اختزال".

يسأل: "أي من هذه الخدع الـ 1,000 هي الأكثر أهمية؟"
يحتفظ بالخدع المحددة التي تكشف أكبر عدد من الأخطاء ويتخلص من تلك التي ليست سوى تكرار لغيرها.
النتيجة هي اختبار مدمج وشديد التحدي، وهو صغير بما يكفي ليتم تشغيله بسرعة، ولكنه لا يزال قادراً على كشف كل خلل يمكن أن تجده القائمة الضخمة.

النتائج: "مصل الحقيقة"
اختبر المؤلفون هذا النظام الجديد على أفضل نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5.5 وغيرها).

الاختبار القديم: حصلت نماذج الذكاء الاصطناعي على درجات مثل 96% أو 98%. بدت وكأنها عباقرة.
اختبار VeriScale: عند وضعه تحت اختبار الجهد، انخفضت الدرجات بشكل كبير. انخفضت درجة أحد النماذج العليا من 96% إلى 86% في البرمجة، ومن 68% إلى 44% في كتابة القواعد (المواصفات).

الخلاصة الكبرى
تظهر الورقة البحثية أن الاختبارات القديمة كانت تكذب علينا. لقد كانت تبالغ في تقدير مدى جودة الذكاء الاصطناعي في كتابة كود آمن وصحيح. اختبار "VeriScale" الجديد يكشف أنه بينما يجيد الذكاء الاصطناعي كتابة الكود الذي يبدو صحيحاً، إلا أنه لا يزال سيئاً جداً في كتابة القواعد التي تكتشف كل خطأ محتمل.

لقد أصدروا أيضاً نسختين من هذا الاختبار الجديد:

VERINAPLUS: اختبار الجهد الكامل والضخم (أكبر بـ 83 مرة من الاختبار الأصلي).
VERINALITE: النسخة "المخففة". وهي أكبر بـ 14 مرة من الأصل، ولكنها تستخدم خدعة "الاختزال" لتكون سريعة ورخيصة، ومع ذلك تكتشف نفس الأخطاء.

باخت-صار، VeriScale هو أداة تمنعنا من الانخداع بالذكاء الاصطناعي الذي يعرف فقط كيف يجتاز الاختبارات السهلة. إنه يجبر الذكاء الاصطناعي على إثبات قدرته على التعامل مع العالم الحقيقي الغريب، الفوضوي، والمخادع.

ملخص تقني: VeriScale: توسيع نطاق مجموعة اختبارات الخصومة لتوليد الكود القابل للتحقق

بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في هندسة البرمجيات، أصبح تقييم قدرتها على توليد ليس فقط كود وظيفي، بل وأيضاً مواصفات وبراهين قابلة للتحقق رسمياً، أمراً بالغ الأهمية. تعتمد المعايكات الحالية لتوليد الكود القابل للتحقق، مثل VERINA وCLEVER، بشكل كبير على تقييم مجموعات الاختبار لتقييم توليد المواصفات (SpecGen) وتوليد الكود (CodeGen). ومع ذلك، تعاني هذه المعايكات من قصور جوهري يتمثل في ندرة حالات الاختبار عالية الجودة، وخاصة حالات الاختبار السلبية (المدخلات غير المتوقعة والمخرجات غير المتوقعة).

توفر المعايكات الحالية عادةً عدداً محدوداً فقط من أزواج المدخلات والمخرجات الإيجابية. ونتيجة لذلك، يمكن للنماذج تحقيق معدلات نجاح متضخمة عبر تلبية هذه الاختبارات الشحيحة دون استيعاب حقيقي للقصد البرمجي أو ضمان سلامة واكتمال المواصفات المولدة. يؤدي هذا إلى المبالغة في تقدير قدرات النماذج، حيث ينجح الكود غير الصحيح أو المواصفات غير السليمة في اجتياز التقييم ببساطة لأن مجموعة الاختبار تفشل في كشف العيوب المنطقية أو انتهاكات الحدود.

المنهجية: إطار عمل VeriScale

لمعالجة هذه القيود، يقترح المؤلفون VeriScale، وهو إطار عمل مبتكر مدفوع بـ التنفيذات الخصومية (Adversarial Implementations) لتوسيع وتطوير مجموعات الاختبار بشكل منهجي لتوليد الكود القابل للتحقق. يعمل إطار العمل عبر مرحلتين رئيسيتين: توسيع مجموعة الاختبار وتقليص مجموعة الاختبار.

1. توسيع مجموعة الاختبار

الهدف من هذه المرحلة هو بناء مجموعة متنوعة وتحديّة من حالات الاختبار، تشمل أزواج المدخلات والمخرجات المتوقعة، والمدخلات غير المتوقعة، والمخرجات غير المتوقعة.

توليد البذور والتحوير المدرك للأنواع: استلهاماً من EvalPlus، يستخدم VeriScale النماذج اللغوية الكبيرة لتخليق بذور مدخلات أولية. ثم يتم توسيع هذه البذور عبر استراتيجية تحوير تكرارية مدركة للأنواع. يصيغ إطار العمل عملية التحوير كعملية خماسية العناصر ( $M = (T, D, O, p, q)$ ) تحافظ على أنواع المدخلات مع إدخال اضطرابات هيكلية. يتضمن ذلك إعادة استخدام القيم السياقية من "مجمع المكونات" أو تطبيق استدلالات خاصة بالنوع لتوليد حالات حافة معقدة.
تصنيف المدخلات الموجه بالاشتراطات المسبقة: يتم تصنيف المدخلات المرشحة بصرامة مقابل الاشتراطات المسبقة (preconditions) المرجعية باستخدام خط أنابيب تحقق ثنائي المرحلة في لغة Lean.
- مرشح بناء الجملة (Syntax Filter): يضمن أن المرشحين هي تعبيرات Lean صحيحة من حيث بناء الجملة.
- التحقق ثنائي الاتجاه: يستخدم #guard decide والبحث عن برهان معقول لتصنيف المدخلات كـ "متوقعة" (تستوفي الشرط المسبق) أو "غير متوقعة" (تخالفه).
التخليق الخصومي للمخرجات غير المتوقعة: هذا هو الابتكار الجوهري. بدلاً من الاعتماد على النماذج اللغوية الكبيرة لتخليق مخرجات خاطئة عشوائية، يقوم VeriScale بتخليق تنفيذات خصومية.
- يعمل نموذج قادر كـ "فريق أحمر" (Red Team)، حيث يولد مواصفات رسمية للمشكلة.
- يحاول نموذج آخر (أو نفس النموذج في دور مختلف) صياغة تنفيذات خصومية مصممة لاستغلال نقاط الضعف في هذه المواصفات.
- يتم تنفيذ هذه التنفيذات على مدخلات متوقعة. إذا أنتج تنفيذ خصومي مخرجاً يختلف عن الحقيقة المرجعية ولكنه يُقبل خطأً بواسطة الشروط اللاحقة (postconditions) المولدة، يتم الاحتفاظ بهذا المخرج كـ "مخرج غير متوقع" عالي الجودة. تضمن هذه العملية أن تكون حالات الاختبار معلوماتية حقاً لكشف عدم سلامة المواصفات.

2. تقليص مجموعة الاختبار

لإدارة التكلفة الحسابية لمجموعات الاختبار الموسعة، يستخدم VeriScale استراتيجيات تقليص لتقطير المجمع الكبير إلى مجموعات مدمجة ولكن تمييزية.

التقليص المحافظ على الحدود (للمدخلات غير المتوقعة): بدلاً من أخذ العينات العشوائية، تعطي هذه الاستراتيجية الأولوية للمدخلات التي تقابل انتهاكات شائعة للحدود (مثل الحاويات الفارغة، القيم الصفرية، اختلاف الأطوال). فهي تحتفظ بنماذج ممثلة من حزم الحدود الحرجة لضمان تغطية الانتهاكات النموذجية للاشتراطات المسبقة.
تقليص قتل الخصم (للمدخلات المتوقعة): تعيد هذه الاستراتيجية توظيف التنفيذات الخصومية التي تم تخليقها في مرحلة التوسيع. يتم تقييم كل زوج من المدخلات والمخرجات المتوقعة بناءً على عدد "الطفرات" (التنفيذات الخصومية) التي يمكنه "قتلها" (أي إنتاج مخرج مختلف عنها). يتم صياغة التقليص كمسألة تغطية المجموعات (Set-cover problem)، حيث يتم اختيار الأزواج التي تغطي أكبر عدد من الطفرات التي لم تُقتل سابقاً بشكل جشع. يضمن هذا احتفاظ المجموعة المختزلة بالقدرة على تمييز المواصفات المعيبة.

المساهمات الرئيسية

إطار عمل VeriScale: يقترح المؤلفون إطار عمل عام يستفيد من التنفيذات الخصومية لدفع كل من التوسيع المنهجي والتقليص لمجموعات الاختبار لتوليد الكود القابل للتحقق.
VERINAPLUS وVERINALITE: يتم تجسيد إطار العمل على معيار VERINA لإنشاء مجموعتين جديدتين من البيانات:
- VERINAPLUS: معيار موسع تم توسيع مجموعات الاختبار فيه بأكثر من 83 ضعفاً (تحديداً 62.83 ضعفاً للمدخلات المتوقعة، 87.79 ضعفاً للمخرجات غير المتوقعة، و183.08 ضعفاً للمدخلات غير المتوقعة).
- VERINALITE: نسخة خفيفة الوزن تم توسيعها بمقدار 14 ضعفاً، وهي محسنة عبر استراتيجيات التقليص للحفاظ على القدرة التمييزية بتكاليف تقييم أقل.
التحقق التجريبي: يوضح البحث أن المعايكات الحالية تبالغ بشكل كبير في تقدير قدرات النماذج. تكشف المعايكات المحسنة عن نقاط ضعف جوهرية في النماذج اللغوية الكبيرة الحديثة كانت مخفية سابقاً.

النتائج التجريبية

قيم المؤلفون ثمانية من النماذج اللغوية الكبيرة الرائدة (بما في ذلك GPT-5.5، وClaude-Sonnet-4.6، وDeepSeek-V4-Pro) عبر VERINA وVERINAPLUS وVERINALITE.

كشف نقاط ضعف النماذج: تسببت المعايكات المعززة في انخفاض حاد في الأداء. على سبيل المثال، انخفضت درجة SpecGen لنموذج GPT-5.5 من 68.78% في VERINA إلى 44.44% في VERINAPLUS، وانخفضت درجة CodeGen من 96.83% إلى 86.24%. يشير هذا إلى أن حالات الاختبار الشحيحة في المعيار الأصلي سمحت للنماذج بالنجاح دون فهم حقيقي.
تقليل عدم اليقين في التقييم: قللت مجموعات الاختبار الموسعة بشكل كبير من هوامش الخطأ في تقييم SpecGen. في المعيار الأصلي، خلقت نتائج التحقق غير المحددة فجوات واسعة بين الحدود العليا والدنيا (مثلاً، فجوة بنسبة 13.23% لـ Claude-Opus-4.7). في VERINAPLUS، تم حل هذا الغموض، حيث تقلصت الفجوة إلى 4.76%، مما وفر تقييماً أكثر موثوقية إحصائياً.
فجوة المتانة: تسلط النتائج الضوء على تفاوت جوهري: النماذج أكثر براعة في CodeGen منها في SpecGen. بينما شهدت درجات CodeGen انخفاضات معتدلة، عانت درجات SpecGen من انخفاضات حادة، مما يشير إلى أن تخليق مواصفات رسمية سليمة وكاملة لا يزال يمثل عقبة رئيسية أمام النماذج الحالية.
كفاءة التقليص: حققت VERINALITE ملفات تعريف انخفاض في الأداء تكاد تكون مطابقة لـ VERINAPLUS ولكن مع تكاليف حسابية أقل بكثير. كان وقت التقييم لـ VERINALITE هو 1.38× (SpecGen) و 1.05× (CodeGen) مقارنة بالأساس، مقارنة بـ 1.80× و 1.50× لمجموعة VERINAPLUS الكاملة.

الأهمية والادعاءات

يزعم البحث أن VeriScale يوفر معياراً حيوياً وعالي الموثوقية لتعزيز توليد الكود القابل للتحقق القائم على النماذج اللغوية الكبيرة. ومن خلال الانتقال من الاختبارات الإيجابية الشحيحة إلى تضمين الحالات السلبية المخلقة خصومياً، يقدم إطار العمل تقييماً أكثر صرامة يمنع المبالغة في تقدير قدرات النماذج.

يضع المؤلفون VeriScale كعنصر مكمل للجهود الحالية؛ فبدلاً من تقديم مهام جديدة، فإنه يعزز المعايكات الموجودة عبر توسيع جودة وكمية إشارات الاختبار. ويؤكد العمل على ضرورة التوسيع الخصومي للاختبارات لكشف هشاشة النماذج الحالية في مهام الاستدلال الرسمي.

الاعتراف بالقيود:
يشير المؤلفون إلى أن VeriScale يعتمد على توافر الاشتراطات المسبقة والتنفيذات المرجعية. علاوة على ذلك، فإن جودة المخرات غير المتوقعة المخلقة مقيدة بقدرات الاستدلال للنموذج اللغوي الذي يعمل كـ "فريق أحمر". أخيراً، تظل مرحلة البناء مكثفة حسابياً، وتتطلب عينات ضخمة من النماذج اللغوية الكبيرة وتنفيذاً متكرراً لـ Lean.

العمل المستقبلي:
يقترح المؤلفون تطوير VeriScale إلى نظام إصلاح ذو حلقة مغلقة لتوجيه النماذج في معالجة المواصفات المعيبة. كما يخططون لاستخدام VerScale كمحرك بيانات خصومي لتخليق مجموعات بيانات تدريبية لنماذج التلقائية الرسمية (autoformalization) المخصصة وتعميم إطار العمل على خلفيات تحقق أخرى مثل Dafny.