🤖 AI

Semantic Voting: Execution-Grounded Consensus for LLM Code Generation

تُثبت هذه الورقة أنه بالنسبة لتوليد الكود بواسطة النماذج اللغوية الكبيرة في غياب "أوراكل" كامل، فإن أساليب الإجماع القائمة على التنفيذ تتفوق بشكل كبير على التصويت القائم على أنماط المخرجات، حيث تكون جودة مدخلات الاختبار المولدة هي المحرك الأساسي للنجاح وليس قاعدة التجميع المستخدمة تحديداً.

المؤلفون الأصليون: Shan Jiang, Zijian Yi, Chenguang Zhu

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shan Jiang, Zijian Yi, Chenguang Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير توظيف يحاول اختيار أفضل مرشح لوظيفة برمجة. لديك مجموعة كبيرة من المتقدمين (تم إنشاؤها بواسطة ذكاء اصطناعي)، لكن ليس لديك "نموذج إجابة" مثالي للتحقق من عملهم. عليك فقط التخمين من هو المصيب بناءً على أدائهم في اختبار ما.

هذه الورقة البحثية تشبه تجربة ضخمة لمعرفة أفضل طريقة لإجراء تلك المقابلة واختيار الفائز. اختبر الباحثون 18 سيناريو مختلفًا باستخدام نماذج ذكاء اصطناعي متنوعة، ووجدوا ثلاثة أسرار كبرى حول كيفية اختيار الكود الصحيح.

إليك التفاصيل بتبسيط شديد:

1. المشكلة: فخ "الكل أو لا شيء"

تستخدم معظم الأنظمة حاليًا طريقة تسمى "تصويت الأغلبية" (Majority Voting). تخيل أنك أعطيت جميع المرشحين مسألة رياضية واحدة. إذا أجاب المرشح بشكل صحيح، يحصل على صوت واحد. وإذا أخطأ (أو تعطل البرنامج)، يحصل على صفر من الأصوات. الفائز هو من يملك أكبر عدد من الأصوات.

تجادل الورقة بأن هذه الطريقة تشبه آلة تصويت معطلة.

العيب: إذا ارتكب المرشح خطأً صغيراً واحداً في سؤال غريب (مثل القسمة على صفر)، فإن النظام يرمي ملف ترشحه بالكامل في سلة المهملات، حتى لو كان مثالياً في كل شيء آخر.
النتيجة: هذه الطريقة غالباً ما تختار الشخص الخطأ أو لا تختار أحداً على الإطلاق لأنها حساسة جداً للأخطاء الصغيرة.

2. الحل: نهج "بصمة الإصبع" (التصويت الدلالي - Semantic Voting)

يقترح الباحثون طريقة جديدة تسمى "التصويت الدلالي". بدلاً من مجرد التحقق من "صح أم خطأ"، هم ينظرون إلى بصمة إصبع المرشح.

التشبيه: تخيل أنك لا تسأل فقط: "هل حللت اللغز؟"، بل تراقب كيف قام بحله. هل تعثر في خطوة معينة؟ هل تعطل عند نوع معين من الأرقام؟
كيف يعمل: يقوم النظام بتشغيل الكود على مدخلات اختبار عديدة. يسجل النمط الدقيق للنتائج (مثلاً: "حصل على الإجابة"، "تعطل عند الأرقام السالبة"، "انتهى الوقت"). ثم يجمع المرشحين الذين لديهم نفس النمط تماماً.
الفائدة: حتى لو تعثر الجميع في اختبار واحد غريب، يمكن للنظام أن يرى أن 40 من أصل 50 مرشحاً تعثروا بنفس الطريقة تماماً، بينما تعثر 10 بطرق مختلفة. إنه يختار المجموعة ذات "بصمة الإصبع" الأكثر اتساقاً، مما يحافظ على المعلومات القيمة التي كان من شأن الطريقة القديمة التخلص منها.

3. الاكتشافات الثلاثة الكبرى

الاكتشاف الأول: "بصمة الإصبع" تحقق انتصاراً ساحقاً

طريقة "بصمة الإصبع" الجديدة (والطرق الشبيهة القائمة على التنفيذ) أفضل بمراحل من تصويت "الصح/الخطأ" القديم.

الإحصائية: لقد حسنت الدقة بنسبة تتراوح بين 19% إلى 52% في جميع المجالات.
الخلاصة: من الأفضل بكثير النظر في تفاصيل سلوك الكود بدلاً من مجرد عد كم مرة حصل على درجة كاملة.

الاكتشاف الثاني: "أسئلة الاختبار" أهم من "قواعد تسجيل النقاط"

بمجرد أن تقرر استخدام طريقة "بصمة الإصبع"، لا يهم في الواقع أي قاعدة محددة تستخدمها لعد الأصوات. سواء استخدمت "التصويت الدلالي"، أو نظام "التصويت الموزون"، أو نظام "MBR"، فجميعها تؤدي أداءً متماثلاً تقريباً.

البطل الحقيقي: العامل الأهم هو كيفية إنشاء أسئلة الاختبار.
التشبيه: تخيل أنك تختبر سيارة.
- اختبار سيء: تقود فقط على طريق ممهد وفارغ (اختبار عشوائي بسيط). تبدو السيارة رائعة، لكنها تفشل في العالم الحقيقي.
- اختبار جيد: تطلب من خبير تصميم سيناريوهات محددة: "القيادة على تلة طينية"، "القيادة عبر بركة ماء"، "القيادة للخلف".
النتيجة: استخدام المدخلات القائمة على "النماذج الهيكلية" (Sketch-based) — حيث يُطلب من الذكاء الاصطناعي ابتكار أنواع محددة من التحديات، مثل "قائمة تحتوي على عناصر مكررة" أو "قائمة فارغة" — كان العامل الأكبر في النجاح. لقد تفوق هذا النهج على الاختبار العشوائي بنسبة تصل إلى 11%.
الدرس: إذا كانت أسئلة الاختبار الخاصة بك جيدة، فإن الطريقة المحددة التي تحصي بها الدرجات لا تهم كثيراً. وإذا كانت أسئلة الاختبار سيئة، فلا يمكن لأي قاعدة تسجيل نقاط أن تنقذك.

الاكتشاف الثالث: "التفكير العميق" لا يساعد دائماً

اختبر الباحثون ما إذا كان جعل الذكاء الاصطناعي "يفكر بعمق أكبر" (باستخدام وقت أطول للتفكير قبل الإجابة) يساعد في العملية.

المفاجأة: بالنسبة لتصويت "الصح/الخطأ" القديم، ساعد التفكير بعمق كثيراً. ولكن بالنسبة لطريقة "بصمة الإصبع" الجديدة، جعل التفكير بعمق الأمر أسوأ قليلاً أو لم يتغير.
لماذا؟ عندما يفكر الذكاء الاصطناعي بعمق شديد، فإنه يميل إلى إنتاج إجابات متشابهة جداً. هذا يقلل من "التنوع" بين المرشحين. إذا فكر الجميع بعمق شديد لدرجة أنهم جميعاً ارتكبوا نفس الخطأ، فلن يتمكن النظام من العثور على الحل الصحيح الفريد. الأمر يشبه جوقة موسيقية حيث يغني الجميع نفس النوتة الخاطئة بانسجام تام؛ هذا لا يساعدك في العثور على الأغنية الصحيحة.

الملخص: ماذا يجب أن نفعل؟

تخلص الورقة البحثية إلى أنه عندما لا نملك نموذج إجابة مثالي، فإن جودة الأدلة أهم من القاعدة التي نستخدمها لعدّها.

توقف عن استخدام التصويت البسيط "ناجح/راسب". فهو يتخلص من الكثير من المعلومات المفيدة.
ركز على صنع حالات اختبار أفضل. اطلب من الذكاء الاصطناعي توليد سيناريوهات متنوعة ومحددة (مثل "قائمة من الأرقام السالبة") بدلاً من مجرد سيناريوهات عشوائية.
لا تبالغ في التفكير في عملية تسجيل النقاط. بمجرد حصولك على اختبارات جيدة وطريقة لتتبع السلوك، فإن الرياضيات المحددة التي تستخدمها لاختيار الفائز لا تهم كثيراً.
لا تجبر الذكاء الاصطناعي على التفكير لفترة طويلة جداً. أحياناً، يكون وجود قدر من التنوع في الإجابات أفضل من كون الجميع يحاولون الوصول للكمال.

باختصار: الأسئلة الجيدة تتفوق على قواعد تسجيل النقاط الجيدة.

ملخص تقني: التصويت الدلالي – التوافق القائم على التنفيذ لتوليد الكود بواسطة النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تقوم النماذج اللغوية الكبيرة (LLMs) بتوليد الكود، ولكن اختيار الحل الصحيح من بين عدة مرشحات عينة يظل تحدياً عندما لا يتوفر "أوراكل" كامل (مجموعة اختبار شاملة). تقوم خطوط العمل الحالية عادةً بدمج التصويت النصي، والاستدلالات الترتيبية، والاتفاق القائم على التنفيذ، ومع ذلك فإن المساهمات النسبية لهذه المكونات غير واضحة. وتحديداً، غالباً ما تخلط الأعمال السابقة بين محورين حاسمين:

قيمة الأدلة السلوكية الأكثر ثراءً (مثل آثار التنفيذ المدركة للاستثناءات) مقابل التصويت بنمط المخرجات "الكل أو لا شيء".
الأهمية النسبية لجودة المدخلات مقابل قاعدة التجميع بمجرد استخدام الأدلة السلوكية.

تتجاهل النماذج المرجعية الحالية، مثل التصويت بالأغلبية لنمط المخرجات (MV)، المرشحات التي تتعطل (crash) عند أي مدخل مُولد، مما يقلص عملية الاختيار إلى مطابقة دقيقة لسلاسل القيم المرجعة المتصلة. هذا النهج حساس للمدخلات غير المثالية ويفشل في الحفاظ على الأدلة السلوكية الجزئية.

المنهجية: SEMANTICVOTE والتصميم التجريبي

خط عمل SEMANTICVOTE

يقدم المؤلفون SEMANTICVOTE، وهو منهج مصمم لدراسة التوافق القائم على التنفيذ. بخلاف نظام MV القياسي، يحتفظ SEMANTICVOTE بـ "بصمات تنفيذ مدركة للاستثناءات".

توليد المرشحات: يقوم نموذج لغوي كبير بأخذ عينات من $N$ من الحلول المرشحة.
توليد المدخلات (القائم على المخطط/Sketch-Based): يقوم النموذج بتوليد $K$ من مخططات المدخلات المجردة (على سبيل المثال، "قائمة فارغة"، "قائمة تحتوي على عناصر مكررة") تستهدف فئات تكافؤ سلوكية متميزة. يتم تجسيد كل مخطط $M$ من المرات بقيم ملموسة، مما ينتج عنه $D = K \times M$ من المدخلات الاختبارية المتنوعة.
البصمة (Fingerprinting): يتم تنفيذ كل مرشح على جميع المدخلات $D$ في بيئة معزولة (sandbox). يقوم النظام بتسجيل متجه البصمة: وهو زوج من (الحالة، القيمة) لكل مدخل، حيث تشمل الحالة: النجاح، نوع الاستثناء، أو انتهاء المهلة (timeout).
التجميع (Clustering): يتم تجميع المرشحات حسب التساوي التام لبصماتها.
الاختيار: يختار النظام الممثل الأكبر للمجموعة الأكبر. إذا وجدت مجموعة "نجاح كلي"، فإنه يُفضلها؛ وإلا، يتم اختيار أكبر مجموعة مدركة للاستثناءات. يتم إرجاع أقصر برنامج في المجموعة المختارة (مبدأ نصل أوكام - Occam's razor).

الإعداد التجريبي

تقيم الدراسة 18 تكويناً عبر:

النماذج: ثلاثة إصدارات تجريبية من Gemini (3.1 Pro، 3.1 Flash، 3.1 Flash Lite).
مستويات التفكير: منخفض، متوسط، وعالٍ.
المعايير (Benchmarks): HumanEval+ و MBPP+ (نسخ معززة بمجموعات اختبار أكبر بكثير).

يقارن المؤلفون SEMANTICVOTE مقابل:

التصويت بالأغلبية لنمط المخرجات (MV): يستبعد أي مرشح يعاني من خطأ في التنفيذ؛ ويجمع حسب تطابق سلسلة المخرجات بدقة.
التصويت الموزون (WV): يجمع حسب نمط المخرجات ولكن يزن المرشحات بناءً على معدل نجاحها.
MBR-Exec: يختار المرشح الذي يحقق أعلى مجموع من الاتفاقات على مخرجات المدخلات/الاستثناءات.
AST-normalized MV: نموذج مرجعي هيكلي يجمع حسب بنية شجرة الإعراب المجردة (AST) المعيارية.

النتائج الرئيسية

1. الاختيار القائم على التنفيذ يتفوق على التصويت بنمط المخرجات

عبر جميع التكوينات الـ 18، يتجاوز أفضل منتقٍ قائم على التنفيذ (SEMANTICVOTE، أو WV، أو MBR-Exec) التصويت بنمط المخرجات (MV) بمقدار 19 إلى 52 نقطة مئوية.

يتراجع أداء MV باستمرار حتى أمام "أفضل من N" (Best-of-N) البسيط (اختيار أول مرشح صحيح نحوياً)، وغالباً ما يفشل تماماً عندما تتسبب المدخلات المولدة في تعطل جميع المرشحات.
نمط الفشل الأساسي لـ MV هو مرشح "النجاح الكلي"، الذي يستبعد المرشحات الصحيحة على المعيار ولكنها تفشل عند مدخل محدد مُولد. وتسمح الطرق القائمة على التنفيذ بالحفاظ على الاتفاق الجزئي وأنواع الاستثناءات، مما يمكنها من استعادة الحلول الصحيحة.

2. جودة المدخلات هي المحرك الرئيسي للأداء

بمجرد تنفيذ المرشحات على مدخلات متنوعة، يكون تأثير قاعدة التجميع المحددة (SEMANTICVOTE مقابل Weighted Voting مقابل MBR-Exec) محدوداً.

عدم التمييز الإحصائي: أظهرت اختبارات Bootstrap المزدوجة عدم وجود فرق معنوي ( $p > 0.05$ ) بين SEMANTICVOTE والمجمعات الأخرى القائمة على التنفيذ عبر جميع التكوينات الـ 18. الفرق في الأداء ضئيل (على سبيل المثال، يختلف SEMANTICVOTE عن Weighted Voting بمقدار $-0.79 $إلى$ +0.61$ نقطة مئوية فقط).
هيمنة استراتيجية المدخلات: يعد اختيار استراتيجية توليد المدخلات هو المصدر الأكبر للتباين.
- التوليد القائم على المخطط (Sketch-based generation) (فئات مجردة يتم تجسيدها بشكل ملموس) هو الاستراتيجية الأقوى، حيث يتفوق على توليد المدخلات المباشر عبر LLM بمقدار 0.6 إلى 2.1 نقطة مئوية، ويتفوق على التوليد العشوائي (fuzzing) أو المدخلات القائمة على الأمثلة فقط بما يصل إلى 11.3 نقطة مئوية.
- تنتقل هذه الميزة باستمرار إلى جميع المجمعات الثلاثة القائمة على التنفيذ.

3. التفاعل مع عمق التفكير

يختلف تأثير "مستوى التفكير" (ميزانية الاستدلال) بين عائلات الاختيار:

تصويت نمط المخرات (MV): يحسن التفكير الأعمق الأداء (مثلاً +12 نقطة مئوية في HumanEval+ Flash) من خلال توليد مخرات أكثر اتساقاً.
الطرق القائمة على التنفيذ: يظل الأداء ثابتاً أو يتدهور قليلاً مع التفكير الأعمق. يفترض المؤلفون أن التفكير الأعمق يقلل من تنوع المرشحات، مما يترك مجموعات سلوكية أقل تميزاً، مما يحد من فائدة التوافق القائم على التنفيذ.

4. تفكيك فجوة "الأوراكل" (Oracle-Gap Decomposition)

يكشف تحليل الفشل أن فشل التوليد (عدم وجود مرشح صحيح في المجموعة) هو العائق المهيمن، حيث يمثل غالبية الأخطاء. أما فشل الاختيار (وجود مرشح صحيح ولكن لم يتم اختياره) فيبلغ في المتوسط 1.5 إلى 2.7%.

نظرًا لأن مجموعة المرشحات الصحيحة صغيرة، فلا يوجد مجال لأي قاعدة تجميع لتمييز الأداء، مما يفسر تقارب نتائج SEMANTICVOTE و WV و MBR-Exec.
يؤدي زيادة عدد المدخلات الاختبارية ( $D$ ) إلى عوائد متناقصة؛ حيث يستقر الأداء حول $D=30$ ، بينما يلتقط $D=10$ معظم المكاسب.

الأهمية والنطاق

يضع هذا البحث نفسه كـ تفكيك تجريبي وليس كمقترح لمنهجية جديدة. مساهمته الأساسية هي إعادة صياغة اختيار الكود في وقت الاستدلال كـ مشكلة جودة إشارة وليس مشكلة قاعدة تجميع.

جودة الإشارة: عندما لا تتوفر "أوراكل"، فإن جودة الأدلة السلوكية (المستمدة من مدخلات متنوعة وجيدة الهيكلة) تهم أكثر بكثير من القاعدة المستخدمة لتجميع تلك الأدلة.
الآثار العملية: لتحسين اختيار الكود، يجب على الممارسين إعطاء الأولوية لتوليد مدخلات اختبارية متنوعة وممثلة سلوكياً (مثل التوليد القائم على المخططات) بدلاً من تحسين خوارزميات التصويت المعقدة.
القيود: تقتصر الدراسة على معايير لغة بايثون ونماذج Gemini. كما يعتمد توليد المدخلات القائم على المخططات على معرفة النموذج بالمجال، وقد تنتج البرامج ذات الطبيعة غير الحتمية (nondeterminism) بصمات غير متسقة.

يخلص المؤلفون إلى أنه بينما يعمل SEMANTICVOTE كأداة للتقييم، فإن تقارب طرق التنفيذ يشير إلى أنه بمجرد إنشاء آثار سلوكية عالية الجودة، تصبح آلية التجميع أو التوزين ثانوية.