💬 NLP

$V_1$ : Unifying Generation and Self-Verification for Parallel Reasoners

تقدم الورقة البحثية $V_1$ ، وهو إطار عمل يوحد بين التوليد والتحقق الذاتي من خلال التصنيف الزوجي الفعال وخوارزمية تعتمد على نظام البطولة الموجهة بعدم اليقين، مما يحسن بشكل كبير أداء التوسع في وقت الاختبار وكفاءته في معايير الاستدلال المعقد ومعالجة الأكواد البرمجية مقارنة بطرق التحقق النقطي الحالية وطرق التعلم المعزز القياسية.

المؤلفون الأصليون: Harman Singh, Xiuyu Li, Kusha Sareen, Monishwaran Maheswaran, Sijun Tan, Xiaoxia Wu, Junxiong Wang, Alpay Ariyak, Qingyang Wu, Samir Khaki, Rishabh Tiwari, Long Lian, Yucheng Lu, Boyi Li, Alane Suhr

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Harman Singh, Xiuyu Li, Kusha Sareen, Monishwaran Maheswaran, Sijun Tan, Xiaoxia Wu, Junxiong Wang, Alpay Ariyak, Qingyang Wu, Samir Khaki, Rishabh Tiwari, Long Lian, Yucheng Lu, Boyi Li, Alane Suhr, Ben Athiwaratkun, Kurt Keutzer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ عبقري، لكنك مغرور قليلاً، وقد كُلفت بإعداد الطبق المثالي لعشاء مهم للغاية. أنت تعلم أنك لا تستطيع مجرد إعداد طبق واحد والأمل في أن يكون هو الصحيح؛ بل تحتاج إلى صنع العديد من النسخ المختلفة (16، أو 32، أو حتى أكثر) لضمان الوصول إلى الفائز.

هذا بالضبط ما تفعله النماذج اللغوية الكبيرة (LLMs) عند حل المشكلات الصعبة مثل البرمجة أو الرياضيات. فهي تولد "سلاسل تفكير" متعددة (حلول مختلفة) ثم يتعين عليها اختيار الأفضل من بينها. وهذا ما يسمى التفكير المتوازي (Parallel Reasoning).

المشكلة هي؟ كيف تختار الفائز؟

الطريقة القديمة: "الحَكَم المنفرد" (التحقق النقطي - Pointwise Verification)

في الماضي، كان النموذج ينظر إلى كل طبق من أطباقه الـ 16 على حدًا، وبشكل منفصل، ويعطيها درجة من 1 إلى 10.

العيب: الطاهي سيء في التقييم بمفرده. إذا بدا الطبق فاخرًا، فقد يعطيه 10/10، حتى لو كان محترقًا. وإذا بدا طبق بسيط ومثالي متواضع المظهر، فقد يعطيه 5/10.
النتيجة: غالبًا ما يختار النموذج الإجابة "المبهرجة ولكن الخاطئة" لأنه لا يستطيع التمييز بين 9 و10 عند النظر إلى كل منهما على حدة. الأمر يشبه محاولة تخمين وزن صخرة عبر حملها بيد واحدة دون استخدام ميزان.

الطريقة الجديدة: "البطولة" (إطار عمل V1)

أدرك الباحثون وراء ورقة البحث هذه، V1، أن البشر سيئون في الحكم على الأشياء في معزل عن غيرها، لكننا رائعون في المقارنة بين شيئين جنبًا إلى جنب.

لقد قدموا نظامًا جديدًا يسمى V1، ويتكون من جزأين رئيسيين:

1. V1-Infer: "بطولة الطهي بنظام سويسري" (وقت الاستدلال - Inference Time)

بدلاً من تقييم 16 طبقًا بشكل فردي، يضع V1-Infer هذه الأطباق في بطولة.

الإعداد: يأخذ طبقين ويسأل: "أيهما مذاقه أفضل؟"
الاستراتيجية: هو لا يقارن الأطباق عشوائيًا. بل يستخدم خوارزمية ذكية (مثل نظام البطولة السويسري في الشطرنج) لإيجاد المباريات الأكثر تقاربًا.
- إذا كان الطبق (أ) والطبق (ب) كلاهما سيئان، فإن النموذج يعرف ذلك فورًا.
- إذا كان الطبق (أ) والطبق (ب) كلاهما مثاليان تقريبًا، فإنه يبذل طاقة ذهنية إضافية لتحديد الفرق الضئيل بينهما.
التشبيه: تخيل أنك تحاول العثور على أسرع عداء. بدلًا من توقيت كل شخص بمفرده (وهو أمر صعب المعايرة)، تجعلهم يتسابقون ضد بعضهم البعض. أنت تركز طاقتك على السباقات بين المتنافسين الأوائل الذين هم في حالة تقارب شديد، بدلًا من إضاعة الوقت في سباقات بين أبطأ العدائين.
النتيجة: يصبح النموذج أفضل بكًا في العثور على الحل الأفضل فعليًا، حتى لو لم يكن هو الحل الأكثر شيوعًا.

2. V1-PairRL: "معسكر تدريب الطهاة" (وقت التدريب - Training Time)

تسأل الورقة أيضًا: "هل يمكننا تعليم الطاهي كيف يكون حَكَمًا أفضل أثناء تعلمه الطهي؟"

التدريب القديم: عادةً ما يتم تدريب النماذج على الطهي فقط. إذا ارتكبوا خطأً، يحصلون على درجة "سيئة". إنهم لا يتعلمون أبدًا كيفية نقد عملهم الخاص.
تدريب V1: يتم تدريب النموذج على القيام بـ الأمرين في نفس الوقت. يتعلم الطهي، ثم يتعين عليه فورًا مقارنة طبقه بطبق آخر صنعه للتو ليقرر أيهما أفضل.
التشبيه: تخيل مدرسة للطهي حيث لا يكتفي الطلاب بالطهي فحسب؛ بل يتعين عليهم أيضًا تقييم أطباق زملائهم. ومع تحسن الطلاب في الطهي، تصبح معايير التحكيم أكثر صعوبة. هذا يجبر الطالب على فهم لماذا الطبق جيد، وليس مجرد حفظ الوصفة.
النتيجة: يصبح النموذج "مُحقِّقًا ذاتيًا" (Self-verifier). فهو لا يولد إجابات فحسب، بل يولد إجابات يعرف أنها صحيحة لأنه مارس مقارنتها بغيرها.

لماذا يهم هذا الأمر (لحظة الإدراك!)

تُظهر ورقة البحث أن هذا النهج القائم على "المواجهة المباشرة" يحل مشكلتين كبيرتين:

المعايرة (Calibration): يتوقف النموذج عن إعطاء "10/10" لكل شيء. إنه يتعلم أن "10/10" أمر نادر ولا يُمنح إلا للأفضل على الإطلاق.
التنوع (Diversity): أحيانًا، تكون الإجابة الأفضل هي إجابة غريبة وفريدة تبدو مختلفة عن البقية. الأساليب القديمة (مثل التصويت للإجابة الأكثر شيوعًا) كانت ستقتل هذه الإجابة الفريدة. طريقة البطولة تجدها لأنها تقارنها مباشرة بالإجابات الخاطئة "الشائعة" وترى أنها تفوز.

الخلاصة

V1 يشبه ترقية النموذج من ناقد وحيد (يخمن الدرجات بعشوائية) إلى منظم بطولات ذكي (يعرف تمامًا من الفائز من خلال مشاهدتهم وهم يتنافسون).

بالنسبة للبرمجة: يجد الكود الخالي من الأخطاء المختبئ بين 15 كودًا يحتوي على أخطاء.
بالنسبة للرياضيات: يختار الحل الصحيح حتى عندما تكون الرياضيات معقدة.
بالنسبة للحياة الواقعية: يساعد الذكاء الاصطناعي في إصلاح أخطاء البرمجيات في العالم الحقيقي (مثل تلك الموجودة في أمثلة الورقة مع Django و Matplotlib) عن طريق مقارنة الإصلاحات (patches) جنبًا إلى جنب.

باختصار: لا تطلب من النموذج تقييم واجبه المنزلي في معزل عن غيره. اجعله يقيم واجبه المنزلي من خلال مقارنته بمحاولاته الأخرى. بهذه الطريقة تحصل على أفضل النتائج.

إليك ملخص تقني مفصل لورقة البحث "V1: توحيد التوليد والتحقق الذاتي للمستنتجات المتوازية" (V1: Unifying Generation and Self-Verification for Parallel Reasoners).

1. بيان المشكلة

تستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد توسيع وقت الاختبار (test-time scaling) لحل مهام الاستنتاج المعقدة. وتتمثل إحدى الاستراتيجيات الرئيسية في الاستنتاج المتوازي (parallel reasoning)، حيث يقوم النموذج بتوليد سلاسل متعددة ومستقلة من الأفكار (المرشحات) وتجميعها لاختيار الإجابة الأفضل.

عنق الزجاجة: بينما يزيد توليد $N$ من الحلول من احتمالية أن يكون أحدها صحيحًا (تحسين $Pass@N $)، فإن اختيار الحل الصحيح من بين المجموعة ($ Pass@1$) يظل أمرًا صعبًا دون وجود حقيقة خارجية (مثل حالات الاختبار أو مطابقة الإجابة الدقيقة).
قصور النهج الحالية:
- التحقق الذاتي النقطي (Pointwise Self-Verification): تطلب الطرق الحالية من النموذج تقييم كل مرشح بشكل مستقل (على سبيل المثال، من 1 إلى 10). وتجادل الورقة بأن هذا يعاني من انهيار المعايرة (calibration collapse) لأن النماذج تفتقر إلى مرجع مقارن، مما يؤدي إلى تباين عالٍ وتحيز نحو قبول الحلول غير الصحيحة.
- التجميع الذاتي (مثل RSA): غالبًا ما تعاني الأساليب التي تدمج الحلول بشكل تكراري من انهيار التنوع (diversity collapse)، حيث تعمل عملية الصقل على استبعاد الحلول "الخارجة عن المألوف" الصحيحة، مما يتسبب في انخفاض $Pass@N$ مع زيادة خطوات التجميع.
- فجوات التدريب: تفشل طرق التعلم المعزز (RL) الحالية عادةً في تدريب المولدات والمحققات بشكل منفصل أو باستخدام مكافآت نقطية، مما يفشل في الاستفادة من الطبيعة المتوازية للاستنتاج أثناء التدريب.

2. المنهجية

يقترح المؤلفون V1، وهو إطار عمل موحد يتكون من مكونين رئيسيين: خوارزمية وقت الاستنتاج (V1-Infer) وإطار عمل التدريب (V1-PairRL).

أ. V1-Infer: التصنيف الزوجي الموجه بعدم اليقين

بدلاً من تقييم المرشحات بشكل منعزل، يستخدم V1-Infer التحقق الذاتي الزوجي (مقارنة حلين في كل مرة) لتحديد الجودة النسبية.

الرؤية الجوهرية: النماذج أفضل بكثير في تحديد أي من حليْن هو الأفضل (التصنيف النسبي) مقارنة بتعيين درجة مطلقة لحل واحد.
الخوارزمية (بطولة نظام سويس - Swiss-System Tournament): لتجنب التكلفة التربيعية لمقارنة جميع الأزواج ( $O(N^2)$ $O (N^{2})$ )، يستخدم V1-Infer استراتيجية مدركة للميزانية تتكون من مرحلتين:
1. تغطية الطوبولوجيا (Topology Coverage): تضمن مقارنة كل مرشح بحد أدنى من المرات ( $d_{min}$ ) لمنع وجود حلول "يتيمة". تقوم هذه المرحلة بربط العقد ذات الدرجة المنخفضة بمرشحات ذات درجات حالية مماثلة لترسيخ التصنيف.
2. صقل سويس (Swiss Refinement): يستخدم نهجًا موجهًا بعدم اليقين. يقوم بترتيب المرشحات حسب الجودة المقدرة حاليًا، وربط الجيران ذوي فجوات الدرجات الأصغر (الحالات القريبة من التعادل). يركز هذا على تخصيص ميزانية الحوسبة للمقارنات الأكثر غموضًا، مما يعظم كسب المعلومات لكل استدعاء للتحقق.
التجميع الموزون: بدلاً من التصويت البسيط بالربح/الخسارة، يخصص النموذج درجة ثقة (1-10) لكل حل في الزوج. الدرجة النهائية هي معدل فوز موزون، حيث يتناسب الوزن مع مقدار فرق التقييم (الثقة).

ب. V1-PairRL: التدريب المتطور المشترك الموحد

تقدم الورقة إطار عمل للتعلم المعزز (RL) يدرب نموذجًا واحدًا بشكل مشترك ليعمل كمولد وكمحقق زوجي.

التطور المشترك (Co-Evolution): على عكس التدريب غير المتصل (offline) أو النماذج المنفصلة، يضمن V1-PairRL أن المحقق يتم تدريبه دائمًا على التوزيع الحالي لمخرجات المولد. ومع تحسن المولد، يتكيف المحقق لتقييم الحلول ذات الجودة المتزايدة.
دالة الهدف: إجمالي المكافأة هو مزيج من صحة التوليد ( $J_{Gen}$ ) ودقة التحقق الزوجي ( $J_{PairVerif}$ ).
الحد من تلاعب المكافأة (Reward Hacking):
- انهيار الرهان الآمن (Safe Bet Collapse): لمنع المحقق من إخراج درجات محايدة (مثل 0.5) لتقليل المخاطر، يتم تطبيق عتبة ندرة. لا يتلقى المحقق مكافأة إلا إذا كانت درجته قريبة جدًا من الحقيقة (0 أو 1).
- حلقة الحل الفارغ (Empty Solution Loop): لمنع المولد من الانهيار إلى مخرجات تافهة أو فارغة يسهل على المحقق رفضها، يتم تشغيل تدريب التحقق فقط عندما تحتوي الأزواج على حل واحد صحيح على الأقل.

3. المساهمات الرئيسية

تحديد انهيار المعايرة: توضح الورقة أن التحقق الذاتي النقطي يفشل في الاستنتاج المتوازي بسبب غياب المرجع المقارن، بينما يوفر التصنيف الزوجي بديلًا قويًا ومعايرًا.
خوارزمية V1-Infer: خوارزمية بطولة مبتكرة موجهة بعدم اليقين، تحقق دقة اختيار عالية مع عدد أقل بكثير من استدعاءات التحقق مقارنة بالمقارنة الزوجية الشاملة أو التجميع الذاتي التكراري (RSA).
إطار عمل V1-PairRL: أول إطار عمل موحد للتعلم المعزز يدرب بشكل مشترك نموذجًا واحدًا للتوليد والتحقق الذاتي الزوجي، مما يضمن بقاء المحقق ضمن التوزيع الخاص بالقدرات المتطورة للمولد.
الحفاظ على التنوع: على عكس أساليب التجميع التي تقلل من $Pass@N$، يحافظ V1-Infer على تنوع الحلول مع تحسين $Pass@1$ من خلال الاختيار الفعال لأفضل مرشح من المجموعة.

4. النتائج التجريبية

تم تقييم إطار العمل على معايك توليد الكود (LiveCodeBench, CodeContests, SWE-Bench) ومعايك الاستنتاج الرياضي (AIME, HMMT).

أداء الاستنتاج (V1-Infer):
- تفوق على التحقق النقطي بنسبة تصل إلى 10% في $Pass@1$ عبر نماذج مختلفة (GPT-OSS, Qwen).
- تجاوز التجميع الذاتي التكراري (RSA) في الدقة مع تطلب عدد أقل بكثير من استدعاءات النموذج (كفاءة أعلى).
- أظهر مكاسب هائلة في المسائل الصعبة: في المسائل الصعبة في LiveCodeBench، تحسن $Pass@1$ من 40.2% إلى 63.9% (+23.7%).
- الهندسة في العالم الحقيقي: في SWE-Bench Lite (مشكلات GitHub)، حقق التحقق الزوجي معدل حل قدره 33.3%، متفوقًا على التحقق النقطي (28.3%) والاختيار التقليدي (26.3%).
أداء التدريب (V1-PairRL):
- توسيع وقت الاختبار: حققت النماذج المدربة باستخدام V1-PairRL مكاسب أعلى بنسبة 7-9% في توسيع وقت الاختبار مقارنة بمعايير التعلم المعزز القياسية أو التدريب المشترك النقطي.
- الأداء الأساسي: حتى بدون توسيع وقت الاختبار، حسن V1-PairRL الأداء الأساسي لـ $Pass@1$ بنسبة تصل إلى 8.7% فوق التعلم المعزز القياسي، مما يثبت أن التدريب المشترك يحسن قدرات الاستنتاج الأساسية للنموذج.
- الدراسة الاستقصائية (Ablation): تفوق التدريب المتطور (online) بشكل كبير على خطوط الأساس غير المتطورة (offline)، مما يثبت أهمية تكيف المحقق مع التوزيع الحالي للمولد.

5. الأهمية

تحول في النموذج الفكري: ينقل V1 المجال بعيدًا عن صقل النظام 2 (System 2) المتسلسل والتقييم المستقل نحو الاستنتاج المتوازي مع التحقق الزوجي.
الكفاءة: يثبت أنه يمكن تحقيق استنتاج عالي الجودة دون الحاجة إلى "أوراكل" خارجي أو ميزانيات حوسبة ضخمة، وذلك من خلال تخصيص موارد التحقق بذكاء للمقارنات الأكثر عدم يقينًا.
القابلية للتوسع: يشير نهج التدريب الموحد إلى أن النماذج اللغوية المستقبلية يمكن تدريبها لتكون بطبيعتها أفضل في النقد الذاتي والاختيار، مما يفتح الإمكانات الكاملة لتوسيع وقت الاختبار للمهام المعقدة والمفتوحة مثل هندسة البرمجيات والاكتشاف الرياضي.
القدرة على التعميم: يثبت النجاح في SWE-Bench (إصلاحات الكود مفتوحة النهاية) أن التحقق الذاتي الزوجي ليس مقتصرًا على المجالات الموضوعية (مثل الرياضيات) فحسب، بل هو فعال أيضًا لمهام الاستنتاج المعقدة والذاتية.