💬 NLP

Duel-Evolve: Reward-Free Test-Time Scaling via LLM Self-Preferences

تقدم الورقة البحثية "Duel-Evolve"، وهي طريقة لتوسيع النطاق في وقت الاختبار خالية من المكافآت، تستفيد من التفضيلات الذاتية الثنائية للنموذج اللغوي الكبير ضمن إطار تطوري بايزي لتتفوق بشكل كبير على النماذج المرجعية الحالية في اختبارات الرياضيات والبرمجة دون الحاجة إلى نماذج مكافأة خارجية أو تسميات صحيحة.

المؤلفون الأصليون: Sweta Karlekar, Carolina Zheng, Magnus Saebo, Nicolas Beltran-Velez, Shuyang Yu, John Bowlan, Michal Kucer, David Blei

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sweta Karlekar, Carolina Zheng, Magnus Saebo, Nicolas Beltran-Velez, Shuyang Yu, John Bowlan, Michal Kucer, David Blei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أفضل مسار مطلق للوصول إلى كنز مخفي في متاهة ضخمة يملؤها الضباب. لديك دليل (وهو النموذج اللغوي الكبير، أو LLM) يمكنه اقتراح المسارات، لكن ليس لديك خريطة، ولا نظام تحديد مواقع (GPS)، ولا بوصلة. في الواقع، أنت لا تعرف حتى أين يقع الكنز بالضبط حتى تعثر عليه بالصدفة.

هذه هي المشكلة التي واجهها الباحثون عند محاولة تحسين إجابات الذكاء الاصطنيعي للمهام المعقدة مثل المسائل الرياضية أو البرمجة. عادةً، تحتاج إلى "بطاقة تقييم" لتخبر الذكاء الاصطناعي: "هذه الإجابة هي 8 من 10، حاول الوصول إلى 9". ولكن بالنسبة للعديد من المهام الصعبة، يكون إنشاء بطاقة تقييم مثالية أمراً مستحيلاً، أو مكلفاً للغاية، أو غير موجود أصلاً.

إليك DUEL-EVOLVE. فكر فيه كوسيلة ثورية للتنقل في تلك المتاهة الضبابية دون الحاجة إلى بطاقة تقييم.

الطريقة القديمة: الناقد الوحيد

في السابق، حاولت الأساليب سؤال الذكاء الاصطناعي: "على مقياس من 1 إلى 10، ما مدى جودة هذه الإجابة؟"

المشكلة: الذكاء الاصطناعي سيء في إعطاء أرقام متسقة. قد يقول "8" اليوم و"6" غداً لنفس الإجابة. الأمر يشبه سؤال صديق لتقييم فيلم على مقياس من 1 إلى 10؛ قد يكون غير متسق، أو قد لا يعرف القواعد.

الطريقة الجديدة: البطولة (DUEL-EVOLVE)

بدلاً من طلب رقم، يسأل DUEL-EVOLVE سؤالاً أبسط بكثير: "بين الإجابة (أ) والإجابة (ب)، أيهما أفضل؟"

هذا يشبه مباراة ملاكمة أو بطولة تنس. من الأسهل بكثير على الإنسان (أو الذكاء الاصطناعي) أن يقول "اللاعب (أ) ضرب الكرة بشكل أفضل من اللاعب (ب)" مما هو عليه في قول "اللاعب (أ) ضرب الكرة بقوة 85% بالضبط".

إليك كيف يعمل DUEL-EVOLVE، خطوة بخطوة، باستخدام تشبيه إبداعي:

1. الحلبة (المجتمع)

تخيل حلبة ضخمة مليئة بمئات "المتسابقين" المختلفين (الإجابات المرشحة) التي يولدها الذكاء الاصطناعي. بعضها سيء للغاية، وبعضها مقبول، وقليل منها عبقري.

2. الحكم (الحكم الذاتي)

يعمل الذكاء الاصطناعي كحكم لنفسه. لا يحتاج إلى حكم خارجي. ينظر إلى متسابقين، لنقل "المرشح أ" و"المرشح ب"، ويعلن الفائز.

ملاحظة: الحكم ليس مثالياً. أحياناً يخطئ (ضجيج). ولكن إذا شاهدت الكثير من المباريات، تبدأ الحقيقة في الظهور.

3. لوحة النتائج (النموذج البايزي)

هذا هو الجزء السحري. يحتفظ النظام بسجل لكل مباراة. يستخدم خدعة رياضية خاصة (تسمى نموذج برادلي-تيري) لتحويل كل هذه النتائج الفوضوية مثل "أ هزم ب" و"ب هزم ج" إلى تصنيف عالمي.

الأمر يشبه جدول دوري رياضي. حتى لو لم يلعب الفريق (أ) ضد الفريق (ب) بعد، يمكن للجدول تقدير من هو الأفضل على الأرجح بناءً على من هزمهم ومن خسر أمامهم.
والأهم من ذلك، يتتبع النظام عدم اليقين. إذا لم يشهد النظام ما يكفي من المباريات بين اثنين من المرشحين، فإنه يعرف أنه ليس متأكداً تماماً من أيهما أفضل بعد.

4. الاستراتيجية (أخذ عينات تومسون المزدوجة)

لدى النظام ميزانية محدودة من "المباريات" التي يمكنه مشاهدتها قبل انتهاء الوقت. يجب أن يكون ذكياً في اختيار من يواجه من.

التحرك الذكي: إنه لا يضيع الوقت في جعل أسوأ المتسابقين يتقاتلون مع بعضهم البعض. بدلاً من ذلك، يستخدم بيانات "عدم اليقين" لاختيار أكثر المباريات واعدة. يتساءل: "من هم أبرز المنافسين الذين لسنا متأكدين بنسبة 100% بشأنهم بعد؟"
كما يختار أفضل "الآباء" (الفائزون الحاليون) لتوليد متسابقين جدد وأكثر تطوراً للجولة التالية.

5. التطور (الحلقة)

تتكرر العملية:

القتال: يضع الذكاء الاصطناعي المرشحين في مواجهة بعضهم البعض.
التصنيف: يقوم النظام بتحديث جدول الدوري.
التكاثر: يأخذ الذكاء الاصطناعي أفضل المرشحين من الجدول ويسأل: "بناءً على ما جعل هؤلاء الفائزين يفوزون، هل يمكنك ابتكار شيء أفضل؟"
التكرار: تدخل المرشحات الجديدة والمحسنة الحلبة.

لماذا يعد هذا أمراً هاماً

اختبرت الورقة البحثية هذا الأسلوب في تحديين صعبين للغاية:

MathBench: حل المسائل اللفظية الرياضية المعقدة.
LiveCodeBench: كتابة كود برمجي يجتاز الاختبارات المخفية.

النتائج:

الرياضيات: حقق DUEL-EVOLVE دقة بلغت 94%، متفوقاً على أفضل طريقة تالية بفارق شاسع (20 نقطة!).
البرمجة: حسن الدقة بأكثر من 12% مقارنة بالطرق المتقدمة الأخرى.

الخلاصة

الجزء الأكثر إذهالاً هو أن DUEL-EVOLVE لم يحتج إلى معلم.

لم يحتج إلى إنسان ليقيم الإجابات.
لم يحتج إلى "بطاقة تقييم" مبرمجة مسبقاً للرياضيات أو الكود.
لم يكن يعرف حتى الإجابة الصحيحة أثناء عملية البحث.

لقد احتاج فقط إلى أن يقارن الذكاء الاصطناعي أفكاره ببعضها البعض. من خلال تحويل الذكاء الاصطناعي إلى منظم بطولة، وحكم، ومدرب في آن واحد، تمكن من تطوير ذكائه الخاص لحل مشكلات لم يستطع حلها من المحاولة الأولى.

باختصاف: بدلاً من سؤال الذكاء الاصطناعي "ما مدى جودة هذا؟"، يسأل DUEL-EVOLVE "أيهما أفضل؟" ويتركه يقاتل طريقه نحو الإجابة المثالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DUEL-EVOLVE: REWARD-FREE TEST-TIME SCALING VIA LLM SELF-PREFERENCES".

1. بيان المشكلة

تتناول الورقة تحدي تحسين مخرجات النماذج اللغوية الكبيرة (LLMs) في وقت الاختبار للمهام المحددة عبر فضاءات مخرجات منفصلة وتوليفية (مثل البراهين الرياضية، توليد الكود، أو مسارات الاستدلال).

الصعوبة الجوهرية: يعتمد التحسين التقليدي على دالة مكافأة عددية $f(y)$ لتوجيه عملية البحث. ومع ذلك، في العديد من المهام المعقدة، تكون هذه الدرجات غير متوفرة، أو نادرة جداً (على سبيل المثال، عندما يكون المعروف فقط هو الصحة النهائية)، أو غير موثوقة (مثل أدوات التحقق الآلية التي تعاني من الضجيج).
محدودية الطرق الحالية: تتطلب طرق توسيع وقت الاختبار الحالية (مثل Best-of-N أو التحسين التكراري) عادةً مقيّماً عددياً خارجياً أو نموذج مكافأة مدرباً. وعند غياب هذه النماذج أو وجود ضجيج فيها، تعاني خوارزميات البحث للتمييز بين المرشحين أو تخصيص ميزانية الحوسبة بفعالية.
الهدف: تطوير خوارزمية تحسين تعمل على تحسين أداء النماذج اللغوية الكبيرة باستخدام التفضيلات الزوجية فقط المستخلصة من النموذج نفسه، دون الحاجة إلى تسميات خارجية (ground-truth labels)، أو نماذج مكافأة، أو دوال تسجيل مصممة يدوياً.

2. المنهجية: DUEL-EVOLVE

يقترح المؤلفون DUEL-EVOLVE، وهي خوارزمية تحسين تطورية تعامل عملية التحسين كمسألة "المنافسين الثنائيين" (Dueling Bandits). وهي تستبدل المكافآت العددية بالمقارنات الزوجية ("المبارزات" أو duels) وتستخدم إطار عمل بايزي (Bayesian framework) لتوجيه البحث.

المكونات الرئيسية:

التفضيل الذاتي كإشارة:
- يعمل نفس النموذج اللغوي الكبير كـ مولد (يقترح الحلول المرشحة) وكـ حكم (يختار المرشح المفضل بين خيارين).
- هذا يلغي الحاجة إلى إشراف خارجي.
نموذج برادلي-تيري البايزي (Bradley-Terry Model):
- لتجميع المقارنات الزوجية التي تعاني من الضجيج وتحويلها إلى تقدير عالمي للجودة، تستخدم الطريقة نموذج برادلي-تيري.
- يقوم النموذج بتعيين منفعة كامنة $\theta_y$ لكل مرشح $y$ . ويتم نمذجة احتمال تفضيل $y_i$ على $y_j$ كالتالي: $P(y_i \succ y_j) = \sigma(\theta_i - \theta_j)$ .
- الوعي بعدم اليقين: بدلاً من التقديرات النقطية، تستخدم الطريقة تقريب لابلاس (Laplace approximation) لحساب المتوسط البعدي ( $\mu$ ) والتباين ( $\sigma^2$ ) لكل مرشح. يوفر هذا فترات ثقة، مما يسمح للخوارزمية بالتمييز بين المرشح "عالي الجودة ولكن غير مؤكد" والمرشح "منخفض الجودة".
أخذ عينات تومسون المزدوج (Double Thompson Sampling - DTS) لتخصيص الميزانية:
- تواجه الخوارزمية مقايضة: أي الأزواج يجب مقارنتها لتعظيم كسب المعلومات؟
- تقوم بتكييف أخذ عينات تومسون المزدوج (DTS) لتخصيص ميزانية المقارنة.
- الآلية: في كل تكرار، تقوم الخوارزمية بأخذ عينات من المنافع الكامنة من التوزيع البعدي، وتحدد المرشحين الأكثر احتمالاً لكونهم الأمثل بناءً على هذه العينات، ثم تختار الأزوات للمقارنة التي تُعد "أمثلات محتملة". يركز هذا الجهد الحوسبي على المناطق الواعدة في فضاء البحث بدلاً من إضاعة الموارد على المرشحين غير الأمثل بوضوح.
الحلقة التطورية:
- التهيئة: توليد مجموعة أولية من المرشحين.
- التحديث: ملاءمة التوزيع البعدي لنموذج برادلي-تيري على المجموعة الحالية باستخدام جميع نتائج المبارزات التاريخية.
- التقييم: اختيار الأزواج للمقارنة باستخدام أخذ عينات تومسون وتحديث السجل التاريخي.
- التطور: اختيار المرشحين "الآباء" ذوي الدرجات العالية (بناءً على متوسطات التوزيع البعدي) وتكييف المولد (LLM) بناءً عليهم (مع قيم المنفعة المقدرة لهم) لإنتاج مرشحين "أبناء" جدد وأكثر تحسناً.
- التقليم (Pruning): الحفاظ على "مجموعة الناجين" عن طريق تقليم المرشحين الذين تقع حدود الثقة العليا الخاصة بهم تحت الحدود الدنيا لأفضل المرشحين، مما يضمن الكفاءة.

3. المساهمات الرئيسية

التحسين الخالي من المكافأة (Reward-Free Optimization): يثبت أن التفضيلات الذاتية الزوجية هي إشارة كافية وقوية لتحسين النماذج اللغوية الكبيرة في الفضاءات المنفصلة، مما يزيل الاعتماد على نماذج المكافأة الخارجية أو التسميات الأرضية أثناء عملية البحث.
التطور الواعي بعدم اليقين: يقدم دمجاً مبتكراً للاستدلال البايزي (تقريب لابلاس) مع البحث التطوري، مما يسمح للخوارزمية بالتعامل مع الأحكام التي تعاني من الضجيج وتخصيص ميزانيات الاستدلال المحدودة بكفاءة.
الابتكار الخوارزمي: يكيف "أخذ عينات تومسون المزدوج" لفضاء بحث توليفي ومتنامٍ حيث يكون أخذ العينات البعدي الدقيق مستحيلاً حسابياً، وذلك باستخدام اقتراحات مشروطة بالنماذج اللغوية لتقريب البحث عن المرشحين الأمثل.
القابلية للتوسع: يظهر أن الأداء يستمر في التحسن مع استثمار المزيد من الحوسبة (الأجيال)، على عكس الطرق التي تصل إلى مرحلة الثبات (plateau) مبكراً.

4. النتائج التجريبية

تم تقييم الطريقة على معيارين تحديين: MathBench (الاستدلال الرياضي) و LiveCodeBench (توليد الكود).

MathBench:
- المهمة: حل مسائل لفظية رياضية متعددة الخطوات (مستويات: MIDDLE, HIGH, COLLEGE).
- النتيجة: حققت DUEL-EVOLVE دقة بنسبة 94.0%.
- المقارنة: يمثل هذا تحسناً قدره 20 نقطة مئوية عن أقوى خط أساس (Feedback Descent بنسبة 72.0%)، ويتفوق بشكل كبير على الطرق غير التكرارية مثل Best-of-N (65.3%) و Self-Consistency (62.7%).
- التقارب: لوحظ تحسن سريع، حيث وصلت الدقة إلى 90% خلال أول 10 أجيال.
LiveCodeBench:
- المهمة: مسائل البرمجة التنافسية ذات مجموعات الاختبار المخفية.
- النتيجة: حققت DUEL-EVOLVE دقة بنسبة 37.4%.
- المقارنة: تفوقت على Feedback Descent (24.2%) و GEPA (25.3%) بأكثر من 12 نقطة مئوية.
- الأهمية: حتى مع التغذية الراجعة الشحيحة (حيث تتوفر حالات الاختبار العامة فقط أثناء البحث، والاختبارات المخفية فقط للتقييم النهائي)، نجحت الطريقة في التنقل عبر فضاء الحلول.

5. الأهمية والآثار المترتبة

التغلب على ندرة المكافأة: تثبت الورقة أنه بالنسبة للمهام التي يصعب فيها تحديد مكافأة عددية (مثل التوليد المفتوح أو الاستدلال المعقد)، فإن المقارنة الزوجية هي بديل قوي. فالنماذج اللغوية الكبيرة أفضل عموماً في الحكم على الجودة النسبية منها في تعيين درجات مطلقة.
الكفاءة: من خلال استخدام عدم اليقين البايزي لتوجيه البحث، تتجنب DUEL-EVOLVE المقارنات "المضيعة للوقت" الشائعة في الاستراتيجيات التطورية العشوائية أو الجشعة.
القدرة على التعميم: النهج مستقل عن النموذج اللغوي الأساسي (Model-agnostic) فيما يتعلق بالنموذج، ومحدد المهمة (Task-specific) فيما يتعلق بمخرجاتها، مما يجعله قابلاً للتطبيق على نطاق واس من المجالات بما في ذلك الكود، الرياضيات، والكتابة الإبداعية.
القيود: يشير المؤلفون إلى أنه بما أن الإشارة تأتي من النموذج نفسه، فقد يتم تضخيم الانحيازات المنهجية (مثل تفضيل الإجابات الواثقة ولكن غير الصحيحة). تشير الأعمال المستقبلية إلى استخدام مجموعات (ensembles) من النماذج أو المعايرة مقابل مجموعات فرعية موسومة للتخفيف من ذلك.

في الختام، تمثل DUEL-EVOLVE خطوة مهمة للأمام في توسيع حساب وقت الاختبار (test-time compute scaling)، حيث تثبت أن الاستراتيجيات التطورية المتطورة المدفوعة بالتفضيلات المولدة ذاتياً يمكن أن تتفوق على الطرق التي تعتمد على الإشراف الخارجي أو أخذ العينات البسيط.