🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

تقترح الورقة البحثية "التحسين المدفوع بالاستكشاف" (EDO)، وهو إطار عمل مبتكر يدمج أهداف الاستكشاف المعززة للتنوع في طرق ما بعد التدريب التكرارية مثل iDPO وGRPO لحل التوتر بين تنوع أخذ العينات في وقت الاستدلال وبين حدة التوزيع الناجمة عن التعلم المعزز، مما يعزز أداء الاستنتاج واستقرار النماذج اللغوية الكبيرة عبر المهام داخل التوزيع وخارجه.

المؤلفون الأصليون: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً (نموذج لغوي كبير) يتعلم حل الألغاز الرياضية المعقدة. أنت تريد أن تجعل منه خبيراً في حل المشكلات.

عادةً، عندما نقوم بتدريب هؤلاء الطلاب، نستخدم طريقة تسمى "التعلم التعزيزي" (Reinforcement Learning). فكر في الأمر كمدرب صارم لا يكافئ الطالب إلا إذا وجد الإجابة الأفضل الوحيدة. مع مرور الوقت، يصبح الطالب بارعاً جداً في إيجاد ذلك المسار المحدد. لكن هذه هي المشكلة؛ فهم يتوقفون عن الاستكشاف. يصبحون "عالقين" في روتين معين، حيث لا يعرفون سوى طريقة واحدة لحل المشكلة. وإذا فشلت تلك الطريقة الواحدة، فلن يكون لديهم خطة بديلة.

هذا يخلق صراعاً. فلحل الألغاز الصعبة حقاً، نستخدم غالباً تقنية تسمى "الاتساق الذاتي" (Self-Consistency) أثناء وقت الاختبار. هذا يشبه أن تطلب من الطالب حل نفس المشكلة 10 مرات مختلفة، ثم تختار الإجابة التي ظهرت أكثر من غيرها. هذا يعمل بشكل رائع إذا كان الطالب يولد 10 مناهج مختلفة. ولكن إذا تم تدريب الطالب على معرفة منهج واحد فقط، فإن طلب 10 محاولات منك لن يعطيك سوى 10 نسخ من نفس الإجابة (التي قد تكون خاطئة).

تقدم الورقة البحثية طريقة تدريب جديدة تسمى EDO (التحسين القائم على الاستكشاف) لإصلاح ذلك.

الفكرة الجوهرية: "المستكشف الفضولي" مقابل "المتخصص الآمن"

أدرك المؤلفون أنه لجعل خدعة "الاتساق الذاتي" تعمل، يجب أن يكون النموذج مستكشفاً فضولياً أثناء التدريب، وليس مجرد متخصص آمن.

الطريقة القديمة (المتخصص): يقول المدرب: "إذا حصلت على الإجابة الصحيحة، فهذا رائع! وإذا أخطأت، فحاول أن تكون مثل المرة الأخيرة التي أصبت فيها". يتعلم الطالب تكرار نفس النمط الناجح مراراً وتكراراً. والنتيجة هي طريقة تفكير ضيقة جداً و"حادة".
الطريقة الجديدة (EDO - المستكشف): يقول المدرب: "احصل على الإجابة الصحيحة، ولكن أيضاً، لا تكتفِ بتكرار ما فعلته في المرة السابقة. جرب مساراً مختلفاً قليلاً. إذا استمررت في فعل الشيء نفسه تماماً، فسأقوم بلطف بدفعك لتجربة شيء جديد".

التشبيه الإبداعي: المتاهة والمصباح اليدوي

تخيل أن الطالب في متاهة ضخمة ومظلمة (فضاء المشكلة) يحاول العثوة على المخرج (الإجابة الصحيحة).

التدريب القياسي: يجد الطالب مساراً إلى المخرج، فيحصل على مكافأة. في المرة القادمة، يتم تدريبه على اتباع نفس المسار تماماً بتركيز شديد. يتوقف عن النظر إلى الجدران أو الممرات الأخرى. إذا أُغلق هذا المسار لاحقاً، فسيكون عالقاً.
تدريب EDO: يجد الطالب مساراً إلى المخرج ويحصل على مكافأة. لكن المدرب يضيف قاعدة: "يجب عليك أيضاً التجول في بعض الممرات الجانبية التي لم تجربها من قبل". يتعلم الطالب الحفاظ على "مصباحه اليدوي" (توزيع الاحتمالات) واسعاً، ليضيء مسارات عديدة مختلفة، وليس فقط المسار الذي يعرف أنه يعمل.

كيف يعمل ذلك في الممارسة العملية

تأخذ الورقة البحثية طريقتين تدريب موجودتين (تسميان iDPO و GRPO) وتضيف إليهما قاعدة "الفضول" هذه. ويطلقان على النسخ الجديدة اسم ED-iDPO و ED-GRPO.

الآلية: رياضياً، يضيفون "جزاءً" (penalty) إذا أصبح النموذج مرتاحاً جداً مع إجاباته السابقة. هذا يجبر النموذج على البقاء "غير مرتاح" ومتنوعاً قليلاً، مما يبقي خياراته مفتوحة.
النتيجة: عندما يختبرون هذه النماذج الجديدة، فهي لا تقدم فقط إجابة واحدة جيدة، بل تولد مجموعة متنوعة من الحلول المختلفة.

لماذا هذا مهم (سحر "وقت الاختبار")

بسبب تنوع الحلول التي يولدها النموذج الآن، تصبح خدعة "الاتساق الذاتي" (طلب 10 إجابات والتصويت بينها) تعمل بشكل أفضل بكثير.

قبل: اطلب 10 إجابات $\leftarrow$ تحصل على 10 إجابات خاطئة متطابقة $\leftarrow$ التصويت $\leftarrow$ لا تزال الإجابة خاطئة.
مع EDO: اطلب 10 إجابات $\leftarrow$ تحصل على 10 مناهج مختلفة (بعضها صحيح وبعضها خاطئ) $\leftarrow$ التصويت $\leftarrow$ تفوز الإجابة الصحيحة لأنها ظهرت عدة مرات بأشكال مختلفة.

النتائج

اختبر المؤلفون هذه الطرق على مسابقات رياضية صعبة (مثل مجموعات بيانات AIME و MATH).

الدقة: حلت الطرق الجديدة (ED-iDPO و ED-GRPO) مسائل صحيحة أكثر من الطرق الأفضل السابقة.
التنوع: أنتجت النماذج إجابات أكثر تنوعاً بكثير (مقاسة بمدى اختلاف الكلمات والخطوات).
الاستقرار: على عكس الطرق الأخرى التي قد تسبب أحياناً "انهيار" النموذج (نسيان كل شيء وأصبح تكرارياً)، حافظت EDO على استقرار وإبداع النموذج طوال عملية التدريب.

ملخص

ببساطة، تعلم EDO نماذج الذكاء الاصطناعي أن تكون أقل هوساً بكونها "متسقة تماماً" وأكثر استعداداً لتكون "متنوعة إبداعياً". من خلال إجبار النموذج على استكشاف مسارات مختلفة أثناء التدريب، يصبح أفضل في حل المشكلات الصعبة عندما يُطلب منه توليد حلول متعددة في وقت الاختبار. إنه الفرق بين طالب يحفظ حلاً واحداً وطالب يفهم تضاريس المشكلة جيداً بما يكفي للعثور على الإجابة من زوايا مختلفة عديدة.

ملخص تقني: التحسين القائم على الاستكشاف لتحسين استدلال النماذج اللغوية الكبيرة أثناء وقت الاختبار

1. بيان المشكلة

أظهرت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) أن الجمع بين تقنيات ما بعد التدريب (تحديدًا التعلم التعزيزي، RL) وتوسيع نطاق الاستدلال أثناء وقت الاستنتاج يعزز قدرات الاستدلال بشكل كبير. ومع ذلك، يوجد توتر جوهري بين هذين النموذجين:

توسيع نطاق وقت الاستنتاج (Inference-Time Scaling): تعتمد تقنيات مثل الاتساق الذاتي (Self-Consistency)، وأخذ العينات من أفضل (N) (Best-of-N sampling)، والبحث في شجرة مونت كارلو (Monte Carlo Tree Search) على أخذ عينات متنوعة من توزيع احتمالي مسطح نسبيًا لاكتشاف الحلول المثلى.
ما بعد التدريب بالتعلم التعزيزي (RL Post-Training): تعمل تقنيات ما بعد التدريب التقليدية المعتمدة على التعلم التعزيزي (مثل PPO و DPO و GRPO) بطبيعتها على تضييق (شحذ) توزيعات المخرجات. فمن خلال ضبط النموذج بدقة نحو حلول عالية الثقة وعالية المكافأة، تؤدي هذه الطرق غالبًا إلى "انهيار النمط" (mode collapse)، مما يقلل من تنوع المسارات المولدة.

يحد هذا الانهيار التوزيعي من فعالية توسيع نطاق وقت الاستنتاج، حيث يفشل النموذج في توليد الحلول المرشحة المتنوعة اللازمة لطرق التجميع لتحديد الإجابة الصحيحة. غالبًا ما تعامل النهج الحالية توسيع نطاق وقت الاستنتاج كإجراء لاحق (post-hoc)، مما يؤدي إلى عدم مواءمة هدف التدريب مع متطلبات الاستكشاف المتنوع.

2. المنهجية: التحسين القائم على الاستكشاف (EDO)

يقترح المؤلفون التحسين القائم على الاستكشاف (EDO)، وهو إطار عمل مصمم لتعزيز التنوع خلال مرحلة ما بعد التدريب مع الحفاظ على المواءمة مع أهداف المهمة. يوسع EDO أهداف الاستكشاف المنحازة للمكافأة من الأعمال السابقة (مثل VPO و XPO) إلى بيئات التدريب التكرارية.

الآلية الجوهرية

يقدم EDO حدًا تنظيميًا يشجع صراحةً السياسة الحالية ( $\pi_\theta$ ) على التباعد عن السياسة السابقة ( $\pi_{t-1}$ )، بدلاً من مجرد الارتكاز إلى سياسة مرجعية ثابتة ( $\pi_{ref}$ ).

صياغة الانحياز للمكافأة:
يعيد المنهج تفسير الحوسبة في وقت الاستنتاج كدالة Q ضمنية. لتشجيع الاستكشاف، يعظم EDO هدفًا يتضمن حدًا يعزز التباعد عن السياسة السابقة.

تتم إعادة صياغة هدف التحسين لتعظيم $J^*(r^{(t)})$ ، والذي يترجم، تحت قيود محددة (توقع صفري تحت السياسة السابقة)، إلى تقليل تباعد كولباك-ليبلر العكسي: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ .
يعمل هذا الحد كقوة "تنافر"، مما يمنع السياسة من الانهيار في الأنماط المهيمنة للتدوير السابق، بينما يحافظ حد كولباك-ليبلر الأمامي القياسي ( $D_{KL}(\pi_\theta \parallel \pi_{ref})$ ) على الاستقرار ويمنع النسيان الكارثي.

التكامل مع الخوارزميات الحالية:
يتم دمج EDO بسلاسة في نموذجين من نماذج التعلم التعزيزي التكرارية الشائعة:

ED-iDPO (التحسين المباشر التكراري المدفوع بالاستكشاف): يعدل خسارة iDPO بإضافة حد الاستكشاف. يصبح الهدف:
$L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
حيث يتحكم $\alpha$ في قوة انحياز الاستكشاف.
ED-GRPO (تحسين السياسة النسبي للمجموعات المدفوع بالاستكشاف): يكيف هدف GRPO ليشمل تباعد كولباك-ليبلر العكسي على مستوى الرمز (token) بين السياسات الحالية والسابقة، مما يؤدي إلى تنعيم توزيع احتمالية المخرجات دون الحاجة إلى نموذج ناقد (critic model) منفصل.

خط تدريب تكراري:
يعمل الإطار في حلقة تكرارية:

توليد $N$ من الحلول المرشحة من السياسة الحالية.
إنشاء أزواج التفضيل (لـ iDPO) أو مكافآت المجموعات (لـ GRPO) بناءً على الصحة.
تحديث السياسة باستخدام هدف EDO المعزز.
التكرار، باستخدام السياسة المحدثة كمرجع لحد الاستكشاف في التدوير التالي.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

إطار عمل مبدئي: تقديم EDO، وهو إطار عمل يعزز توزيع المخرجات المسطح لموازنة الاستكشاف والاستغلال، مما يسهل بشكل خاص توسيع نطاق الاستدلال في وقت الاستنتاج.
تكامل سلس: إثبات إمكانية دمج EDO بسلاسة في خطوط تدريب ما بعد التدريب القياسية (iDPO و GRPO) لإنتاج نسخ محسنة (ED-iDPO و ED-GRPO) تحسن بشكل كبير تنوع الحلول وأداء الاستدلال.
التحقق التجريبي: تقييم شامل يظهر تحسينات متسقة عبر مختلف الهياكل الأساسية (Qwen, LLaMA)، مما يسلط الضوء على متانة EDO في منع انهيار الإفراط في التحسين.

4. النتائج التجريبية

الأداء داخل التوزيع (In-Distribution)

أُجريت التجارب على ثلاث اختبارات استدلال: GSM8K (رياضيات المرحلة الابتدائية)، Math (رياضيات التنافس الثانوية)، و s1K (أسئلة تنافسية صعبة).

مكاسب الدقة: تفوقت كل من ED-iDPO و ED-GRPO على الخطوط المرجعية القوية (ETO, GRPO, DAPO).
- في s1K، حققت ED-GRPO دقة بنسبة 38.6% (الاستدلال الجشع/Greedy) و 48.4% (الاتساق الذاتي)، متجاوزة أفضل خط مرجعي (ETO+SC) بنسبة 1.1% و 1.3% على التوالي.
- في Math و GSM8K، حسنت متغيرات EDO الدقة باستمرار مقارنة بالخطوط المرجعية لـ CoT والاتساق الذاتي القياسي.
التآزر مع توسيع نطاق وقت الاستنتاج: كانت مكاسب الأداء أكثر وضوحًا عند الجمع مع الاتساق الذاتي (Self-Consistency)، مما يشير إلى أن الحلول المتنوعة التي يولدها EDO يتم تجميعها بفعالية بواسطة طرق وقت الاستنتاج.

التعميم خارج التوزيع (OOD)

تم تقييم النماذج المدربة على s1K في خمسة اختبارات OOD وهي: (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench).

القدرة على العمل المباشر (Plug-and-Play): أظهرت النماذج المدربة بـ EDO قدرة قوية على التعميم عبر البيانات المختلفة دون إعادة تدريب.
التحسينات: حققت ED-GRPO متوسط زيادة قدرها 2.4% فوق خط GRPO المرجعي عبر جميع مهام OOD، مما يثبت أن تعزيز الاستكشاف يحسن القدرة على الانتقال إلى توزيعات بيانات غير متجانسة.

الدراسة الاستقصائية والتحليل

استقرار التدريب: على عكس GRPO أو ETO القياسية، التي أظهرت تدهورًا في الأداء أو ثباتًا بعد بضع دورات (علامات على الإفراط في التحسين)، حافظت متغيرات EDO على مكاسب أداء مستقرة عبر دورات تدريبية متعددة.
الحفاظ على الإنتروبيا: يوضح الشكل 4 في الورقة أنه بينما تدفع الطرق القياسية الإنتروبيا للسياسة بسرعة إلى مستويات منخفضة، تحافظ ED-GRPO على إنتروبيا أعلى بكثير طوال التدريب، مما يمنع انهيار النمط.
مقاييس التنوع: أنتجت متغيرات EDO مخرجات أكثر تنوعًا بشكل ملحوظ (مقاسة بـ Distinct-4). على سبيل المثال، في s1K، حسنت ED-GRPO مقياس Distinct-4 بنسبة 47.0% مقارنة بالنموذج المرجعي.
دراسة حالة: كشف تحليل نوعي لمسألة هندسية أن النماذج القياسية أنتجت مسارات استدلال متجانسة وخاطئة، بينما ولدت ED-iDPO استراتيجيات متنوعة (الهندسة الإحداثية، تفكيك المناطق، حجج التماثل)، مما سمح للتصويت في وقت الاستنتاج باختيار الإجابة الصحيحة.

5. الأهمية والادعاءات

تضع الورقة EDO كإطار عمل عملي لحل التوتر بين مواءمة التعلم التعزيزي (RL) ومتطلبات التنوع لتوسيع نطاق وقت الاستنتاج.

منع الانهيار: يدعي المؤلفون أن EDO يمنع بفعالية "انهيار الإفراط في التحسين"، وهو نمط فشل شائع في RLHF حيث تفقد النماذج القدرة على استكشاف حلول بديلة.
التوافق: يتم تسليط الضوء على توافق الطريقة مع خوارزميات تحسين السياسة المختلفة وتقنيات استنتاج وقت الاستنتاج (الاتساق الذاتي، Best-of-N، البحث في الشجرة).
القابلية للتوسع: من خلال تمكين النماذج من الاستفادة من مسارات استنتاج متنوعة، يسمح EDO باستخدام أكثر فعالية لحوسبة وقت الاستنتاج، وهو عامل حاسم لتوسيع قدرات الاستدلال دون زيادة عدد معاملات النموذج.

يخلص المؤلفون إلى أن EDO يقدم نهجًا مبدئيًا لموازنة الاستكشاف والاستغلال، مما يضع معيارًا جديدًا لاستدلال النماذج اللغوية الكبيرة، خاصة في الإعدادات التي تعتمد على توسيع نطاق وقت الاستنتاج.