🤖 machine learning

Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers

تُثبت هذه الورقة أن تدريب النماذج اللغوية الكبيرة الخاصة بالبرمجة باستخدام التعلم التعزيزي لتخليق أدوات حل قابلة لإعادة الاستخدام ومدركة للقيود لمسائل الأمثلة التوافقية يتفوق بشكل كبير على طرق البحث التقليدية أثناء الاستدلال، وذلك من حيث جودة الحل وكفاءة الحوسبة.

المؤلفون الأصليون: Soheyl Massoudi, Gabriel Apaza, Milad Habibi, Mark Fuge

نُشر 2026-05-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Soheyl Massoudi, Gabriel Apaza, Milad Habibi, Mark Fuge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: من "التخمين في كل مرة" إلى "كتابة دليل إرشادي"

تخيل أن لديك مساعداً ذكياً جداً ولكنه فوضوي بعض الشيء (نموذج لغوي كبير، أو LLM). في كل مرة تعطيه فيها لغزاً صعباً، يحاول حله من الصفر عن طريق التخمين، والتحقق، ثم التخمين مرة أخرى. أحياناً يصيب، ولكن غالباً ما يعلق أو يرتكب أخطاءً سخيفة. هكذا تحل معظم أنظمة الذكاء الاصطناعي المشكلات اليوم: إنها تقوم بعملية الاستنتاج في كل مرة تسألها فيها سؤالاً.

هذه الورقة البحثية تطرح سؤالاً مختلفاً: ماذا لو بدلاً من حل اللغز في كل مرة، تعلم الذكاء الاصطناعي كيفية كتابة دليل إرشادي مثالي (مُحلِّل - "solver") يمكن لأي شخص استخدامه؟

أراد الباحثون معرفة ما إذا كان بإمكانهم تدريب الذكاء الاصطناعي ليتوقف عن كونه "مساعداً يخمن" ويبدأ في التصرف كـ "مترجم برمجيات" (compiler). فبدلاً من القيام بالعمل لكل عميل جديد، سيتعلم الذكاء الاصطناعي القواعد مرة واحدة، ويكتب برنامجاً قابلاً لإعادة الاستخدام، ومن ثم يمكن لهذا البرنامج حل آلاف المشكلات المستقبلية فوراً.

الاختبار: صندوق الألغاز "المخادع"

لاختبار ذلك، أنشأ الباحثون نوعاً معيناً من الألغاز يسمى اختيار التبعية التآزرية (Synergistic Dependency Selection - SDS).

التشبيه: تخيل رحلة بحث عن الكنز حيث لديك حقيبة ظهر بحد أقصى للوزن. تريد اختيار عناصر ذات قيمة. لكن إليك الخدعة: بعض العناصر لا تكون ذات قيمة إلا إذا اخترتها معاً (تآزر)، وبعض العناصر تلغي بعضها البعض إذا اخترتهما معاً (صراع). أيضاً، تتطلب بعض العناصر منك اختيار عنصر آخر محدد أولاً (أسبقية).
الفخ: اللغز مصمم ليكون "مخادعاً". فالاستراتيجية البسيطة والجشعة (مثل "اختر الأثقل أولاً فقط") تبدو وكأنها ستنجح، لكنها في الواقع تقودك إلى طريق مسدود. الأمر يشبه المتاهة حيث المسار الذي يبدو مستقيماً وسهلاً يقودك في الواقع إلى حائط.

المشكلة مع الذكاء الاصطناعي "الأساسي"

حاول الباحثون أولاً استخدام نموذج ذكاء اصطناعي قياسي غير مدرب لحل هذه الألغاز. تركوا الذكاء الاصطناعي يحاول 64 مرة مختلفة لكل لغز (وهي طريقة تسمى "أفضل نتيجة من بين 64 محاولة" - Best-of-64) واختاروا أفضل إجابة.

النتيجة: حتى مع 64 محاولة، لم يحصل الذكاء الاصطناعي إلا على حوالي 71% من القيمة التي كان يمكن تحقيقها (فجوة قدرها 28.7%).
لماذا؟ كان الذكاء الاصطناعي "يهلوس" بالمنطق. كان يعرف اسم استراتيجية جيدة (مثل "المحاكاة التلدينية" - Simulated Annealing، وهي طريقة متطورة تعني "هز الصندوق للعثور على أفضل ترتيب")، ولكن عندما كتب الكود الخاص بتلك الاستراتيجية، ارتكب خطأً منطقياً حرجاً. كان الأمر يشبه طباخاً يعرف وصفة الكعكة ولكنه نسي تشغيل الفرن، أو الأسوأ من ذلك، وضع الكعكة في المجمد.

الحل: تعليم الذكاء الاصطناعي كيف "يصلح" منطقه الخاص

استخدم الباحثون بعد ذلك تقنية تسمى التعلم التعزيزي (Reinforcement Learning - RL). فكر في هذا كمدرب صارم لا يكتفي فقط بقول "عمل جيد!" أو "عمل سيئ!" بل يقدم ملاحظات محددة:

"بوابة الجدوى": يقول المدرب: "إذا كسر الكود الخاص بك القواعد (مثل اختيار عنصرين متضاربين)، فستحصل على صفر نقاط، بغضاً عن مدى جودة النتيجة الظاهرة". هذا يجبر الذكاء الاصطناعي على منح الأولوية لاتباع القواعد على مجرد الحصول على رقم عالٍ.
"عقوبة الكسل": يعاقب المدرب الذكاء الاصطناعي إذا حاول اتخاذ الطريق السهل (مثل فرز العناصر حسب الوزن وتجاهل التفاعلات المعقدة).
"السقالات" (The Scaffold): أعطوا الذكاء الاصطناعي قالب تفكير محدداً: "فكك المشكلة، خمن استراتيجية، انتقد تخمينك الخاص، ثم اكتب الكود".

النتائج: ولادة "مُحلِّل" قابل لإعادة الاستخدام

بعد هذا التدريب، لم يتحسن الذكاء الاصطناعي في التخمين فحسب؛ بل تغيرت طريقة عمله بشكل جذري.

تأثير "مترجم البرمجيات": تعلم الذكاء الاصطناعي كتابة قطعة واحدة من الكود القابل لإعادة الاستخدام (مُحلِّل) تنفذ استراتيجية "المحاكاة التلدينية" بشكل صحيح.
السحر: في 99.8% من الحالات، كتب الذكاء الاصطناعي كوداً يتبع هذا النمط الصحيح. لقد أصلح الأخطاء المنطقية التي كان يرتكبها الذكاء الاصطناعي غير المدرب باستمرار.
الأداء: حقق المُحلِّل الجديد ("البطل") درجة ضمن 5% من أفضل إجابة ممكنة نظرياً.
التكلفة: هذا هو الجزء الأكثر إثارة.
- الطريقة القديمة (التخمين 64 مرة لكل لغز) استهلكت الكثير من وقت الكمبيوتر لكل لغز جديد.
- الطريقة الجديدة (كتابة المُحلِّل مرة واحدة) تعني أن الكمبيوتر اضطر للقيام بالعمل الشاق مرة واحدة فقط. بعد ذلك، يمكن للمُحلِّل تشغيل آلاف الألغاز فوراً.
- الحسابات: كانت الطريقة الجديدة أرخص بمقدار 91 مرة من حيث وقت الكمبيوتر لكل لغز مقارنة بطريقة "التخمين" القديمة.

ما لم ينجح (الدروس "السلبية")

اختبر الباحثون أيضاً ماذا يحدث إذا تمت إزالة حيل التدريب الخاصة:

لا قواعد: إذا تركت الذكاء الاصطناعي يحاول أن يكون مبدعاً دون قواعد صارمة بشأن اتباع القيود، فإنه يعود لارتكاب الأخطاء.
قواعد مرنة: إذا أخبرت الذكاء الاصطناعي أنه "لا بأس بكسر القواعد قليلاً إذا كانت النتيجة عالية"، فإنه يفشل. يحتاج الذكاء الاصطناعي إلى إشارة "توقف" قاطعة ليتعلم احترام القواعد.
مجرد التوجيه (Prompt): إذا أخبرت الذكاء الاصطناعي فقط أن "يكون ذكياً" في التعليمات ولكن لم تدربه باستخدام نظام المكافآت، فإنه سيظل يفشل. التعليمات هي مجرد خريطة؛ أما التدريب فهو المركبة التي تقود السيارة بالفعل.

الخلاصة

تثبت هذه الورقة البحثية أنه يمكننا تدريب نماذج الذكاء الاصطناعي للتوقف عن كونها "خمنّمات فورية" والبدء في كونها "مبرمجين". من خلال استخدام التعلم التعزيزي مع قواعد صارمة، يمكن للذكاء الاصطناعي بناء أداة قابلة لإعادة الاستخدام تحل عائلة كاملة من المشكلات الصعبة بشكل صحيح، بدلاً من المعاناة لحل كل منها على حدة.

إنه الفرق بين توظيف شخص لحل مسألة رياضية لك كل يوم (مكلف وبطيء) وبين تعليم ذلك الشخص بناء آلة حاسبة تحل المسألة من أجلك للأبد (رخيص وسريع). لقد أظهر الباحثون أنه مع التدريب المناسب، يمكن للذكاء الاصطناعي بناء تلك الآلة الحاسبة.

ملخص تقني: ما وراء البحث في وقت الاستدلال

1. بيان المشكلة

تعامل النماذج اللغوية الكبيرة (LLMs) الحالية عادةً التحسين التوافقي (Combinatorial Optimization) كإجراء يتم أثناء وقت الاستدلال، حيث تحل كل حالة مشكلة على حدة من خلال أخذ العينات، أو البحث، أو التلقين المتكرر. هذا النموذج يفرض "تكلفة هامشية" للتفكير لكل استعلام جديد. يبحث المؤلفون فيما إذا كان التعلم التعزيزي (RL) يمكنه نقل تكلفة التفكير هذه إلى أوزان النموذج، مما يسمح بتخليق محلل قابل لإعادة الاستخدام (Reusable Solver) لعائلة كاملة من المشكلات بدلاً من توليد حلول لكل حالة على حدة.

تركز الدراسة على اختيار التبعية التآزرية (SDS)، وهي نسخة متحكم بها وشديدة الصعوبة (NP-hard) من مشكلة الحقيبة التربيعية (Quadratic Knapsack Problem). تم تصميم SDS لتكون مشهد تحسين "خادعاً" حيث:

الإشارات المحلية تتعارض مع الأمثلية العالمية: حيث تهيمن حدود التفاعل التربيعي على الأوزان الخطية، مما يؤدي إلى فشل الخوارزميات الجشعة (Greedy Heuristics).
قيود الجدوى الصارمة: يجب أن تستوفي الحلول قيود العدد، والأسبقية، والاستبعاد المتبادل، وحدود المجموعات.
استرجاع القوالب مقابل التشغيل العملي: بينما يمكن للنماذج الأساسية غالباً استرجاع بنية (Syntax) المحللات المناسبة (مثل Simulated Annealing)، إلا أنها تفشل بشكل متكرر في تنفيذ المنطق القابل للتنفيذ (Executable Logic) بشكل صحيح (مثل سوء تطبيق قواعد القبول).

تعالج الورقة ثلاثة أسئلة بحثية جوهرية:

جدار الكفاءة (Competence Wall): هل يمكن لأخذ العينات المكثف في وقت الاختبار (Best-of-N) استعادة أداء سياسة مدربة بالتعلم التعزيزي في المشاهد الخادعة، أم أن النموذج الأساسي يصطدم بسقف محدد؟
الإصلاح الدلالي (Semantic Repair): عندما ينجح التعلم التعزيزي، هل يقوم مجرد بزيادة تواتر الحلول الصحيحة، أم أنه يقوم بإصلاح المنطق الخوارزمي القابل للتنفيذ الذي لا يمكن لأخذ العينات الساذج استعادته؟
تخليق المحلل المستهلك (Amortized Solver Synthesis): هل يمكن لتحسين وقت التدريب أن يختزل التفكير في برنامج خفيف الوزن وقابل لإعادة الاستخدام يتفوق على البحث المتكرر لكل حالة؟

2. المنهجية

يقترح المؤلفون Hero، وهو سياسة تم ضبطها بدقة باستخدام تحسين السياسة النسبية للمجموعة (GRPO) على نموذج Qwen2.5-Coder-14B-Instruct. المنهج مقترح ليكون بسيطاً للغاية، حيث يتم تجريد العناصر المثبتة الشائعة (مثل عقوبات KL، أو تثبيت الأوراكل) لعزل آثار وصفة "الأولوية للجدوى".

المكونات الرئيسية:

المطالبة بالنظام ذات الهيكل (Scaffolded System Prompt): تفرض المطالبة حلقة تفكير "تفكيك-فرضية-نقد" (Deconstruct-Hypothesize-Critique). وهي تحذر النموذج صراحة من الخوارزميات الجشعة وتشجع على تصميم استراتيجيات بحث توازن بين الاستكشاف والاستغلال.
تصميم المكافأة الهرمي: تقوم مكافأة مركبة $r(o)$ $r (o)$ بإعطاء الأولوية للامتثال الهيكلي على الأمثلية الخام:
- التنسيق والتنفيذ ( $R_{exec}$ ): يضمن صحة بناء جمل Python، والامتثال للمخطط (Schema)، والبنية النظرية للرسوم البيانية. ومن المهم أنه يتضمن عقوبة فرز مضادة للكسل (Anti-lazy sorting penalty) لقمع ميل النموذج المدرب مسبقاً لاستخدام الخوارزميات الجشعة الخطية التي تتجاهل التفاعلات التربيعية.
- الأمثلية المقيدة بالجدوى ( $R_{nom}$ ): إشارة التحسين الأساسية مقيدة بصرامة. إذا انتهك الحل أي قيد صلب (العدد، الأسبقية، إلخ)، تكون المكافأة صفراً، بغض النظر عن درجة الهدف. هذا يجبر السياسة على إعطاء الأولوية للامتثال للقيود قبل تحسين الهدف.
نظام التدريب: تم تدريب النموذج لمدة 90 خطوة عالمية على 12 وحدة معالجة رسومية من نوع NVIDIA GH200، حيث لم يلاحظ سوى حوالي 4.5% من حقبة كاملة على مستوى المطالبة، ولكنه ولد 23,040 مسار تفكير.

3. المساهمات الرئيسية

مساهمات الورقة هي تجريبية وآلية وليست خوارزمية:

تحديد جدار الكفاءة: تحت نفس المطالبة، وصل أخذ العينات (Best-of-64) للنموذج الأساسي إلى حالة تشبع عند فجوة قدرها 28.7% عن أفضل محلل افتراضي (VBS). ورغم استرجاع قوالب محللات مناسبة ظاهرياً (حيث تشبه 21.9% من الأكواد الفريدة للنموذج الأساسي خوارزمية Simulated Annealing)، إلا أن النموذج الأساسي يفشل في تشغيلها بشكل صحيح.
إثبات الإصلاح الدلالي: تتقارب السياسة المدربة بالتعلم التعزيزي (Hero) نحو قالب Simulated Annealing مدرك للقيود في 99.8% من المخرات الممكنة. إنها تصلح "خطأ الأفضل العالمي" (Global Best Bug) المنتشر في عينات النموذج الأساسي، حيث يقارن منطق القبول بشكل خاطئ بين الجيران وبين أفضل قيمة عالمية جارية بدلاً من الحالة الحالية. هذا التصحيح يتيح سلوك التلدين (Annealing) الحقيقي.
التحقق من تخليق المحلل المستهلك:
- الأداء: يحقق Hero فجوة قدرها 5.0% عن VBS، متفوقاً بشكل كبير على النموذج الأساسي والخوارزميات الكلاسيكية مثل البحث المحلي (Local Search) (فجوة 10.0%).
- الكفاءة: Hero أرخص بمقدار 91 ضعفاً في تكلفة التنفيذ/البحث بعد التوليد مقارنة بالتكلفة التراكمية لـ Best-of-64.
- قابلية إعادة الاستخدام: أظهر تقييم "التجميع لمرة واحدة" أن محللاً واحداً مجمداً تم توليده لكل بذرة يظل تنافسياً للغاية (معدل نجاح 97.87%، وفجوة 4.34%) عند إعادة استخدامه دون تغيير عبر مجموعة الاختبار بأكملها، مما يثبت أن النموذج يخليق أداة قابلة لإعادة الاستخدام بدلاً من مولد لكل حالة.

4. النتائج والدراسات الاستقصائية (Ablations)

الأداء الرئيسي: يحقق Hero معدل نجاح 97.8% وفجوة 5.0% عن VBS. إنه يتفوق على خط الأساس ShinkaEvolve المحدث (الذي يستخدم نماذج احترافية قوية عند النشر) ويقترب من أداء CP-SAT (فجوة 1.0%) بينما هو أسرع بـ 6.3 ضعفاً في التنفيذ.
الدراسات الاستقصائية (Ablations):
- الهيكل الداعم (Structural Scaffolding): إزالة المكافأة الهيكلية (الفرز المضاد للكسل وفحوصات بنية الرسم البياني) يؤدي إلى انهيار الأداء إلى فجوة 34.7%، حيث يعود النموذج إلى الخوارزميات الجشعة الهشة.
- بوابة الجدوى: استبدال بوابة الجدونة الصارمة بعقوبة ناعمة أدى إلى تدهور الأداء بشكل كبير (معدل نجاح 57.4% مقابل 97.8%)، مما يؤكد أن البوابة الصارمة ضرورية لمنع الانهيار في الحلول غير الصالحة.
- الأوراكل/التنوع: إضافة تثبيت الأوراكل أو عقوبات التنوع أدى إلى تدهور الأداء، مما يشير إلى أن التغذية الراجعة المتفرقة التي تعطي الأولوية للجدوى أكثر فعالية من تشكيل المخرجات الكثيف.
التعميم:
- لا نسيان كارثي: يحتفظ النموذج بقدراته العامة في البرمجة (HumanEval Pass@1: 80.9% مقابل 82.3% للنموذج الأساسي).
- عبر المجالات: تطبيق نفس الوصفة على جدولة متجر العمل (JSSP) يعطي نتائج إيجابية (معدل نجاح 99.3%، وفجوة 6.12%)، رغم أن المؤلفين يشيرون إلى أن هذا دليل أضيق على الانتقال وليس إثباتاً لمتانة مستقلة عن المجال.

5. الأهمية والادعاءات

تدعي الورقة إمكانية نقل نماذج لغة البرمجة عبر التعلم التعزيزي من نظام البحث لكل حالة إلى تخليق محلل قابل لإعادة الاستخدام. تكمن الأهمية في اكتشاف أن التعلم التعزيزي لا يعمل مجرد "كمُحسّن لتوزيع الحلول" (أي تحسين كفاءة إيجاد الحلول الموجودة بالفعل) بل يعمل كمترجم وظيفي (Functional Compiler) يصلح المنطق القابل للتنفيذ (مثل إصلاح قاعدة قبول Metropolis) الذي لا يمكن لأخذ العينات الساذج استعادته بشكل موثوق.

يؤكد المؤلفون أن هذا النجاح يعتمد على هيكل منضبط يعطي الأولوية للجدوى بدلاً من وصفة عالمية. تعتمد الطريقة على خيارات تصميم محددة، مثل بوابة الجدوى الصارمة والعقوبات الهيكلية، وهي حساسة لتطبيع المكافأة. تشير هذه العمل إلى أنه بالنسبة لمشاهد التحسين المعقدة والخادعة، يمكن اختزال "التفكير" المطلوب لبناء محلل في أوزان النموذج، مما يخلق أداة قابلة للنشر أكثر كفاءة بكثير من البحث المتكرر في وقت الاستدلال.