🤖 AI

Forge: Quality-Aware Reinforcement Learning for NP-Hard Optimization in LLMs

تقدم الورقة البحثية OPT-BENCH، وهو إطار عمل شامل يستخدم التعلم التعزيزي القائم على الجودة مع المكافآت القابلة للتحقق (RLVR) لتدريب النماذج اللغوية الكبيرة على مشكلات التحسين ذات التعقيد الحسابي من فئة NP-hard، مما يظهر تحسينات ملحوظة في جودة الحلول والقدرة على التعميم عبر مهام استدلال متنوعة مقارنة بالنماذج الحالية ونهج المكافأة الثنائية.

المؤلفون الأصليون: Xiaozhe Li, Xinyu Fang, Shengyuan Ding, Yang Li, Linyang Li, Haodong Duan, Qingwen Liu, Kai Chen

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiaozhe Li, Xinyu Fang, Shengyuan Ding, Yang Li, Linyang Li, Haodong Duan, Qingwen Liu, Kai Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت ذكي جداً (نموذج لغوي كبير، أو LLM) بارع في الإجابة على أسئلة مثل "هل هذه المسألة الرياضية محلولة بشكل صحيح؟" أو "هل كتبت هذه الكلمة إملائياً بشكل صحيح؟". لفترة طويلة، قمنا بتدريب هذه الروبوتات عبر قول "عمل جيد!" إذا كانت الإجابة صحيحة و"حاول مرة أخرى" إذا كانت خاطئة. هذا يشبه تصحيح اختبار اختيار من متعدد حيث توجد إجابة واحدة صحيحة فقط.

ولكن ماذا لو لم تكن المهمة تتعلق فقط بالحصول على الإجابة صحيحة، بل بالحصول على الإجابة الأفضل؟

هذه هي المشكلة التي يعالجها بحث FORGE. الأمر يشبه مطالبة الروبوت ليس فقط بإيجاد أي طريق للوصول إلى البقالة، بل إيجاد الطريق الأقصر والأسرع الممكن، حتى لو كانت هناك ملايين الطرق الأخرى الصالحة التي تستغرق وقتاً أطول.

إليك تفصيل بسيط لكيفية قيامهم بذلك:

1. المشكلة: "جيد بما يكفي" مقابل "الأفضل"

تخيل أنك تقوم بتعبئة حقيبة سفر.

الطريقة القديمة (المكافآت الثنائية): تسأل الروبوت أن يقوم بالتعبئة. إذا استوعبت الحقيبة كل الأشياء، تقول له "نجاح!". وإذا فاضت الأشياء، تقول له "فشل". يتعلم الروبوت مجرد وضع الأشياء في الحقيبة، حتى لو ترك نصف الحقيبة فارغاً أو وضع الأشياء الثقيلة فوق الأشياء الهشة.
طريقة FORGE (المكافآت المدركة للجودة): تخبر الروبوت، "النجاح أمر جيد، ولكن إذا استطعت وضع مزيد من الأشياء في نفس المساحة، أو رتبتها بحيث تكون أخف وزناً، فستحصل على مكافأة أكبر". هنا يتعلم الروبوت الاستمرار في المحاولة لتحسين التعبئة حتى تصبح مثالية.

يجادل البحث بأن نماذج الذكاء الاصطنيعي الحالية بارعة في إيجاد حلول "صالحة" (مثل طريق يعمل)، لكنها سيئة في إيجاد حلول "مثلى" (مثل الطريق الأفضل على الإطلاق). وهذا أمر بالغ الأهمية للمشكلات الواقعية مثل اللوجستيات، والجدولة، وتصميم الشبكات، والتي تُعرف باسم مشكلات NP-hard (وهي مسائل رياضية يصعب للغاية حلها بشكل مثالي).

2. الحل: مصنع الـ "Forge"

بنى المؤلفون مصنعاً يسمى FORGE-ENGINE لتدريب هذه الروبوتات لتكون أفضل في عمليات التحسين (Optimization). فكر في الأمر كأنه صالة ألعاب رياضية لعقل الذكاء الاصطناعي، ولكن بدلاً من رفع الأثقال، فإنه يحل ألغازاً معقدة.

يحتوي المصنع على ثلاث آلات رئيسية:

المولد (The Generator): هذه الآلة تنشئ الملايين من ألغاز التدريب. يمكنها صنع ألغاز سهلة (مثل لغز من 5 قطع)، متوسطة، أو صعبة (مثل لغز من 1,000 قطعة).
المُحقّق (The Validator): هذا هو الحكم الصارم. يتحقق مما إذا كان حل الروبوت يتبع القواعد فعلياً (على سبيل المثال: "هل زرت كل مدينة مرة واحدة بالضبط؟").
المُحل الاستدلالي (The Heuristic Solver - السر الخفي): هذا هو الجزء الأهم. إنه برنامج حاسوبي تقليدي سريع جداً يحل اللغز بشكل شبه مثالي. وهو يعمل كمعيار ذهبي أو كمدرب.
- التشبيه: تخيل الروبوت كطالب يؤدي اختباراً. المُحقّق يتأكد من أن الإجابة مكتوبة بشكل صحيح. أما المُحل الاستدلالي فهو المعلم الذي يملك نموذج الإجابة. إذا حصل الطالب على 80% من الدرجات، فإن المعلم لا يكتفي بقول "خطأ"، بل يقول: "لقد حصلت على 80%. حاول الوصول إلى 90%". هذا يمنح الروبوت درجة مستمرة بدلاً من مجرد "نجاح أو رسوب".

3. طريقة التدريب: "تسلق الجبل"

لا يمكنك إلقاء روبوت في لغز من 1,000 قطعة مباشرة؛ فقد يرتبك ويستسلم. لذا، يستخدم البحث استراتيجية التعلم المنهجي (Curriculum Learning):

المرحلة السهلة: يحل الروبوت ألغازاً صغيرة وبسيطة لتعلم القواعد.
المرحلة المتوسطة: تصبح الألغاز أكبر، ويتعلم الروبوت كيفية التخطيط المسبق.
المرحلة الصعبة: يتصدى الروبوت لألغاز ضخمة ومعقدة.
خدعة إعادة التشغيل (The Replay Trick): لاحظ المؤلفون أنه إذا تحركت للأمام فقط (من السهل ← إلى الصعب)، فإن الروبوت ينسى كيفية القيام بالأشياء السهلة. لذا، جعلوا الروبوت يعيد لعب المستويات السهلة والمتوسطة بشكل دوري. هذا يحافظ على مهاراته حادة بينما يتعلم الأشياء الصعبة.

4. النتائج: عقل أكثر ذكاءً

اختبروا روبوتهم الجديد (المسمى FORGE) على 10 أنواع مختلفة من الألغاز الصعبة (مثل تخطيط أقصر مسار لشاحنة توصيل أو جدولة الاجتماعات دون تعارض).

النتيجة: لم يجد الروبوت مجرد حل؛ بل وجد حلولاً رائعة. لقد تفوق على نموذج GPT-4o الشهير بفارق هائل. فبينما وجد GPT-4o حلولاً صالحة في حوالي 62% من المرات، وجد FORGE حلولاً في 93% من المرات. والأهم من ذلك، كانت حلول FORGE أقرب بكثير إلى الإجابة "المثالية".
التأثير الإضافي: إليكم الجزء الأكثر روعة. عندما قاموا بتدريب الروبوت على هذه الألغاز التحسينية الصعبة، لم يصبح أفضل في الألغاز فحسب، بل أصبح أفضل في كل شيء آخر أيضاً.
- أصبح أفضل في الرياضيات.
- أصبح أفضل في المنطق.
- أصبح أفضل في اتباع التعليمات.
- التشبيه: الأمر يشبه تدريب لاعب شطرنج ليصبح "جراند ماستر". في هذه العملية، لا يصبح بارعاً في الشطرنج فحسب، بل يصبح أفضل في الاستراتيجية، والصبر، والتخطيط في حياته اليومية. يشير البحث إلى أن تعلم "التحسين" (إيجاد الحل الأفضل) يعلم الذكاء الاصطناعي مهارة عامة وهي التفكير بعمق وصقل إجاباته، مما يساعده في جميع المهام.

ملخص

يقدم البحث FORGE، وهي طريقة جديدة لتدريب الذكاء الاصطناعي. بدلاً من مجرد تعليم الذكاء الاصطناعي الحصول على الإجابة "الصحيحة"، فهم يعلمونه كيفية إيجاد الإجابة الأفضل الممكنة من خلال إعطائه درجة مستمرة على مدى جودة حله. هذا يحول الذكاء الاصطناعي إلى خبير في التحسين (Optimizer) لا يكتفي بحل الألغاز الرياضية الصعبة بشكل أفضل من النماذج الرائدة الحالية، بل يصبح أيضاً أكثر ذكاءً في التفكير المنطقي، والاستنتاج، واتباع التعليمات.

ملخص تقني: FORGE-ENGINE

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) نجاحاً ملحوْظاً في اختبارات الاستدلال (الرياضيات، البرمجة، المنطق) عبر التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR)، إلا أن نماذج التقييم الحالية تعاني من قصور حرج: فهي تركز حصرياً على الصحة (القابلية للتنفيذ) بدلاً من الأمثلية (Optimality). في العديد من السيناريوهات الواقعية، مثل اللوجستيات أو تخصيص الموارد، لا يكون الحل "الصالح" كافياً فحسب؛ بل الهدف هو إيجاد الحل الذي يعظم أو يقلل دالة هدف معينة. تعتمد الاختبارات المعيارية الحالية غالباً على مكافآت ثنائية (ناجح/راسب)، مما يفشل في توفير التغذية الراجعة الكثيفة والمتصلة اللازمة لتوجيه النماذج نحو الحلول المثلى. علاوة على ذلك، تفتقر الاختبارات المعيارية الحالية للمسائل الصعبة (NP-hard) إلى آليات لتوليد قيم مثلى حقيقية، مما يمنع حساب المكافآت الدقيقة ويعيد عملية التدريب إلى حلقات التغذية الراجعة الثنائية غير الفعالة.

المنهجية: FORGE-ENGINE

يقترح المؤلفون FORGE-ENGINE، وهو إطار عمل شامل مصمم لتدريب وتقييم النماذج اللغوية الكبيرة على مسائل التحسين الصعبة (NP-hard) باستخدام التعلم التعزيزي القابل للتحقق والمدرك للجودة (Quality-Aware RLVR). يتكون الإطار من ثلاثة مكونات أساسية:

1. مسار بناء البيانات

يستخدم الإطار مساراً قابلاً للتوسع يتكون من أربع مراحل لتوليد بيانات تدريب عبر 10 مهام مختلفة من نوع NP-hard تغطي خمس فئات: تجميع الرسوم البيانية (Graph Clustering)، جدولة الموارد (Resource Scheduling)، تقسيم الرسوم البيانية (Graph Partitioning)، اختيار المجموعات الجزئية (Subset Selection)، وتخطيط المسارات (Path Planning).

المولدات القابلة للتحكم: تنتج حالات لانهائية بدرجات صعوبة متدرجة (سهل، متوسط، صعب) باستخدام نهج "البناء بالتصميم" لضمان وجود حلول قابلة للتنفيذ.
المحققات القائمة على القواعد: تتحقق تلقائياً من استيفاء القيود وتحسب قيم الأهداف، مما يضمن الصحة المطلقة دون الحاجة لوسم بشري.
المحللات الاستدلالية (Heuristic Solvers): ابتكار جوهري حيث تقوم خوارزميات استدلالية خاصة بكل مهمة (مثل البحث عن أقرب جار متعدد البدايات مع خوارزمية 2-opt لمسألة البائع المتجول TSP) بحساب خطوط أساس (baselines) قريبة من المثالية لكل حالة. تعمل هذه الخطوط كمرجع للحقيقة (ground truth) لحساب المكافأة.
معايرة المنهج الدراسي: تمت معايرة مستويات الصعوبة تجريبياً لتحقيق معدلات نجاح مستهدفة (مثلاً: سهل: 70-90%، صعب: 10-40%) لتسهيل التعلم التدريجي.

2. FORGE-BENCH

اختبار معياري صارم يتكون من 1,000 حالة عالية التعقيد (100 لكل مهمة) مصممة لتكون غير مرئية أثناء التدريب. وعلى عكس الأعمال السابقة، يقيم هذا الاختبار النماذج باستخدام مقياسين متكاملين:

معدل النجاح (SR): النسبة المئوية للحالات التي يولد فيها النموذج حلاً صالحاً يستوفي جميع القيود.
نسبة الجودة (QR): مقياس مستمر يقيس جودة الحل بالنسبة للخط الأساسي الاستدلالي (على سبيل المثال، $QR = \text{Heuristic} / \text{Model}$ لمسائل التقليل). وهذا يميز بين الحلول القابلة للتنفيذ فقط والحلول القريبة من المثالية.

3. إطار عمل RLVR المدرك للجودة

تستبدل استراتيجية التدريب الإشارات الثنائية المتفرقة بمكافآت مستمرة ودقيقة مشتقة من الخطوط الأساسية الاستدلالية.

دالة المكافأة: نظام مكافآت هرمي يقيم المخرجات بناءً على ثلاثة أبعاد:
1. مكافأة التنسيق ( $R_{format}$ ): تضمن التفكير المهيكل (مثل وسوم <thought>).
2. مكافأة القابلية للتنفيذ ( $R_{feasibility}$ ): تعاقب انتهاكات القيود (مثلاً -1.5) وتمرر درجة المثالية للحلول الصالحة.
3. مكافأة المثالية ( $R_{optimal}$ ): درجة مستمرة تعتمد على نسبة قيمة هدف النموذج إلى الخط الأساسي الاستدلالي، مما يوفر تغذية راجعة كثيفة لعملية التحسين.
إعادة تشغيل المنهج الدراسي متعدد المراحل: للتخفيف من مشكلة "البداية الباردة" والنسيان الكارثي، يستخدم التدريب استراتيجية دورية (سهل $\leftarrow$ متوسط $\leftarrow$ صعب) تتكرر عبر مستويات الصعوبة عدة مرات، مما يعزز المهارات الأساسية مع معالجة التعقيدات بشكل تدريجي.

النتيات الرئيسية

أُجريت التجارب على نموذج Qwen2.5-7B-Instruct-1M، وتم تدريبه على 15,000 مثال (إجمالي 15 ألف عبر ثلاث مراحل).

الأداء داخل النطاق (In-Domain): حقق النموذج الناتج، FORGE، معدل نجاح بنسبة 93.1% ونسبة جودة بنسبة 46.6% على FORGE-BENCH. وهذا يتفوق بشكل كبير على GPT-4o (62.1% SR، 36.2% QR) ويتجاوز أداء النموذج الأساسي بشكل جوهري (29.6% SR، 14.6% QR).
التعميم خارج النطاق (OOD Generalization): انتقل التدريب على FORGE-ENGINE إلى مهام استدلال متنوعة، مما حقق مكاسب في:
- اتباع التعليمات: +6.1%
- الاستدلال المعرفي: +4.1%
- الرياضيات: +2.2%
- المنطق: +1.2%
دراسات الاستئصال (Ablation Studies):
- تصميم المكافأة: حسنت المكافآت المدركة للجودة جودة الحل بنسبة 28.8% مقارنة بالمكافآت الثنائية، مما منع "اختراق المكافأة" (reward hacking) ووجه النموذج نحو المثالية الحقيقية.
- استراتيجية المنهج الدراسي: تفوقت استراتيجية إعادة التشغيل الدوري متعدد المراحل على استراتيجيات المرور الواحد الخطية، مما كسر سقف الأداء ومنع الركود.
- تنوع المهام مقابل الكمية: وجدت الدراسة أن التدريب على مجموعة متنوعة من 10 مهام حقق تعميماً أفضل من التدريب على عدد أقل من المهام مع كمية أكبر من البيانات، مما يشير إلى أن التعرض لهياكل مشكلات متنوعة هو المحرك الرئيسي لقدرات الاستدلال.
- RLVR مقابل SFT: بينما أدى الضبط الدقيق تحت الإشراف (SFT) على الحلول المثلى إلى تحسين الأداء داخل النطاق، إلا أنه عانى من تدهور كارثي خارج النطاق (-12.0 نقطة). في المقابل، عزز RLVR استراتيجيات استيفاء القيود القوية والقابلة للنقل.

الأهمية والادعاءات

يزعم البحث أن FORGE-ENGINE يمثل أول إطار عمل شامل يطبق بنجاح RLVR على مسائل التحسين الصعبة (NP-hard) من خلال دمج المحللات الاستدلالية لتوفال مكافآت دقيقة للمثالية.

يؤكد المؤلفون أن هذا العمل يسد الفجوة بين القابلية للتنفيذ والمثالية في استدلال النماذج اللغوية الكبيرة. ومن خلال تجاوز مجرد الصحة الثنائية، يُمكّن الإطار النماذج من الانخراط في عمليات البحث التحسيني التكراري. والأهم من ذلك، يقدم البحث دليلاً تجريبياً على أن تدريب التحسين يعزز "عقلية تحسين" قابلة للنقل — وهي القدرة على توليد المرشحين والتحسين الذاتي — مما يعزز قدرات الاستدلة الأوسع نطاقاً. وتشير النتائج إلى أنه لتوسيع نطاق RLVR، فإن تنوع المهام والمكافآت المدركة للجودة هما عاملان أكثر أهمية من مجرد كمية البيانات الضخمة.

يُقدم هذا العمل كخطوة تأسيسية لدمج النماذج اللغوية الكبيرة مع الاستدلال القائم على التحسين، موفراً بنية تحتية واختباراً معيارياً قابلاً للتوسع للأبحاث المستقبلية في الاستدلال المعقد.