ملخص تقني: PlanningBench

بيان المشكلة

يُعد التخطيط قدرة أساسية للنماذج اللغوية الكبيرة (LLMs)، حيث يتطلب تنسيق الأهداف، والقيود، والموارد، والنتائج طويلة المدى في حلول قابلة للتنفيذ. ومع ذلك، تعاني معايسات التخطيط الحالية من قيود كبيرة:

1. مجموعات البيانات الثابتة: تتعامل معظم المعايسات مع بيانات التخطيط كمجموعات ثابتة وغير متغيرة من الحالات، بدلاً من كونها أهدافاً قابلة للتحكم في التوليد، مما يحد من تغطية السيناريوهات وتنوعها.
2. مؤشرات الصعوبة السطحية: غالباً ما يتم تقريب الصعوبة عبر مقاييس سطحية (مثل طول المطالبة أو عدد المتطلبات) بدلاً من المصادر الهيكلية مثل اقتران القيود، أو التسلسل الهرمي، أو التصميم الخاص بالمهمة.
3. نقص دعم التدريب: تقدم المعايسات الحالية دعماً محدوداً للتوليد القابل للتوسع، أو التحقق التلقائي، أو التدريب الموجه نحو التخطيط، مما يجعل من الصعب تشخيص حدود النماذج أو تحسين سلوكيات التخطيط القابلة للتعميم.

المنهجية: إطار عمل PlanningBench

قدم المؤلفون PlanningBench، وهو إطار عمل لتوليد بيانات تخطيط قابلة للتوسع، ومتنوعة، وقابلة للتحقق، سواء للتقييم أو للتدريب. تتبع المنهجية مرحلتين كبريين:

1. بناء تصنيف المهام والقيود

بدلاً من فهرسة المجالات، قام المؤلفون بتجريد مخططات التخطيط القابلة لإعادة الاستخدام من سيناريوهات العالم الحقيقي (مثل الجدولة، والخدمات اللوجستية، والاستجابة للطوارئ) إلى تصنيف مهيكل.

• تصنيف المهام: ينظم مهام التخطيط إلى ست عائلات بناءً على التعقيد الهيكلي: الجدولة ووضع الجداول الزمنية، التخصيص والمطابقة، جدولة الورديات والقوى العاملة، التوجيه والسفر، عمليات المشاريع والإنتاج، والاستجابة للطوارئ والخدمة العامة. ويغطي هذا أكثر من 30 نوعاً محدداً من المهام والعديد من المهام الفرعية.
• تصنيف القيود: تم نمذجة القيود في ثلاث طبقات لضمان القابلية للتحقق والتحكم:
  • القيود العامة: مشتركة عبر المهام (مثل اكتمال المدخلات، والنوافذ الزمنية).
  • القيود الخاصة بالمهمة: مرتبطة بهياكل مهام محددة.
  • القيود المتخصصة المرتبطة بالحالة: تعتمد على الإجراءات المنفذة سابقاً أو الحالة المتراكمة.
• مستويات الصعوبة: تم تصنيف القيود إلى أساسية (القابلية للتنفيذ)، ومتوسطة (التحسين/العدالة)، وصعبة (المتانة، اكتشاف عدم الإمكانية، والتعافي من الاستثناءات).

2. خط إنتاج التوليد المدفوع بالقيود

يستخدم PlanningBench عملية توليد ذات حلقة مغلقة تتضمن ثلاثة مكونات:

• المولد (Generator): يأخذ عينات من تكوينات المهام والقيود ويقوم بإنشاء مشكلات تخطيط ذاتية الاحتواء. يستخدم توزيع عينات على القيود الأساسية والمتوسطة والصعبة للتحكم في الصعوبة.
• المستجيب (Responder): يحاول حل المشكلة المولدة.
• الناقد (Critic): يتحقق من الحل مقابل قائمة مراجعة على مستوى الحالة.
• التحكم التكيفي في الصعوبة: إذا قام المستجيب بحل الحالة بالكامل ($u=1$)، يقوم خط الإنتاج بنقل تكوين القيود نحو صعوبة أعلى (زيادة الأوزان للقيود المتوسطة والصعبة). أما إذا ظلت الحالة دون حل ($u=0$)، فيتم الاحتفاظ بها عند مستوى الصعوبة الحالي.
• التحقق: يتم إقران كل حالة بقائمة مراجعة للتحقق تحول قيود مستوى المطالبة إلى فحوصات قابلة للتنفيذ. يفضل الإطار الحلول المثلى المحددة أو الواضحة لتوفير إشارات مكافأة واضحة، وتجنب مساحات الإجابات الفضفاضة التي تسمح بالقابلية الجزئية للتنفيذ دون اتساق عالمي.

المساهمات الرئيسية

1. إطار توليد البيانات الاصطناعية: يوفر PlanningBench آلية لتوليد بيانات تخطيط قابلة للتوسع، ومتنوعة، وقابلة للتحقق، مستندة إلى سيناريوهات واقعية، متجاوزاً مجموعات المعايسات الثابتة نحو التوليد القابل للتحكم.
2. التحقق الموجه للتدريب: يثبت الإطار أن بيانات PlanningBench المتحقق منها تدعم التعلم التعزيزي الموجه نحو التخطيط (تحديداً GRPO). وقد حدد المؤلفون أن حتمية المكافأة (تفضيل الحلول المثلى المحددة جيداً) هي عامل حاسم للتدريب المستقر والقابل للنقل.
3. مجموعة تقييم شاملة: يقيم البحث بشكل منهجي النماذج اللغوية الكبيرة مفتوحة المصدر والمغلقة، كاشفاً أن أقوى النماذج تعاني مع الحلول الكاملة تحت القيود المقترنة.

النتائج التجريبية

أداء التقييم

قيم المؤلفون 18 نموذجاً لغوياً كبيراً ممثلاً (من المصادر المفتوحة والمغلقة) على مجموعة فرعية من 467 حالة من PlanningBench.

• فجوة الأداء: حتى النموذج الأعلى أداءً، GPT-5.4-xhigh، حقق فقط 63.17% All-pass (استيفاء جميع عناصر قائمة المراجعة)، مما يشير إلى أن المعيار لا يزال صعباً وغير مشبع.
• الاتساق المحلي مقابل العالمي: توجد فجوة كبيرة بين Avg-pass (نسبة عناصر قائمة المراجعة المستوفاة) و All-pass. على سبيل المثال، حقق GPT-5.4-medium نسبة 90.03% في Avg-pass ولكن 58.09% فقط في All-pass، مما يشير إلى أن النماذج غالباً ما تستوفي القيود المحلية لكنها تفشل في دمجها في خطة متسقة عالمياً.
• تحليل الخطأ: نمط الفشل الأساسي عبر النماذج هو الخطأ في الحساب / التعيين (60.9%–83.5% من الأخطاء)، يليه إغفال القيود وفشل تتبع الحالة. كانت أخطاء التنسيق ضئيلة.

التدريب والنقل

قام المؤلفون بتدريب نموذج Qwen-A3B-30B باستخدام GRPO على 300 حالة متحقق منها من PlanningBench.

• النقل إلى معايسات التخطيط: أظهر النموذج المدرب تحسناً كبيراً في معايسات التخطيط غير المرئية:
  • ChinaTravel: ارتفع All-pass من 50.92% إلى 58.36%.
  • TravelPlanner: ارتفع All-pass من 28.85% إلى 46.86%.
  • كانت المكاسب أكثر وضوحاً مما حققه التدريب على البيانات التي ألفها البشر، مما يسلط الضرض على قيمة التوليد المهيكل والموجه للتحقق.
• النقل إلى المهام العامة: أدى التدريب على PlanningBench أيضاً إلى تحسين الأداء في معايسات اتباع التعليمات والاستدلال الأوسع (Multi-Challenge, Inverse IFEval, Collie)، بمتوسط زيادة قدرها 7.06 نقطة.
• دور الحلول المثلى المحددة: أظهرت النماذج المدربة على بيانات تركز على الحلول المثلى المحددة (Syn-PlanningBench) قدرة نقل فائقة وديناميكيات تدريب أكثر استقراراً (تقارب أسرع، ومنحنيات مكافأة أكثر سلاسة) مقارنة بتلك المدربة على حلول مثلى فضفاضة (Syn-NotDetOptimal).

الأهمية والادعاءات

يزعم البحث أن PlanningBench يعالج الحاجة الماسة لبيانات تخطيط قابلة للتوسع، ومتنوعة، وقابلة للتحقق. وتكمن أهميته في ثلاثة مجالات:

1. القوة التشخيصية: يوفر رؤية دقيقة لقدرات التخطيط في النماذج اللغوية الكبيرة، ويميز بين الامتثال الجزئي والقدرة على الحفاظ على الاتساق العالمي تحت القيود المقترنة.
2. الفائدة التدريبية: يثبت أن بيانات التخطيل القابلة للتحقق تلقائياً يمكن أن تعمل كإشارات تدريب فعالة للتعلم التعزيزي، مما يحسن ليس فقط التخطيط بل أيضاً اتباع التعليمات العامة والاستدلال.
3. مبدأ التصميم: يسلط العمل الضوء على أن حتمية المكافأة ضرورية لتدريب مستقر موجه نحو التخطيط؛ حيث توفر الحالات ذات الحلول المثلى المحددة جيداً إشارات اتجاهية أوضح من تلك التي تحتوي على العديد من الإجابات المقبولة محلياً.

يخلص المؤلفون إلى أن بناء البيانات القابل للتحكم، والقابلية للتحقق تلقائياً، وحتمية المكافأة هي مفاتيح تشخيص وتحسين قدرات التخطيط القابلة للتعميم في النماذج اللغوية الكبيرة.