ملخص تقني: التخطيط المسبق المعزز للاستدلال الرياضي للنماذج اللغوية الكبيرة (PPC)

1. بيان المشكلة

لقد أرست طرق الاستدلال القائمة على التخطيط الحالية للنماذج اللغوية الكبيرة (LLMs) نموذج السؤال ← الخطة ← سلسلة الأفكال (CoT). ورغم فعاليتها، يحدد المؤلفون فجوة جوهرية على مستوى النموذج في هذا النهج: فكل من مرحلتي التخطيط والتنفيذ مخصصتان لتحديد كيفية حل المشكلة (تنظيم الخطوات وتنفيذها)، بينما تظل مسألة ماذا يجب حله سابقةً لهذا كله غائبة تماماً.

تتضمن مرحلة "ماذا يجب حله" التعرف على نوع المشكلة، وتحديد الأدوات والمفاهيم القابلة للتطبيق، وتحديد الشروط الحدية، وتوقع العقبات. وتفترض الطرق الحالية أن هذا الفهم ينبثق ضمنياً أثناء توليد الخطة. ومع ذلك، يكشف تحليل الأخطاء (الشكل 1) أن جزءاً كبيراً من الإخفاقات في الطرق الحالية القائمة على التخطيط لا ينبع من أخطاء حسابية، بل من الفشل في فهم طبيعة المشكلة بشكل صحيح (على سبيل المثال، الخطأ في تحديد معادلة تربيعية متجانسة، مما يؤدي إلى مسار حل غير فعال).

2. المنهجية: إطار عمل PPC

لسد هذه الفجوة، يقترح المؤلفون إطار عمل PPC (التخطيط المسبق-الخطة-سلسلة الأفكار)، وهو إطار يقدم مرحلة تخطيط مسبق (preplan) صريحة، مما يخلق نموذج السؤال ← التخطيط المسبق ← الخطة ← سلسلة الأفكار الجديد. التخطيط المسبق هو تحليل شامل غير حسابي يستقر على ماذا سيتم حله، تاركاً كيفية الحل لمراحل التخطيط والتنفيذ اللاحقة.

يعالج إطار العمل تحديين رئيسيين من خلال مسار محدد:

التحدي 1: بناء البيانات (منع التسرب والتمويه)

يعد توليد إشراف (supervision) نظيف للتخطيط المسبق أمراً صعباً لأن النماذج تميل للعودة إلى سلوكيات "كيفية الحل".

• فشل التسريب (Leakage Failure): حيث يقوم التخطيط المسبق ببروفة لتسلسل خطوات الخطة القادمة.
• فشل التمويه (Spoiler Failure): حيث يقوم التخطيط المسبق بإجراء حسابات وسيطة تحت قناع التحليل.

الحل: صمم المؤلفون مسار توليد ثلاثي المراحل محمي بواسطة كاشف درجة التمويه (spoiler-score detector).

1. التوليد ثلاثي المراحل: يتم توليد المسارات بدقة من اليسار إلى اليمين: $y_{pp} \sim \pi_{pp}(\cdot|q)$، و $y_p \sim \pi_p(\cdot|q, y_{pp})$، و $y_e \sim \pi_e(\cdot|q, y_p)$. يمنع أمر (prompt) التخطيط المسبق صراحةً الاشتقاقات، والمعادلات الممتدة، والقيم المحسوبة.
2. تصفية درجة التمويه: يقوم نظام قائم على القواعد لحساب الدرجة $s(\cdot) \in \{0, \dots, 6\}$ بتجميع إشارات الاشتقاق وكشف الإجابة (مثل عبارات مثل "يتبسط إلى"، كثافة عالية للمعادلات، مساحات رياضية داخلية طويلة، ثوابت متعددة الأرقام). يتم الاحتفاظ بالمسارات فقط إذا كان $s(y_{pp}) \leq \tau_s$ (حيث $\tau_s=2$) وَ كانت الإجابة النهائية صحيحة. وهذا يضمن أن يكون التخطيط المسبق نقياً في فهم المشكلة، وليس حلاً متنكراً.

التحدي 2: الالتزام أثناء التدريب (ضمان الفائدة)

حتى مع وجود بيانات نظيفة، قد يتعلم النموذج توليد تخطيط مسبق يبدو صحيحاً ظاهرياً مع تجاهله أثناء مرحلة التخطيط.

الحل: وسع المؤلفون تحسين السياسة النسبي للمجموعات (GRPO) باستخدام دالة مكافأة مركبة $R(y)$ تفرض التوافق الهيكلي والدلالي:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (مكافأة النتيجة): تستخدم ائتماناً جزئياً بناءً على تقييم نموذج لغوي كبير لمدى قرب مسار الحل (ليس فقط الصحة الثنائية) لتوفيد تدرجات (gradients) للمسارات التي اقتربت من الحل ولم تصبه.
• $R_{adh}$ (مكافأة الالتزام): يقوم ناقد (LLM critic) بتقييم التوافق الاستراتيجي بين التخطيط المسبق والخطة. ومن الأهمية بمكان أن الخطة عالية الجودة التي تتجاهل التخطيط المسبق تحصل على درجة منخفضة، مما يجبر النموذج على اتباع توجيهات التخطيط المسبق فعلياً.
• $R_{fmt}$ (حارس التنسيق): يضمن أن المخرجات تحتوي على نسخة واحدة بالضبط من كل وسم (<preplan>, <plan>, <execute>) بالترتيب مع إجابة داخل إطار.
• $R_{sty}$ (عقوبة الأسلوب): يعيد استخدام درجة التمويه $s(\cdot)$ كعقوبة أثناء التعلم المعزز (RL). إذا انحرف التخطيط المسبق مرة أخرى إلى المحتوى الحسابي أثناء التدريب، يتم فرض عقوبة على المكافأة، مما يحافظ على النزاهة المفاهيمية التي تم تأسيسها أثناء بناء البيانات.

3. المساهمات الرئيسية

• مفاهيمياً: يحدد البحث رسمياً فجوة على مستوى النموذج في طرق الاستدلال الحالية: النمذجة الصريحة لـ كيفية الحل مقابل التعامل الضمني مع ماذا يجب حله. ويقترح نموذج السؤال ← التخطيط المسبق ← الخطة ← سلسلة الأفكار لمعالجة ذلك.
• منهجياً:
  • بناء أول مجموعة بيانات استدلال تتضمن إشرافاً صريحاً للتخطيط المسبق، محمية بكاشف درجة التمويه ضد فشلي التسريب والتمويه.
  • تصميم مكافأة GRPO مركبة تفرض صراحةً التوافق بين الخطة والتخطيط المسبق، مما يمنع النموذج من معاملة التخطيط المسبق كخطوة زخرفية يتم تجاهلها.
• تجريبياً: تقييم واسع النطاق عبر أربعة نماذج أساسية (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) وخمسة معايير رياضية (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. النتائج التجريبية

• الأداء: يحقق PPC أفضل النتائج في 39 من أصل 40 مقياساً عبر جميع المعايير والنماذج الأساسية.
• التحسينات: مقارنة بأقوى النماذج المرجعية (Plan-Tuning, PTA-GRPO)، يحسن PPC قيمة maj@16 بمقدار +2.23 وقيمة pass@16 بمقدار +3.06.
• الكفاءة: رغم إضافة مرحلة إضافية، يولد PPC عدداً أقل من الرموز (tokens) مقارنة بسلسلة الأفكار الكاملة (Full CoT)، وأقل بكثير من PTA-GRPO. حيث يعمل التخطيط المسبح والخطة على تقييد التنفيذ بمسار حل واحد، مما يتجنب الانعطافات المتكررة الشائعة في سلسلة الأفكار غير المقيدة.
• الموثوقية (Faithfulness): تؤدي تدخلات وقت الاستدلال (مثل تغيير ترتيب جمل التخطيط المسبق، أو استخدام تخطيطات مسبقة غير متطابقة، أو استخدام نصوص مؤقتة عامة) إلى انخفاض حاد في الأداء (على سبيل المثال، انخفاض maj@16 من 97.2 إلى 46.8 في Qwen3-4B عند استخدام تخطيطات مسبقة غير متطابقة). وهذا يؤكد أن النموذج يعتمد حقاً على محتوى التخطيط المسبق بدلاً من مجرد إنتاجه.

5. الأهمية والادعاءات

يزعم البحث أن القصور الرئيسي في الاستدلال القائم على التخطيط حالياً ليس في نقص التخطيط، بل في نقص مرحلة مخصصة لـ فهم المشكلة. ومن خلال جعل "ماذا يجب حله" صريحاً عبر التخطيط المسبق، يمكن للنموذج اختيار الأدوات والاستراتيجيات المناسبة قبل الالتزام بمسار الحل.

يؤكد المؤلفون أن هذا التحسن ليس مجرد نتيجة لاستخدام الأوامر (Prompting) (كما يظهر في خط الأساس "Prompt-Only" الذي كان أداؤه أقل)، بل يتطلب تعلم النموذج لهذا النموذج عبر بناء البيانات المحدد ومكافأة التدريب المركبة. ويثبت إطار العمل أن الفهم الصريح للمشكلة يحقق دقة أعلى وكفاءة أكبر في الاستدلال في آن واحد، دون إضافة عبء إضافي في عدد الرموز (tokens) مقارنة بسلسلة الأفكار القياسية.