💬 NLP

Plan Then Action:High-Level Planning Guidance Reinforcement Learning for LLM Reasoning

تقترح الورقة البحثية إطار عمل PTA-GRPO، وهو إطار عمل ثنائي المراحل يجمع بين الضبط الدقيق الخاضع للإشراف لتوفير توجيه التخطيط رفيع المستوى وبين التعلم المعزز المدرك للتوجيه لتعزيز قدرات الاستدلال العالمي للنماذج اللغوية الكبيرة بشكل كبير عبر مختلف الاختبارات المرجعية الرياضية والعلمية.

المؤلفون الأصليون: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "التخطيط ثم التنفيذ" (Plan Then Action) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: فخ "الركض والتخمين"

تخيل أنك تحاول حل متاهة صعبة للغاية. معظم نماذج الذكاء الاصطناعي الحالية (نماذج اللغات الكبيرة) تعمل مثل شخص يبدأ بالركض في مسار ما فوراً. يأخذ خطوة، ثم الخطوة التالية، ثم التي تليها، وهو ينظر دائماً فقط إلى الخطوة التي أمامه مباشرة.

تسمي الورقة هذا الأسلوب "سلسلة الأفكار" (Chain-of-Thought - CoT). هذا الأسلوب يعمل بشكل جيد في المتاهات البسيطة، ولكن في المتاهات المعقدة، غالباً ما يتوه الذكاء الاصطناعي. قد يأخذ منعطفاً خاطئاً، أو يستمر في المشي في دوائر لأنه كان مركزاً جداً على الخطوة التالية لدرجة أنه لم يرَ الصورة الكبيرة، أو يدرك متأخراً جداً أنه ارتكب خطأً في البداية. وبحلول الوقت الذي يصل فيه إلى النهاية، يكون غالباً مشوشاً أو يعطي إجابة خاطئة.

تحاول طرق أخرى إصلاح ذلك بجعل الذكاء الاصطناعي "يفكر" في مسارات مختلفة كثيرة في وقت واحد (مثل البحث الشجري)، ولكن هذا بطيء ومكلف للغاية، كأنك توظف مائة شخص للركض في كل مسار ممكن داخل المتاهة في آن واحد.

الحل: "التخطيط ثم التنفيذ" (PTA-GRPO)

يقترح المؤلفون طريقة جديدة لتدريب الذكاء الاصطناعي تسمى PTA-GRPO. فكر في الأمر كتعليم الذكاء الاصطناعي التوقف ورسم خريطة قبل أن يبدأ بالركض.

تتم العملية في مرحلتين رئيسيتين:

المرحلة الأولى: "صانع الخريطة" (الضبط الدقيق الخاضع للإشراف)

أولاً، يعلم الباحثون الذكاء الاصطناعي كيفية صنع خريطة. يأخذون أمثلة موجودة بالفعل لحل المشكلات بشكل جيد ويطلبون من ذكاء اصطناعي ذكي تلخيص الخطوات الطويلة والمفصلة إلى "خطة" أو "مخطط" قصير وعالي المستوى.

تشبيه: تخيل طباخاً. بدلاً من مجرد مشاهدة شخص يقطع الخضروات ويحرك القدر، يتعلم الذكالذكاء الاصطناعي كتابة بطاقة وصفة أولاً: "1. قطع البصل. 2. شوّح الثوم. 3. اترك الصلصة تتسبك."
يتعلم الذكاء الاصطناعي إخراج هذه الخطة القصيرة (داخل وسوم <plan>) قبل أن يبدأ في القيام بالعمل الفعلي (التفكير التفصيلي داخل وسوم <thought>).

المرحلة الثانية: "المدرب" (التعلم التعزيزي)

هذا هو الجزء الذكي. عادةً، عندما يتم تدريب الذكاء الاصطناعي، يهتم المدرب فقط بما إذا كانت الإجابة النهائية صحيحة أم خاطئة. إذا حصل الذكاء الاصطناعي على الإجابة الصحيحة ولكنه سلك مساراً غريباً ومربكاً، فإنه يحصل على "عمل جيد". وإذا أخطأ، فإنه يحصل على "حاول مرة أخرى".

لقد غير المؤلفون القواعد. الآن، يعطي المدرب نقاطاً لـ أمرين:

هل حصلت على الإجابة الصحيحة؟ (النتيجة)
هل كانت خريطتك (خطتك) جيدة حقاً؟ (التوجيه)

تشبيه: تخيل طالباً يجري اختباراً في الرياضيات.
- الطريقة القديمة: المعلم يتحقق فقط من الرقم النهائي. إذا خمن الطالب الرقم الصحيه ولكنه كتب كلاماً غير مفهوم، فإنه يحصل على درجة امتياز.
- طريقة PTA-GRPO: المعلم يتحقق أيضاً من مخطط الطالب. إذا كتب الطالب مخططاً واضحاً ومنطقياً قبل القيام بالرياضيات، فإنه يحصل على نقاط إضافية. أما إذا كان مخططه فوضوياً أو خاطئاً، فإنه يخسر نقاطاً، حتى لو تمكن بطريقة ما من تخمين الإجابة الصحيحة.

هذا يجبر الذكاء الاصطناعي على تعلم أن الخطة الجيدة تؤدي إلى إجابة جيدة. إنه يتعلم إنشاء استراتيجيات واضحة وعالية المستوى توجه تفكيره، مما يمنعه من الانحراف عن المسار.

لماذا ينجح هذا الأسلوب؟

تظهر الورقة أنه عندما تدرب الذكاء الاصطناعي بهذه الطريقة:

يتوقف عن ارتكاب الأخطاء "المحلية" (الوقوع في فخ خطوة واحدة).
يخلق رؤية "شاملة" للمشكلة (رؤية المتاحة بأكملها).
يصبح أفضل بكثير في مسائل الرياضيات والعلوم، حتى في نماذج الكمبيوتر الأصغر والأرخص.

النتائج

اختبر الباحثون هذا على عشرة معايير مختلفة وصعبة في الرياضيات والعلوم. ووجدوا أن:

النماذج التي تم تدريبها باستخدام طريقة "التخطيط ثم التنفيذ" هذه تفوقت باستمرار على النماذج المدربة بالطرق القياسية.
نجحت الطريقة مع أحجام مختلفة من نماذج الذكاء الاصطناعي (من الصغيرة إلى الكبيرة).
لم يصبح الذكاء الاصطناعي أفضل في الوصول إلى الإجابة النهائية فحسب؛ بل أصبح أفضل في التفكير بطريقة منظمة وهيكلية.

الملخص

باختصار، تعلم الورقة الذكاء الاصطناعي أن يتوقف، ويفكر، ويضع خطة قبل البدء في حل المشكلة. ومن خلال مكافأة الذكاء الاصطناعي ليس فقط على النتيجة النهائية، بل أيضاً على جودة خطته، يتعلم الذكاء الاصطناعي التنقل في المشكلات المعقدة بشكل أكثر موثوقية، متجنباً أخطاء "الركض والتخمين" التي تعاني منها الأنظمة الحالية.

ملخص تقني: التخطيط ثم التنفيذ: توجيه التعزيز للتخطيط رفيع المستوى في استدلال النماذج اللغوية الكبيرة

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات استدلال قوية من خلال التلقين بسلسلة الأفكام (Chain-of-Thought - CoT). ومع ذلك، فإن عملية توليد الرموز (tokens) القياسية هي في جوهرها عملية اتخاذ قرار ماركوفية (MDP) تعتمد على التوليد الذاتي (autoregressive) والبحث المحلي الجشع (locally greedy). يؤدي هذا إلى عدة قيود حرجة:

الافتقار إلى التخطيط العالمي: تقوم النماذج بتحسين احتمالية الرموز على المدى القصير، مما يؤدي غالبًا إلى سلاسل استدلال مكررة، أو منحرفة، أو غير دقيقة.
انتشار الأخطاء: تنتشر الأخطاء المبكرة في مسار الاستدلال عبر آفاق طويلة لأن النموذج يفتقر إلى آلية للتعافي أو إعادة التوجيه.
محدودية الحلول الحالية:
- البحث القائم على الأشجار (مثل MCTS): بينما تعد هذه الطرق فعالة في توسيع نطاق الاستكشاف، إلا أنها تعتمد على استعلامات خارجية متكررة، مما يتسبب في تكاليف حوسبة عالية ويفشل في تعزيز قدرات الاستدلال الداخلية للنموذج.
- التعلم المعزز القياسي (RL): طرق مثل تحسين السياسة النسبي للمجموعات (GRPO) تعمل فقط على تحسين صحة الإجابة النهائية (المكافآت القائمة على النتيجة). وهي تتجاهل جودة خطوات التخطيط والاستدلال المتوسطة، مما يعني أن الخطط سيئة الهيكلة يمكن أن تحصل على نفس المكافأة التي تحصل عليها الخطط المنظمة جيدًا إذا كانت الإجابة النهائية صحيحة بالصدفة.

2. المنهجية: PTA-GRPO

يقترح المؤلفون إطار عمل التخطيط ثم التنفيذ المعزز بالاستدلال باستخدام تحسين السياسة النسبي للمجموعات (PTA-GRPO)، وهو إطار مكون من مرحلتين مصمم لتحسين التخطيط رفيع المستوى واستدلال سلسلة الأفكار دقيق التفاصيل بشكل مشترك.

المرحلة الأولى: البداية الباردة للاستدلال المهيكل بالتخطيط (PSR-CS)

قبل التعلم المعزز، يخضع النموذج لضبط دقيق تحت الإشراف (SFT) لاكتساب القدرة على توليد خطط تحليلية.

بناء مجموعة البيانات: قام المؤلفون ببناء مجموعة بيانات ( $D_{PSR-CS}$ ) حيث تتضمن كل حالة مسألة ( $q$ )، وخطة تحليلية موجزة رفيعة المستوى ( $t$ )، والاستدلال/الإجابة التفصيلية ( $c$ ).
توليد الخطة: يتم تلخيص الخطط التحليلية ( $t$ ) من استدلال سلسلة الأفكار (CoT) الحقيقي باستخدام نموذج لغوي قوي (مثل Qwen3-235B). يتم وضع الخطة داخل وسوم <plan>...</plan>، بينما يوضع الاستدلال في <thought>...</thought> والإجابة في <answer>...</answer>.
الهدف: يتعلم النموذج التوزيع الشرطي $c = \pi_\theta(\cdot | q, t)$ ، مما يعني تعلم ربط الاستدلال التفصيلي بدليل عالمي.

المرحلة الثانية: التعلم المعزز الموجه بهيكل الخطة (PSG-RL)

بناءً على النموذج الذي تم تهيئته بواسطة SFT، قدم المؤلفون طريقة تعلم معزز (RL) جديدة تعتمد على GRPO تكافئ صراحةً جودة الخطة التحليلية.

عملية أخذ العينات: بالنسبة لسؤال معين $q$ ، تقوم السياسة بأخذ عينات من $m$ من الخطط التحليلية المرشحة $\{t_i\}$ . لكل خطة $t_i$ ، يعيد النموذج أخذ عينات من $z$ من مسارات سلسلة الأفكار (CoT) التفصيلية $\{c_{i,k}\}$ .
دالة المكافأة المركبة: تتكون المكافأة الإجمالية $R_{total}$ $R_{t o t a l}$ من ثلاثة مكونات:
1. مكافأة النتيجة ( $r_{outcome}$ ): مكافأة ثنائية (1 أو 0) بناءً على ما إذا كانت الإجابة المستخرجة النهائية تطابق الحقيقة الأرضية.
2. مكافأة الخطة التحليلية ( $r_{analytic}$ ): مكافأة مبتكرة تقيم جودة الخطة $t_i$ . وتُعرف بأنها الدقة التجريبية لـ $z$ من مسارات سلسلة الأفكار المعاد أخذ عيناتها والتي تم توليدها تحت تلك الخطة المحددة. الخطط التي تؤدي باستمرار إلى إجابات صحيحة تتلقى مكافآت أعلى. يعمل هذا كوكيل لجودة الخطة، مما يشجع النموذج على توليد خطط توجه الاستدلال بفعالية.
3. مكافأة التنسيق ( $r_{format}$ ): تفرض الاتساق الهيكلي (الوسوم الصحيحة) وتفرض عقوبات على الاستجابات الطويلة للغاية.
التحسين: يتم تحديث النموذج باستخدام هدف تحسين السياسة النسبي للمجموعات، باستخدام المكافأة المركبة لحساب المزايا.

الأساس النظري

توفر الورقة تحليلاً نظرياً يوضح أن تحسين مكافأة الخطة التحليلية يزيد من المعلومات المتبادلة $I(\hat{y}; y | t, q)$ بين الإجابة المتوقعة والحقيقة الأرضية، بشرط الخطة. أثبت المؤلفون أن احتمال الخطأ محكوم بحد أعلى بواسطة الإنتروبيا الشرطية، والتي تنخفض مع زيادة المعلومات المتبادلة. وبالتالي، فإن تحسين جودة الخطة يقلل مباشرة من الحد الأعلى لاحتمالية الخطأ.

3. المساهمات الرئيسية

إطار عمل مبتكر من مرحلتين: يقدم PTA-GRPO نموذج تدريب يفصل صراحةً ويحسن التخطيط رفيع المستوى والتنفيذ، متجاوزاً بذلك التعلم المعزز القائم على النتيجة فقط.
التوجيه رفيع المستوى كإشارة إشراف: تستخدم الطريقة SFT لضخ قدرات التخطيط المهيكل في النموذج، مما يهيئه بالقدرة على تلخيص الاستدلال في أدلة عالمية.
آلية مكافأة مدركة للخطة: صاغ المؤلفون الخطة التحليلية كمتغير تحسين صريح ضمن هدف التعلم المعزز، باستخدام معدل نجاح المسارات المعاد أخذ عيناتها كإشارة مكافأة لجودة الخطة.
التحقق التجريبي: تم تقييم الطريقة عبر خمسة نماذج أساسية متنوعة (تتراوح من 3 مليار إلى 14 مليار معلمة) وعشرة اختبارات معيارية تغطي الرياضيات والعلوم الطبيعية.

4. النتائج التجريبية

قيم المؤلفون PTA-GRPO على اختبارات معيارية تشمل MATH500، وAIME24، وAIME25، وAMC23، ومجموعات بيانات متعددة الوسائط (MMMU-Pro، EMMA، MMK-12).

مكاسب الأداء: يتفوق PTA-GRPO باستمرار على النماذج الأساسية وخطوط الأساس الأخرى للتعلم المعزز (GRPO، DAPO، CPL، Full-Step-DPO).
- على Qwen2.5-7B-Instruct، تحسن متوسط الدقة عبر الاختبارات الرياضية من 34.23% (الأساسي) إلى 58.46% (PTA-GRPO)، متفوقاً على GRPO (54.81%) وDAPO (55.04%).
- على Qwen3-14B، حقق PTA-GRPO متوسط 85.01%، متفوقاً على GRPO (83.08%) وDAPO (83.31%).
توسع البيانات: أدى زيادة بيانات تدريب RL من 4 آلاف إلى 60 ألف عينة إلى تحسينات مستمرة في الأداء، مما يشير إلى أن الطريقة تتوسع بشكل جيد مع حجم البيانات.
دراسات الاستئصال (Ablation Studies): أدى إزالة البداية الباردة لـ SFT أو مكافأة الخطة التحليلية ( $r_{analytic}$ ) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل من التهيئة وإشارة المكافأة المحددة.
التعميم: أظهرت الطريقة قدرة قوية على التعميم في مهام الاستدلال العلمي ومتعدد الوسائط، وليس فقط الرياضيات البحتة.
توسع وقت الاختبار: أظهر PTA-GRPO أداءً فائقاً في مقاييس Pass@K (من Pass@1 إلى Pass@16) مقارنة بـ GRPO، مما يشير إلى المتانة تحت ظروف أخذ عينات متعددة.

5. الأهمية والادعاءات

تدعي الورقة أن PTA-GRPO يعالج "الافتقار إلى التخطيط العالمي" في استدلال النماذج اللغوية الكبيرة من خلال معاملة التخطيط التحليلي كهدف تحسين من الدرجة الأولى وليس مجرد إضافة هيكلية.

داخلي مقابل خارجي: على عكس طرق البحث في الأشجار التي تعتمد على الحوسبة الخارجية، يقوم PTA-GRRO بتعزيز قدرات الاستدلال الداخلية للنموذج.
المتانة: من خلال مكافأة جودة الخطوات المتوسطة (عبر مكافأة الخطة)، تقلل الطريقة من الاستدلال المكرر وتساعد النموذج على تجنب النهايات المحلية، مما يؤدي إلى مسارات أكثر استقراراً وتوجيهاً عالمياً.
الكفاءة: تحقق هذه الطريقة هذه المكاسب دون تكبد تكاليف حوسبة إضافية كبيرة مقارنة بـ GRPO القياسي، حيث يتم حساب مكافأة الخطة باستخدام نفس ميزانية التوليد (إعادة أخذ عينات CoT تحت الخطط المولدة).
التواضع: يقر المؤلفون بأنه بينما تحسن الطريقة الاستدلال بشكل كبير في الاختبارات المعيارية، فإنها لا تقدم مصادر بيانات جديدة أو أدوات خارجية. كما يشيرون إلى أن قدرات الاستدلال الأقوى تحمل مخاطر محتملة (مثل سوء الاستخدام في الغش الأكاديمي) ويؤكدون على الحاجة إلى بحث المسؤولية في النشر والمواءمة.

باختุปيد، تفترض الورقة أن تحسين التخطيط رفيع المستوى كدليل، بالتزامن مع صحة الإجابة النهائية، هو خطوة حاسمة نحو استدلال أكثر موثوقية وتماسكاً وقابلية للتعميم في النماذج اللغوية الكبيرة.