ملخص تقني: ما مقدار التراجع (Backtracking) الكافي؟ استكشاف التفاعل بين الضبط الدقيق تحت الإشراف (SFT) والتعلم التعزيزي (RL) في تعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تُظهر التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs)، مثل DeepSeek-R1 وOpenAI's o1، أن التعلم التعزيزي (RL) يمكن أن يحسن قدرات الاستنتاج بشكل كبير من خلال استيعاب استراتيجيات البحث عبر سلاسل ممتدة من التفكير (CoT). وبينما يُعتبر "التراجع" (Backtracking) — أي المراجعة الصريحة لخطوات الاستنتاج السابقة — آلية أساسية لهذا التحسن، إلا أن ديناميكياته الدقيقة لا تزال غير مفهومة بشكل جيد. وتحديداً، ليس من الواضح كيف يتفاعل "التحمية" عبر الضبط الدقيق تحت الإشراف (Saling SFT warm-ups) مع التعلم التعزيزي (RL) لتحسين عملية التراجع، وما إذا كانت عمليات "التحمية" القياسية القائمة على أخذ عينات ذاتية من سلاسل التفكير (self-sampled CoT) كافية للمهام المعقدة، وما هو التكرار أو العمق الأمثل للتراجع لمختلف مستويات صعوبة المسائل. تعتمد النهج الحالية غالباً على "البداية الباردة" (cold-start) للتعلم التعزيزي أو سلاسل تفكير بسيطة مأخوذة من عينات ذاتية، والتي يرى المؤلفون أنها تصل إلى مرحلة الثبات (plateau) في المهام ذات التعقيد التوليفي (combinatorial complexity) مثل لعبة السودوكو (Sudoku).

المنهجية

يجري المؤلفون تجارب مضبوطة عبر ثماني مهام استنتاجية (Countdown، Sudoku، Arc 1D، Advanced Geometry، Color Cube Rotation، List Functions، Zebra Puzzles، وSelf Reference) باستخدام نماذج Qwen2.5 وLlama3.2. تعزل الدراسة تأثيرات استراتيجيات تحمية SFT المختلفة على تدريب RL اللاحق:

1. مقارنات خط الأساس (Baseline Comparisons): يقارن المؤلفون بين "التعلم التعزيزي الصرف" (Pure RL - بدون تحمية SFT) مقابل "التعلم التعزيزي ذو البداية الباردة" (Cold-start RL - باستخدام سلاسل CoT مأخوذة ذاتياً من النموذج الأساسي كتحمية). كما يميزون بين عمليات التحمية المستمدة من مسارات صحيحة مقابل المسارات غير الصحيحة.
2. مجموعات بيانات التراجع الاصطناعية (Synthetic Backtracking Datasets): لدراسة التراجع بشكل منهجي، أنشأ المؤلفون مجموعات بيانات اصطناعية لثلاث مهام ممثلة (Countdown، Arc 1D، Sudoku) مع أعماق تراجع ($k$) قابلة للضبط.
   • بالنسبة لـ Countdown و Sudoku، استخدموا حلّالات البحث بالعمق الأول (DFS) لإنشاء أشجار من العمليات أو ملء الشبكات، مما خلق مسارات تتضمن "انحرافات" صريحة (فروع غير صحيحة) تليها عملية استعادة (تراجع) للعودة إلى المسار الصحيح.
   • بالنسبة لـ Arc 1D، استخدموا البحث الاستدلالي (heuristic search) مع وظائف تحويل مصممة يدوياً لإنشاء أنماط تراجع مماثلة.
   • عرّفوا مسار التراجع بمقدار $k$ بأنه المسار الذي يحتوي على $k$ من أحداث الاستعادة الصريحة حيث يعود النموذج إلى حالة صالحة بعد وقوع خطأ.
3. مسار التدريب (Training Pipeline): يتم أولاً تدريب النماذج عبر SFT على هذه البيانات الاصطناعية أو المأخوذة ذاتياً، ثم إخضاعها لتدريب RL (باستخدام PPO أو GRPO) مع مكافآت قائمة على القواعد (دقة التنسيق + مطابقة الإجابة الدقيقة).
4. دراسات الاستئصال (Ablation Studies): يختبر المؤلفون تأثير خلط المحفزات (prompts) والتكملات (completions) لتحليل حساسية RL تجاه الضوضاء الدلالية (semantic noise) مقابل الهيكل النحوي (syntactic structure).

المساهمات الرئيسية

1. قصور عمليات التحمية القياسية: تُظهر الدراسة أنه بينما توفر عمليات تحمية CoT المأخوذة ذاتياً دفعة متواضعة مقارنة بـ Pure RL، إلا أنها تفشل في التوسع بفعالية في المهام التوليفية الصعبة (مثل Sudoku)، حيث لا يستطيع النموذج الأساسي توليد بيانات تهيئة صحيحة كافية.
2. التراجع كمعامل فائق قابل للضبط (Tunable Hyperparameter): يثبت المؤلفون أن التراجع هو عامل حاسم للانتقال من التوليد الخطي إلى البحث الشجري غير الخطي. ويظهرون أن عمق التراجع الأمثل يعتمد على المهمة:
   • Arc 1D (سهلة): التراجع الصفري (المسارات المثالية) هو الأفضل.
   • Countdown (متوسطة): التراجع لمرة واحدة بالضبط هو الأمثل.
   • Sudoku (صعبة): مطلوب خمس عمليات تراجع أو أكثر لتدريب RL مستقر وفعال.
3. فعالية البيانات الاصطناعية: إن وصفة التدريب "المتمحورة حول التراجع" (backtracking-centric)، حيث يتم إنشاء بيانات SFT اصطناعياً بأعماق تراجع معايرة، تدفع النماذج باستمرار لتجاوز قدراتها الاستنتاجية الأساسية وتتفوق على نماذج الاستنتاج الأكبر حجماً المدربة مسبقاً (مثل QwQ-32B) في مهام محددة.
4. المتانة تجاه المسارات غير الصحيحة: يجد البحث أن RL لا يزال يستفيد من عمليات التحمية التي تحتوي على CoT غير صحيحة دلالياً ولكنها متوافقة مع التنسيق، مما يشير إلى أن الهياكل النحوية (Syntactic scaffolding) — أي هيكل البحث والاستعادة — كافية لتهيئة النموذج لعملية تحسين RL. وعلى العكس من ذلك، فإن RL حساس للغاية للبيانات المختلطة (غير المتماسكة دلالياً)، مما يؤدي إلى ركود التدريب.

النتائج

• مكاسب الأداء: في مهمة Sudoku، أدى بدء RL باستخدام خمس عمليات تراجع إلى تحسين الدقة من 14.4% (صفر تراجع) إلى 28.9% لنموذج Qwen2.5-3B، ومن 11.8% إلى 32.1% لنموذج Qwen2.5-7B. تجاوزت هذه النتائج خط الأساس QwQ-32B، الذي حقق 0.0% في Sudoku.
• التحسين الخاص بالمهمة:
  • Countdown: حققت عمليات التحمية ذات التراجع الواحد أعلى المكافآت والدقة النهائية (تصل إلى 69.7% لنموذج Qwen2.5-3B)، متفوقة على تكوينات الصفر والتراجع العالي.
  • Arc 1D: حققت المسارات ذات التراجع الصفري (المثالية) أفضل أداء، حيث أدى التراجع في الواقع إلى تدهور الأداء.
• التعميم: أدى التدريب على مهمة واحدة (مثل Advanced Geometry) إلى إحداث تعميم لمهام ذات صلة (مثل Zebra Puzzles)، وإن كان ذلك محدوداً في المسائل ذات الطبيعة التوليفية العالية.
• كفاءة الرموز (Token Efficiency): تشير الدراسة إلى أنه على الرغم من أن مجموعات بيانات التراجع الاصطناعية تكون أطول، إلا أنها تمكن من تحقيق تقارب (convergence) أكثر كفاءة في RL مقارنة بحالة الركود الملاحظة في Pure RL أو سيناريوهات البداية الباردة غير الصحيحة.

الأهمية والادعاءات

تجادل الورقة بأن التراجع المنهجي ضروري لتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة للمهام المعقدة. وتفترض أن التراجع يعمل كعامل عام للبحث الشجري، مما يمكن النماذج من اكتشاف الحلول الجزئية المعيبة والتعافي منها، بدلاً من مجرد التوليد الخطي.

يدعي المؤلفون أن "الوصفة" الفعالة لـ RL ليست مجرد سلاسل CoT أطول، بل هي بيانات SFT اصطناعية تحتوي على العدد المناسب من عمليات التراجع المتوافقة مع صعوبة المهمة. يسمح هذا النهج للنموذج باستيعاب استراتيجيات البحث التي يفشل Pure RL أو عمليات التحمية القياسية في اكتشافها. ويشير العمل إلى أن التفاعل بين SFT و RL لا يتعلق فقط بحجم البيانات، بل بـ هيكل مسارات الاستنتاج المقدمة خلال مرحلة التحمية. ومن خلال التعامل مع تكرار التراجع كمعامل فائق (hyperparameter)، يوفر المؤلفون أداة تحكم لتحسين سلوك البحث، مما يسد الفجوة بين التوليد الخطي والبحث الشجري الفعال في النماذج اللغوية الكبيرة.