🤖 machine learning

STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning

يُعد STRIDE إطار تدريب مبتكر يعزز قدرة نماذج اللغات الكبيرة على الاستنتاج من خلال التدريب المشترك لمولد ومُحقِّق توليدي باستخدام مكافآت قائمة على النتائج فقط لاستبدال الدرجات القياسية بتغذية راجعة لغوية قابلة للتعلم وخطوة بخطوة، تُحدد مواضع الإخفاقات صراحةً وتوجه مسارات الاستنتاج من جديد.

المؤلفون الأصليون: Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب عبقري ولكنه مرتبك قليلاً كيفية حل متاهة معقدة. في الماضي، كانت الطريقة التي ندرب بها هؤلاء الطلاب من الذكاء الاصطناعي (النماذج اللغوية الكبيرة) تشبه إعطاءهم اختباراً ثم إخبارهم بالنتيجة النهائية فقط: "لقد أخطأت".

هذه هي المشكلة التي تحاول ورقة بحثية بعنوان STRIDE حلها. إليك شرح مبسط لكيفية عملها، باستخدام تشبيهات من الحياة اليومية.

المشكلة: بطاقة الدرجات "الصامتة"

تستخدم معظم عمليات تدريب الذكاء الاصطناعي حالياً طريقة تسمى التعلم التعزيزي (Reinforcement Learning). فكر في الأمر كأنك تلعب لعبة فيديو، حيث تلعب مرحلة ما، وفي النهاية تماماً تظهر لك رسالة "Game Over" أو "لقد فزت".

المشكلة: إذا ارتكب الذكاء الاصطناعي خطأ في الخطوة 3 من مسألة رياضية مكونة من 10 خطوات، فإن المعلم (الكمبيوتر) لا يقول له: "مهلاً، لقد جمعت الأرقام بشكل خاطئ في الخطوة 3"، بل يكتفي بالقول: "إجابة خاطئة".
النتيجة: يضطر الذكاء الاصطنا_ي لتخمين أين أخطأ. الأمر يشبه محاولة إصلاح محرك معطل بمعرفة أن السيارة لن تعمل فقط، دون أن يخبرك الميكانيكي أي جزء هو المرتخي. يُسمى هذا "عنق زجاجة المعلومات" (Information Bottleneck) — حيث يقدم المعلم معلومات قليلة جداً لإصلاح الخطأ المحدد.

حاولت بعض الطرق السابقة تقديم درجات خطوة بخطوة (مثل "الخطوة 1: جيدة، الخطوة 2: سيئة")، لكن هذه الدرجات كانت مجرد أرقام (0 أو 1). ومع ذلك، لم تكن تشرح لماذا كانت الخطوة سيئة.

الحل: STRIDE (المدرب "الثرثار")

يقترح المؤلفون STRIDE، وهو اختصار لـ Stepwise Trajectory Redirection with In-context Deep Evaluation (إعادة توجيه المسار خطوة بخطوة مع التقييم العميق ضمن السياق).

بدلاً من بطاقة درجات صامتة، يقدم STRIDE مُحقِّقاً توليدياً (Generative Verifier). فكر في هذا كأنه مساعد مدرب يجلس بجانب الطالب ويتحدث خلال حل المسألة في الوقت الفعلي.

إليك كيف يعمل STRIDE عبر ثلاث مراحل، مثل معسكر تدريبي:

المرحلة 1: الإحماء (السياسة الأساسية - Base Policy)

يحاول طالب الذكاء الاصطناي حل المسائل بمفرده. يحصل على درجة بسيطة "صح/خطأ" في النهاية تماماً. هذا يبني أساساً بسيطاً، تماماً مثل تعلم قواعد اللعبة.

المرحلة 2: تدريب المدرب (المُحقِّق - The Verifier)

الآن، يقوم النظام بتدريب ذكاء اصطناعي ثانٍ (المُحقِّق) ليعمل كمدرب.

السحر: لا يتم تعليم المدرب من قبل إنسان يعطيه قائمة من الإجابات الصحيحة والخاطئة لكل خطوة (لأن ذلك مكلف وبطيء جداً). بدلاً من ذلك، يتعلم المدرب من خلال مراقبة الطالب وهو يحل المسائل والتحقق مما إذا كانت الإجابة النهائية صحيحة أم لا.
المهارة: بمرور الوقت، يتعلم المدرب النظر إلى عمل الطالب الفوضوي والقول: "انتظر، في الخطوة 3، لقد نسيت أن ترفع الواحد"، أو "لقد تخطيت خطوة منطقية هنا". إنه يتعلم تحويل درجة "خطأ" بسيطة إلى نقد مكتوب ومفصل.

المرحلة 3: "إعادة المحاولة" مع التوجيه (إعادة توجيه المسار - Trajectory Redirection)

هذا هو الابتكار الجوهري. عندما يفشل الطالب في مسألة ما:

إيجاد أول خطأ: يقوم المدرب (المُحقِّق) بفحص عمل الطالب ويحدد نقطة الفشل الأولى (FPF). إنه يحدد بدقة المكان الذي انكسر فيه المنطق.
"إعادة التوجيه": بدلاً من جعل الطالب يبدأ المسألة بأكملها من الصفر (وهو أمر غير فعال)، يقول النظام: "حسناً، كنت تبلي بلاءً حسناً حتى الخطوة 2. لنتوقف عند هذا الحد. إليك ملاحظتي المكتوبة التي تشرح لماذا فشلت الخطوة 3. الآن، حاول حل بقية المسألة مرة أخرى، بدءاً من الخطوة 2، مستخدماً نصيحتي".
استراتيجية النقاط المتعددة: أحياناً، يكون الخطأ في الخطوة 3 ناتجاً في الواقع عن "خيار سيء" تم اتخاذه في الخطوة 1، رغم أنه بدا جيداً في وقته. STRIDE ذكي بما يكفي ليقول: "لنحاول إعادة البدء من الخطوة 1 و الخطوة 2 أيضاً"، مما يعطي الطالب فرصاً متعددة لإيجاد مسار أفضل.

لماذا يعد هذا أمراً هاماً؟

يدعي المؤلفون أن هذا النهج يحل مشكلتين رئيسيتين:

كسر "الصمت": من خلال استخدام التغذية الراجعة اللغوية (الكلمات) بدلاً من مجرد المكافآت الرقمية (الأرقام)، يحصل الذكاء الاصطناعي على شرح أغنى بك كثيراً. إنه الفرق بين معلم يقول لك "رسوب" ومعلم يقول لك "لقد نسيت توزيع الإشارة السالبة".
حل "المستحيل": وجد المؤلفون أنه بالنسبة للمسائل الصعبة جداً حيث يحصل الذكاء الاصطناعي عادةً على نسبة 0% صح، فإن الطرق القياسية تستسلم لأنها لا تحصل على أي إشارة مفيدة. ومع ذلك، يمكن لـ STRIDE أن يتعلم. حتى لو فشل الذكاء الاصطناعي، يمكن للمدرب الإشارة إلى الخطأ، ويمكن للذكاء الاصطناعي تجربة مسار مختلف من تلك النقطة تحديداً، وبالتالي فك الشفرة في النهاية.

ملخص التشبيه

الطريقة القديمة: تأخذ اختباراً. تحصل على "0/100". ليس لديك أدنى فكرة عما يجب عليك دراسته.
طريقة "الخطوات" السابقة: تحصل على اختبار بـ "الخطوة 1: 10/10، الخطوة 2: 0/10". أنت تعرف أين فشلت، ولكن ليس لماذا.
STRIDE: تأخذ اختباراً. تحصل على "0/100"، ولكن معلمك يسلمك أيضاً ملاحظة مكتوبة تقول: "لقد تعثرت في الخطوة 2 لأنك استخدمت الصيغة الخاطئة. لنعد إلى الخطوة 1، واطلع على هذه الملاحظة، وحاول اتباع نهج مختلف".

النتائج

اختبرت الورقة البحثية هذا الأسلوب على ألغاز رياضية ومنطقية صعبة.

تفوق STRIDE على جميع الطرق الحالية (بما في ذلك أفضل الطرق السابقة).
نجح في حل مسائل الرياضيات، وتحديات البرمجة، والألغاز المنطقية.
والأهم من ذلك، تمكن من حل المسائل التي كانت تعتبر سابقاً "مستحيلة" لهذه النماذج، محولاً نسبة النجاح من 0% إلى فرصة للتعلم.

باختصار، يعلم STRIDE الذكاء الاصطناي أن يتعلم من أخطائه من خلال التحدث إلى نفسه، بدلاً من مجرد التخمين الأعمى.

ملخص تقني: STRIDE - التغذية الراجعة اللغوية القابلة للتعلم خطوة بخطوة لتعزيز استدلال النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

أدت التطورات الأخيرة في استدلال النماذج اللغية الكبيرة (LLM) إلى دفع عجلة التقدم من خلال التعلم المعزز من المكافآت القابلة للتحقق (RLVR). ومع ذلك، تواجه النهج الحالية قيودين حرجين:

عنق زجاجة المعلومات في المكافآت القياسية: تحاول نماذج مكافأة العمليات (PRMs) توفير إشراف على مستوى الخطوة، لكنها تعتمد على درجات عددية (scalar). إن ضغط مسارات الاستدلال عالية الأبعاد في قيم عددية واحدة يخلق عنق زجاجة للمعلومات، حيث تنهار أنماط الخطأ المتميزة دلاليًا (مثل الأخطاء الحسابية مقابل القفزات المنطقية) في درجات متطابقة، مما يوفر نطاقًا تردديًا دلاليًا غير كافٍ لتوجيه التصحيحات.
قيود التغذية الراجعة اللغوية الحالية: بينما توفر الأساليب القائمة على النقد تغذية راجعة نصية أغنى، إلا أنها غالبًا ما تعتمد على نقاد مجمدين أو خارجيين، مما يحد من القدرة على التوسع والتكيف. علاوة على ذلك، فإن أطر التدريب المشترك الحديثة (مثل TANGO) التي تستخدم أجهزة تحقق توليدية، تقوم غالبًا بتحويل المخرجات اللغوية مرة أخرى إلى مكافآت عددية، مما يعيد إدخال نفس عنق زجاجة المعلومات.
تخصيص الائتمان (Credit Assignment): لا يوفر التعلم المعزز القائم على النتيجة أي تغذية راجعة حول خطوات الاستدلال الفردية، مما يترك مشكلة "تخصيص الائتمان" (تحديد الخطوات المحددة التي أدت إلى النجاح أو الفشل) دون حل إلى حد كبير في الاستدلال متعدد الخطوات.

2. المنهجية: إطار عمل STRIDE

يقترح STRIDE (التغذية الراجعة اللغوية القابلة للتعلم خطوة بخطوة) تحولًا جذريًا من الإشراف العملياتي بالقيم العددية إلى تغذية راجعة لغوية قابلة للتعلم خطوة بخطوة. يستخدم الإطار جدول تدريب متداخل يتكون من ثلاث مراحل يتضمن المولد ( $G_\theta$ ) والتحقق التوليدي ( $V_\phi$ )، ويتم تدريبهما معًا باستخدام المكافآت القائمة على النتيجة فقط (بدون تسميات توضيحية على مستوى الخطوة).

المكونات الأساسية

التدريب المشترك للمولد والتحقق (Generator-Verifier Co-Training): يتم تحسين كلا النموذجين عبر تحسين السياسة النسبي المجموعاتي (GRPO) باستخدام صحة النتيجة النهائية ( $c^*$ ) فقط. يتعلم المحقق تفكيك المكافأة النهائية إلى انتقادات لغوية لكل خطوة ( $v_t$ ) دون الحاجة إلى تسميات صريحة لمستوى الخطوة.
المرحلة الأولى: تحسين السياسة الأساسية: يتم تدريب المولد على مكافآت النتيجة لبناء قدرات استدلال أساسية. تشغل هذه المرحلة معظم الجدول الزمني للتدريب (9/13).
المرحلة الثانية: تحسين المحقق التوليدي: يتم تدريب المحقق على توليد انتقادات لغوية عالية الدقة ( $v = (v_1, ..., v_T)$ ) لكل خطوة استدلال. يتعلم تحديد موقع الأخطاء وشرحها لغويًا، ليعمل فعليًا كـ "ملاح سياقي".
المرحلة الثالثة: إعادة توجيه المسار الموجه: هذا هو الابتكار الجوهري. عندما يفشل المولد، يحدد المحقق نقطة الفشل الأولى (FPF)، ويرمز لها بـ $t^*$ $t^{*}$ . وبدلاً من البدء من الصفر، يستخدم STRIDE استراتيجية إعادة التوجيه متعدد النقاط:
- المرتكزات (Anchors): يقوم بإنشاء عينات إعادة التوجيه من جميع الخطوات السابقة $t \in [1, t^*]$ ، وليس فقط من نقطة الفشل الأولى.
- التعليمات:
  - مطالبة التصحيح ( $t=t^*$ ): يتم توجيه المولد لتصحيح المغالطة المنطقية المحددة من قبل المحقق.
  - مطالبة الاستكشاف ( $t<t^*$ ): يتم توجيه المولد لمواصلة الاستدلال من سياق سابق تم التحقق منه، مما يشجع على اكتشاف مسارات بديلة وأكثر متانة (لمعالجة "الانجراف الكامن" حيث تؤدي الخيارات دون المثالية في وقت مبكر إلى فشل لاحق).
- استقرار التدريب: من المهم ملاحظة أن دالة الميزة (advantage function) في المرحلة الثالثة تُحسب حصريًا بناءً على صحة النتيجة النهائية للمسار المعاد توجيهه. وهذا يضمن أنه حتى لو كانت التغذية الراجعة اللغوية للمحقق مشوبة بالضجيج أو الهلوسة، فإن تحديث السياسة يظل راسخًا في النتيجة القابلة للتحقق، مما يمنع الضجيج التدرجي الضار.

3. المساهمات الرئيسية

التحول النوعي إلى تغذية راجعة عالية النطاق الترددي: يقترح البحث التحول من الإشراف العملياتي أحادي البعد (القيم العددية) إلى التغذية الراجعة اللغوية القابلة للتعلم داخل السياق. هذا يفتح المجال لإشارات تدريب أغنى قادرة على التمييز بين أنماط الخطأ المختلفة نوعيًا.
إطار عمل STRIDE: جدول تدريب مشترك متداخل من ثلاث مراحل يدمج استراتيجية إعادة التوجيه متعدد النقاط. يستخدم مرتكزات دلالية تم التحقق منها لتقييد مساحة استكشاف الاستدلال بكفاءة، مما يسمح للنموذج بالتعلم من المشكلات التي لم يكن قابلاً لحلها سابقًا.
المتانة تجاه ضجيج المحقق: من خلال ربط إشارات التعلم بصرامة بصحة النتيجة، يضمن STRIDE "تحسينًا غير ضار للسياسة". فحتى مع عدم دقة تحديد الموقع من قبل المحقق، يضمن الإطار تحقيق تحسن غير سالب، حيث تساهم عمليات إعادة التوجح الناجحة فقط في تحديث السياسة.

4. النتائج التجريبية

أُجريت التجارب على معايير متنوعة تشمل الاستدلال الرياضي (MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench) والاستدلال خارج النطاق (BoardgameQA, CRUXEval, StrategyQA, TableBench).

الأداء: يتفوق STRIDE بشكل كبير على خطوط الأساس المتطورة، بما في ذلك GRPO (القائم على النتيجة) وإطار عمل التدريب المشترك TANGO (القائم على المكافأة العددية).
- على نموذج Qwen2.5-7B، حقق STRIDE درجة 84.6 في MATH-500 مقارنة بـ 81.4 لـ TANGO و74.6 لـ GRPO.
- على نموذج Llama-3.1-8B، حقق STRIDE درجة 70.4 في MATH-500، متفوقًا على TANGO (69.2) وGRPO (66.8).
- كانت المكاسب ثابتة عبر مهام المنطق، والكود، والمنطق العام، والاستدلال الجدولي، مما يشير إلى التعميم لما وراء الرياضيات.
مشكلات معدل المرور الصفري: في دراسات الاستئصال، حقق STRIDE معدل نجاح تصحيح (CSR) بنسبة 6.8% في المشكلات التي لم تقدم فيها جميع نماذج المكافآت العددية أي إشارة تدرج (أي المشكلات التي لم يستطع النموذج حلها في البداية). وهذا يثبت قدرة الإطار على تحويل الحالات غير القابلة للحل إلى إشارات تعلم منتجة.
ديناميكيات التدريب:
- جودة المحقق: تحسنت دقة تحديد الخطوات ومساعدة الانتقادات في المحقق باستمرار أثناء التدريب، مما يؤكد أن الإشراف على مستوى النتيجة كافٍ لتطوير قدرات موثوقة على مستوى العملية.
  يدعم STRIDE مستويات أعلى من "اعتلاج السياسة" (policy entropy) مقارنة بنماذج المكافأة العددية، مما يمنع التقارب المبكر والانهيار التمثيلي.
- عمق الاستدلال: عززت مراحل إعادة التوجيه ظهور سلاسل استدلال أكثر عمقًا وتعقيدًا من الناحية الهيكلية، والتي لم يكن بمقدور أخذ العينات المستقلة إنتاجها.

5. الأهمية والادعاءات

يزعم البحث أن STRIDE يعالج الانهيار التمثيلي الجوهري في أنظمة المكافأة العددية. فمن خلال استخدام تغذية راجعة لغوية خطوة بخطوة قابلة للتعلم، يوفر الإطار الاتجاه الدلالي اللازم لتحديد وتصحيح أخطاء استدلال محددة.

يؤكد المؤلفون أن فعالية STRIDE تنبع من التحول النوعي في الإشراف وليس من زيادة الميزانية الحسابية. فقد أظهرت خطوط الأساس المتطابقة حسابيًا (زيادة خطوات التدريب أو حجم الدفعة) مكاسب طفيفة مقارنة بقفزة الأداء التي حققها STRIDE. علاوة على ذلك، يوضح الإطار أن التوجيه اللغوي عالي النطاق يمكن أن يعطي فوائد حتى مع وجود محققين غير مثاليين، مما يخفف من المخاوف المتعلقة بموثوقية النقاد المتعلمين. يشير العمل إلى أن الانتقال من الإشراف العددي إلى الإشراف اللغوي القائم على العمليات هو مسار قابل للتطبيق لتجاوز مستويات الثبات في استدلال النماذج اللغية الكبيرة، مما يتيح التصحيح الذاتي الموجه بدلاً من أخذ العينات الشاملة.