💬 NLP

Reasoning Depth and Environment Complexity: A Controlled Study of RLVR Data Allocation across Logical Reasoning Tasks

تقدم هذه الورقة بيئة اصطناعية محكومة لدراسة التعلم المعزز بمكافآت قابلة للتحقق (RLVR) عبر بُعدين من صعوبة الاستدلال (العمق والتعقيد) وأربع عائلات استدلالية، مما يكشف أن التغطية المشتركة لهذه العوامل والخلط الموحد للبيانات يتفوقان على النهج أحادي المحور أو النهج المرحلي، مع تسليط الضوء في الوقت ذاته على عدم تماثل مستمر يميل نحو الاستنتاج على حساب الاستنباط في النماذج الحالية.

المؤلفون الأصليون: Yihua Zhu, Qianying Liu, Fei Cheng, Jiaxin Wang, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yihua Zhu, Qianying Liu, Fei Cheng, Jiaxin Wang, Akiko Aizawa, Sadao Kurohashi, Hidetoshi Shimodaira

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً ولكنه يفتقر للخبرة كيفية حل الألغاز المعقدة. الورقة البحثية التي تقرأها هي تجربة منضبطة لمعرفة نوع الألغاز التي يجب أن تعطيها له للتدريب، وكيفية تنظيم هذا التدريب لتجعله أفضل ممكن في عملية الاستنتاج.

قام الباحثون ببناء "مصنع ألغاز" (عالم اصطناعي) حيث استطاعوا التحكم في كل متغير. لم يكتفوا بإلقاء مسائل رياضية عشوائية على النموذج؛ بل أنشأوا كوناً خاصاً به شخصيات، وأشياء، وقواعد، مما سمح لهم باختبار كيفية تعلم النموذج بدقة.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. بُعدا "الصعوبة"

يعتقد معظم الناس أن اللغز يكون صعباً لمجرد أنه يحتوي على خطوات كثيرة (مثل سلسلة طويلة من قطع الدومينو). وجد الباحثون أن هناك بالفعل طريقتين مختلفتين يمكن أن يكون بهما اللغز صعباً:

عمق الاستنتاج (السلسلة الطويلة): تخيل قصة حيث تعطي أليس كرة إلى بوب، الذي يعطيها إلى تشارلي، الذي يعطيها إلى ديف. لتعرف من يملك الكرة في النهاية، عليك تذكر كل عملية تسليم. هذا هو العمق. الأمر يتعلق بمدى قدرتك على التطلع للأمام.
تعقيد البيئة (الضجيج): الآن، تخيل نفس القصة، ولكن بينما تقوم أليس بتسليم الكرة إلى بوب، هناك 50 شخصاً آخرين في الغرفة يتبادلون القبعات، ويكسرون المزهريات، ويتحدثون عن حالة الطقس. الكرة لا تزال هي نفسها، لكن الغرفة فوضوية. هذا هو التعقيد. الأمر يتعلق بإيجاد المسار الصحيح وسط حشد من المشتتات.

النتيجة: إذا تدربت فقط على السلاسل الطويلة (العمق) ولكن دون ممارسة العمل في غرفة صاخبة (التعقيد)، فسيفشل الطالب عندما تصبح الغرفة صاخبة. وإذا تدربت فقط في غرفة صاخبة مع سلاسل قصيرة، فسيفشل عندما تصبح السلسلة طويلة.
الحل: الأفضل هو المزج بين كليهما. أنت بحاجة لممارسة السلاسل الطويلة وأيضاً ممارستها في غرف صاخبة. هذا "التغطية المشتركة" (Joint Coverage) حققت نتائج أفضل من التركيز على نوع واحد فقط من الصعوبة.

2. أنواع المنطق الأربعة ("عائلات الاستنتاج")

اختبر الباحثون أربع طرق مختلفة للتفكير. فكر فيها كأنها أربع رياضات مختلفة:

الاستنتاج الاستنباطي (التفكير للأمام): "إذا حدث (أ)، فإن (ب) سيحدث". تبدأ بالحقائق وتتحرك للأمام نحو الإجابة. (مثل مسألة رياضية قياسية).
الاستنتاج الاستدلالي (عمل المحقق العكسي): "الأرض مبتلة. ماذا حدث؟". عليك العمل بشكل عكسي من النتيجة لتخمين السبب المفقود. (مثل محقق يحل جريمة).
الاستنتاج الاستقرائي (رصد الأنماط): "كلما رأيت طائراً أحمر، فإنه يغرد. لذلك، كل الطيور الحمراء تغرد". تنظر إلى الأمثلة لتخمين القاعدة.
القياس (ربط النقاط): "(أ) بالنسبة لـ (ب) مثل (ج) بالنسبة لـ...؟". تأخذ علاقة تعرفها وتطبقها على موقف جديد.

المفاجأة الكبرى: هذه الرياضات الأربع لا تدرب نفس العضلات.

الاستنباط والاستدلال يشبهان الأخوين؛ فهما يساعدان بعضهما البعض. إذا أصبحت أفضل في التفكير للأمام، فستصبح أفضل قلي بالتبعية في التفكير العكسي.
الاستقراء والقياس أيضاً يشبهان الزوج؛ فهما يساعدان بعضهما البعض.
ومع ذلك، الاستدلال (العمل العكسي) هش للغاية. وجدت الدراسة أنه إذا دربت نموذجاً على الاستدلال (التفكير العكسي) بطريقة معينة، فسيصبح جيداً فقط في تلك الطريقة المحددة. إذا غيرت اللغز قليلاً، فسينسى كل شيء. الأمر يشبه طالباً حفظ مفتاح الإجابات لاختبار معين، لكنه لا يستطيع حل مسألة مشابهة في يوم آخر.

3. أسطورة "المنهج الدراسي" (خطوة بخطوة مقابل الخليط المتنوع)

هناك فكرة شائعة في التعليم وهي "المنهج الدراسي": ابدأ بألغاز سهلة، ثم متوسطة، ثم صعبة. اختبر الباحثون ذلك مقابل "الخلط الموحد" (إلقاء ألغاز سهلة ومتوسطة وصعبة على الطالب دفعة واحدة).

النتيجة: تحت ميزانية زمنية ثابتة للدراسة، فاز الخلط الموحد.

لماذا؟ عندما تنتقل من "السهل" إلى "الصعب"، يتعين على الطالب "إلغاء تعلم" العادات السهلة والتكيف مع الصعوبة الجديدة. وهذا يستغرق وقتاً وطاقة (تسمى "النسيان").
من خلال خلط كل شيء معاً، يتعلم الطالب التعامل مع الأشياء الصعبة فوراً دون إضاعة الوقت في إعادة التكيف. إنه يشبه تعلم السباحة عبر القفز في الجزء العميق مع سترة نجاة، بدلاً من قضاء أسابيع في الجزء الضحل ثم الشعور بالذعر فجأة عند الوصول للجزء العميق.

4. اختبار "العالم الحقيقي"

أخيراً، تحقق الباحثون مما إذا كانت هذه النتائج تنطبق على نماذج الذكاء الاصطناعي الضخمة والمشهورة التي نستخدمها اليوم (مثل تلك التابعة لـ OpenAI أو Google).

النتيجة: نعم! حتى أكبر النماذج وأكثرها تقدماً اليوم بارعة في الاستنتاج الاستنباطي (التفكير للأمام) ولكنها سيئة في الاستنتاج الاستدلالي (عمل المحقق العكسي). إنها قوية في اتباع سلسلة من الأحداث ولكنها ضعيفة في معرفة ما تسبب في لغز ما. هذا يشير إلى أن الطريقة الحالية التي ندرب بها الذكاء الاصطناعي منحازة طبيعياً نحو التفكير للأمام، وتحتاج إلى تغيير لإصلاح فجوة "التفكير العكسي".

ملخص "الوصفة"

إذا كنت تريد بناء ذكاء اصطناዊ يستنتج (أو تعليم إنسان) بفعالية:

لا تجعل الأشياء أطول فحسب؛ بل اجعلها أكثر فوضوية. اخلط السلاسل الطويلة مع الكثير من المشتتات.
لا تعامل كل أنواع المنطق بنفس الطريقة. إذا كنت تريد تعليم "التفكير العكسي" (الاستدلال)، فعليك أن تكون محدداً جداً وتغطي السيناريوهات الدقيقة التي تريدهم أن يحلوها؛ فلن يعمموا مهاراتهم من تلقاء أنفسهم.
توقف عن جدول "من السهل إلى الصعب". إذا كان لديك وقت محدود، اخلط المسائل السهلة والصعبة معاً. هذا أكثر كفاءة ويمنع الطالب من نسيان ما تعلمه للتو.

ملخص تقني: عمق الاستدلال وتعقيد البيئة في التعلم المعزز بالمكافآت القابلة للتحقق (RLVR)

بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نموذجاً مركزياً لتعزيز قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs)، لا سيما في مهام الرياضيات، وتوليد الكود، والعلوم والتقنية (STEM). ومع ذلك، غالباً ما تدرس الدراسات الحالية "فضاء الاستدلال" من منظور ضيق، حيث تُعرف الصعوبة حصرياً من خلال عمق الاستدلال (طول سلسلة الاستدلال) وتركز إشارات المكافأة بشكل أساسي على تتبع الحالة الاستنتاجي الأمامي.

تحدد هذه الورقة فجوتين حرجتين في أبحاث RLVR الحالية:

تبسيط مفرط للصعوبة: الصعوبة ليست مجرد دالة لطول السلسلة. قد يفشل النموذج لأن مسار الاستدلال طويل (العمق) أو لأن المسار الصحيح محجوب بالمشتتات والهياكل المتفاعلة (تعقيد البيئة).
أشكال استدلال محدودة: تستهدف معظم عمليات ما بعد التدريب مهام الاستنتاج الأمامي، مهملةً أشكالاً منطقية جوهرية أخرى مثل الاستدلال الاستنباطي العكسي/الافتراضي (استعادة الأسباب الخفية)، والاستقرائي (استخراج القواعد)، والتناظري (نقل الأنماط).

تتمثل الأسئلة البحثية المركزية في:

السؤال الأول (RQ1): كيف ينبغي تخصيص أمثلة تدريب RL عبر عمق الاستدلال وتعقيد البيئة؟
السؤال الثاني (RQ2): هل تتصرف عائلات الاستدلال المنطقية المختلفة بشكل موحد تحت تدريب RLVR؟

المنهجية

لعزل تأثيرات توزيع البيانات عن تشوهات ما قبل التدريب، أنشأ المؤلفون بيئة استدلال تعتمد على رسوم بيانية للمعرفة (KG) اصطناعية ومنضبطة.

1. عالم الرسم البياني للمعرفة المنضبط

يتم تعريف البيئة بواسطة رسم بياني $G = (P, O, E_{dyn}, E_{stat}, s_0)$ ، يتكون من:

المكون الديناميكي: تسلسل زمني من الأحداث التي تؤثر على حالات الأشياء (الملكية، الحيازة، السلامة).
المكون الساكن: علاقات القرابة الثابتة بين الأشخاص.
محاور الصعوبة:
- عمق الاستدلال ( $D$ ): عدد أحداث العمليات الديناميكية على السلسلة السببية للكائن المستهدف ( $D \in \{1, \dots, 10\}$ ).
- تعقيد البيئة ( $T$ ): بارامتر هيكلي يتحكم في المشتتات، بما في ذلك عدد السلاسل المتوازية، وتقاطع الكيانات، وتكرار التبادل ( $T \in \{1, \dots, 6\}$ ).

2. عائلات المهام

تم اشتقاق أربع مهام استدلال متميزة من نفس الرسم البياني:

الاستنتاج (Deductive): التتبع الأمامي للأحداث المرصودة للوصول إلى حالة مستهدفة.
الاستدلال الافتراضي/العكسي (Abductive): الاستدلال الخلفي لاستعادة حدث مفقود أو حقيقة أولية تتوافق مع الحالات المرصودة.
الاستقراء (Inductive): استنتاج قاعدة علاقة مشتركة من أمثلة داعمة (المكون الساكن).
التناظر (Analogy): نقل نمط علاقي من زوج كيانات إلى زوج آخر (المكون الساكن).

3. بروتوكول التدريب والتقييم

النموذج: نموذج فك تشفير (decoder-only) بأسلوب Qwen2.5 يمتلك 107 مليون معلمة، تم تدريبه من الصفر.
ما قبل التدريب: أُجري على عمق ضحل ( $D \in \{1..4\}$ ) وتعقيد منخفض ( $T \in \{1, 2\}$ ) لتأسيس الاستدلال الأساسي دون التعرض للمناطق الأكثر صعوبة.
ما بعد التدريب (RL): تم تطبيق تحسين السياسة النسبي المجموعي (GRPO) باستخدام 15 "وصفة" بيانات متميزة تختلف في تغطيتها لشبكة $D \times T$ $D \times T$ .
- الميزانية: ثابتة عند 220 ألف مهمة لكل وصفة.
- خليط المهام: 140 ألف استنتاج، 60 ألف استدلال افتراضي، 10 آلاف استقراء، 10 آلاف تناظر.
التقييم: صحة التحقق من العملية ( $m_P \land m_A$ ) الصارمة على شبكة مكونة من 60 خلية (4,800 رسم بياني). المقاييس تشمل كسب الفرد (SG) (تحسن pass@1) وكسب السقف (CG) (تحسن pass@128).

النتائج الرئيسية

1. التغطية المشتركة للعمق والتعقيد تتفوق على وصفات المحور الواحد

النتيجة: توزيعات البيانات التي تغطي بشكل مشترك كلاً من عمق الاستدلال وتعقيد البيئة (مثل Shallow-Mix و Full-Coverage) تحقق مكاسب أكثر قوة واتساعاً من الوصفات التي تركز على محور واحد فقط (مثل Depth-Uniform أو Cmplx-Uniform).
الآلية: وصفات المحور الواحد تكافئ طلباً واحداً فقط (إما السلاسل الطويلة أو اختيار المشتتات). أما التغطية المشتركة فتكافئ كليهما، مما يمنع النموذج من الإفراط في التخصيص (overfitting) لنوع واحد من الصعوبة مع الفشل في النوع الآخر.
ملاحظة: يستفيد الاستنتاج أكثر من تغطية العمق، بينما لا يظهر الاستدلال الافتراضي تفضيلاً واضحاً للمحاور، لكنه يتطلب تغطية كليهما من أجل التعميم.

2. عائلات الاستدلال تظهر سلوكاً غير موحد

النتيجة: مهام الاستدلال ليست أهدافاً قابلة للتبادل. فهي تتجمع في زوجين من الارتباط: (الاستنتاج، الاستدلال الافتراضي) و (الاستقراء، التناظر).
هشاشة الاستدلال الافتراضي: الاستدلال الافتراضي حساس للغاية للتوزيع. فهو يعمم بشكل سيء خارج منطقة التدريب المحددة، ويمكن أن يتدهور (كسب سلبي CG) عند التدريب على بيانات لا تغطي توزيع الاستدلال العكسي ذي الصلة.
انهيار النمط في التناظر: تظهر مهام التناظر ظاهرة "انهيار النمط" (mode collapse) حيث يقوم الـ RL بشحذ نمط خرائط مهيمن، مما يحسن pass@1 (SG) بشكل كبير ولكنه يفشل في توسيع سقف الاستدلال المأخوذ (CG منخفض).
التحقق من الواقع: أظهر تقييم النماذج الرائدة الجاهزة (مثل Kimi-K2.6، GPT-5.4، DeepSeek-R1) تكراراً لـ عدم التماثل بين الاستنتاج والاستدلال الافتراضي، مما يؤكد أن هشاشة الاستدلال الافتراضي ليست نتاجاً للبيئة المنضبطة فحسب، بل هي قصور عام في النماذج اللغوية الكبيرة الحالية.

3. الخلط الموحد يتفوق على المناهج المتدرجة

النتيجة: في ظل ميزانية ثابتة لما بعد التدريب، يتفوق الخلط الموحد للبيانات عبر الشبكة المستهدفة على المناهج المتدرجة (مثل السهل إلى الصعب).
الآلية: تسبب الانتقالات في المنهج الدراسي (curriculum) عمليات "نسيان" وتكاليف تكيف. التحديثات على الكتل الجديدة والأكثر صعوبة يمكن أن تمحو الدعم للكتل السابقة. وبدون ميزانية كافية لإعادة استقرار المعرفة السابقة، تؤدي انحيازات الحداثة في SGD إلى انخفاضات عالمية في الأداء مقارنة بالخلط الموحد.

الأهمية والادعاءات

تجادل الورقة بأن تخصيص بيانات RLVR هو مشكلة تحسين متعددة الأبعاد، وليس مجرد مسألة تغيير مقياس الصعوبة كقيمة عددية واحدة.

الآثار التصميمية: يتطلب ما بعد التدريب الفعال تغطية هيكلية لفضاء الاستدلال. زيادة طول السلسلة (العمق) وحدها ليست كافية؛ يجب أيضاً تعريض النماذج لبيئات معقدة تحتوي على مشتتات لتعلم اختيار الهيكل ذي الصلة.
خصوصية المهمة: تتطلب أشكال الاستدلال المختلفة استراتيجيات بيانات مختلفة. الاستدلال الافتراضي، على وجه الخصوص، يتطلب تغطية مباشرة للتوزيع المستهدف بدلاً من الاعتماد على النقل من مهام الاستنتاج.
التحذير من المنهج الدراسي: بينما تعد المناهج الدراسية جذابة نظرياً، تقترح الورقة أن الخلط الموحد هو الخيار الافتراضي الأكثر موثوقية تحت ميزانيات حوسبة ثابتة، حيث أن تكاليف النسيان غالباً ما تفوق فوائد التدرج (scaffolding).

تخلص الدراسة إلى أن فجوة "الاستنتاج مقابل الاستدلال الافتراضي" الملحوظة في النماذج المتطورة هي سمة جوهرية في ديناميكيات تدريب RLVR الحالية، مما يشير إلى أن نماذج الاستدلال المستقبلية يجب أن تعطي الأولوية للتغطية الهيكلية متعددة الأبعاد للبيانات لتحقيق قدرات منطقية قوية.