Learning to Reason in Structured In-context Environments with Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم للتفكير في بيئات سياقية مهيكلة باستخدام التعلم التعزيزي".

1. بيان المشكلة

بينما أدى التعلم التعزيزي (RL) إلى تحسين قدرات التفكير لدى النماذج اللغوية الكبيرة (LLMs) بشكل كبير من خلال استكشاف البيئة، إلا أن بيئة التدريب نفسها غالباً ما يتم تجاهلها. تعاني بيئات التعلم التعزيزي الحالية المخصصة للنماذج اللغوية الكبيرة من ثلاث مشكلات رئيسية:

• القابلية للتوسع (Scalability): تعتمد بيئات الرياضيات والبرمجة غالباً على تعليقات توضيحية من خبراء باهظة الثمن، مما يجعل من الصعب بناء بيانات تدريب واسعة النطاق.
• القدرة على التعميم (Generalizability): المهارات المتعلمة في البيئات القائمة على الألعاب تكون غالباً متخصصة للغاية وتفشل في الانتقال إلى مجالات التفكير العامة.
• القابلية للتحقق (Verifiability): تفتقر العديد من البيئات إلى قواعد موضوعية واضحة للتحقق من صحة الإجابة، مما يؤدي إلى "اختراق المكافأة" (reward hacking) أو إشارات تعلم غامضة.

يجادل المؤلفون بأن بيئة التفكير المثالية يجب أن تمتلك القابلية للتوسع، وأنماط تفكير قابلة للتعميم، والقابلية للتحقق. ويقترحون أن البيانات المهيكلة (مثل الرسوم البيانية للمعرفة - Knowledge Graphs) هي الحلقة المفقودة لاستيفاء هذه المعايير، لكنهم يلاحظون أن الطرق الحالية لا تستفيد منها بفعالية في الضبط الدقيق باستخدام التعلم التعزيزي.

2. المنهجية: بيئة السياق المهيكلة (SIE)

تقدم الورقة إطار عمل بيئة السياق المهيكلة (Structured In-Context Environment - SIE)، والتي تقوم ببناء بيئات التفكير تلقائياً من بيانات مهيكلة ضخمة (تحديداً الرسوم البيانية للمعرفة) وتستخدمها كـ "قيود ناعمة" داخل سياق النموذج (prompt).

أ. مسار البناء الآلي

يقوم إطار العمل بتحويل مهام الإجابة على أسئلة الرسوم البيانية للمعرفة (KGQA) إلى عملية ماركوف لاتخاذ القرار (MDP)، حيث يستكشف النموذج اللغوي الكبير (LLM) رسماً بيانياً فرعياً للعثور على الإجابة. يتضمن المسار أربع خطوات:

1. استرجاع الرسم البياني الفرعي البذري (Seed Subgraph Retrieval): يستخدم بحثاً ثنائي الاتجاه متعدد الخطوات (من كيانات السؤال وكيانات الإجابة) لاسترجاع رسم بياني فرعي بذري يحتوي على مسارات التفكير المحتملة، مع تحسين الكفاءة.
2. استخراج الرسم البياني الفرعي الداعم (Supporting Subgraph Extraction): يستخرج الحد الأدنى من الثلاثيات (الرسم البيضي الفرعي الداعم) التي تشكل مسارات تفكير صالحة تربط السؤال بالإجابة باستخدام خوارزمية ديكسترا (Dijkstra's algorithm).
3. تصفية الرسم البياني الفرعي المشتت (Distractor Subgraph Filtering): يقوم بتصفية الثلاثيات المتبقية لإنشاء "رسم بياني فرعي مشتت". وتعمل عملية تصفية دلالية مكونة من مرحلتين (باستخدام cross-encoder) للاحتفاظ فقط بالمشتتات الأكثر صلة وتحدياً لموازنة طول السياق ودرجة الصعوبة.
4. بناء SIE جزئي (Partial SIE Construction): ينشئ سلسلة من البيئات ذات مستويات صعوبة متفاوتة من خلال التحكم في نسبة الاحتفاظ بالرسم البياني الفرعي الداعم (على سبيل المثال: 100%، 75%، 50%، 25%، 0%). وهذا يسمح للنموذج بالتدريب تحت ظروف معلومات مقيدة، مما يجبره على استنتاج المعلومات المفقودة.

ب. عملية الضبط الدقيق بالتعلم التعزيزي (RL Fine-Tuning)

• المدخلات: يتلقى النموذج اللغوي الكبير (LLM) نصاً (prompt) يحتوي على السؤال والسياق المهيكل (المزيج المختلط من الثلاثيات الداعمة والمشتتة).
• الإجراء (Action): يقوم النموذج بعملية استكشاف ضمني داخل السياق المقدم لتوليد سلسلة تفكير وإجابة نهائية.
• الخوارزمية: يستخدم المؤلفون خوارزمية GRPO (Group Relative Policy Optimization)، والتي تلغي الحاجة إلى نموذج ناقد (critic model) منفصل عبر استخدام تسجيل نسبي للمجموعة.
• آلية المكافأة:
  • مكافأة الإجابة: مكافأة ثنائية (1.0 أو 0.0) بناءً على المطابقة التامة مع الإجابة الصحيحة.
  • مكافأة التنسيق: مكافأة إيجابية للالتزام بتنسيق تفكير محدد (مثل <thought>...</thought><answer>...</answer>).
  • يضمن هذا التحقق القائم على القواعد تعلم النموذج لمنطق التفكير الصحيح بدلاً من مجرد محاكاة التنسيقات.

3. المساهمات الرئيسية

1. إطار عمل SIE: صياغة إطار عمل جديد يقوم بأتمتة بناء بيئات تفكير قابلة للتوسع والتحقق والتعميم من البيانات المهيكلة (الرسوم البيانية للمعرفة).
2. تحليل البيئة الجزئية (Partial Environment Analysis): تقديم مفهوم الـ SIE الجزئية (تباين الاحتفاظ بالمعلومات). وهذا يسمح بالدراسة المنهجية لكيفية تعلم النماذج اللغوية الكبيرة التفكير عندما تكون المعلومات الداعمة غير كاملة، مما ينقل النموذج من الاسترجاع السطحي إلى التفكير التركيبي العميق.
3. التحقق التجريبي: إثبات أن الضبط الدقيق بالتعلم التعزيزي (RL) داخل بيئات SIE يتفوق بشكل كبير على كل من التلقين بسلسلة الأفكياء (CoT) القياسية والضبط الدقيق الخاضع للإشراف (SFT) على بيانات التفكير المهيكلة.
4. اكتشاف القدرة على التعميم: إظهار أن مهارات التفكير المتعلمة في بيئات الرسوم البيانية للمعرفة المهيكلة تنتقل بفعالية إلى المهام خارج النطاق، بما في ذلك التفكير الرياضي (GSM8K, MATH500) والألغاز المنطقية (Knights and Knaves).

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen (2.5-7B, 3-8B) و Llama (3.1-8B) باستخدام الرسم البياني للمعرفة Freebase.

• الأداء داخل النطاق (التفكير المهيكل):

  • تفوق RL w/ SIE بشكل كبير على RL w/o Context (بدون بيانات مهيكلة) وعلى CoT.
  • في مجموعة بيانات WebQSP، حقق RL w/ SIE تحسناً بنسبة +33.7% مقارنة بـ RL w/o Context لنموذج Qwen2.5-7B-Instruct.
  • مقارنة بـ SFT w/ SRD (الضبط الدقيق الخاضع للإشراف على بيانات التفكير المستخلصة)، أظهر RL w/ SIE كفاءة فائقة، حيث حقق متوسط تحسن بنسبة ~53.7% مقارنة بـ CoT، بينما حقق SFT تحسناً بنسبة ~11.4% فقط.

• التعميم خارج النطاق:

  • أظهرت النماذج المدربة في بيئات SIE انتقالاً قوياً إلى مهام الرياضيات والمنطق.
  • في GSM8K، رفع RL w/ SIE أداء Qwen2.5-7B-Instruct من 29.2% (CoT) إلى 87.4%.
  • لوحظت مكاسب كبيرة في MATH500 و KK-hard (الألغاز المنطقية)، مما يثبت أن استراتيجيات التفكير التركيبي هي استراتيجيات مستقلة عن المجال.

• المتانة في البيئات الجزئية:

  • حتى في حالة SIE-0% (حيث تمت إزالة جميع الحقائق الداعمة وبقيت المشتتات فقط)، حقق الضبط الدقيق بالتعلم التعزيزي تحسينات جوهرية (مثلاً: +55.0% في WebQSP).
  • دراسة حالة: في حالة SIE-0%، تعلم النموذج كيفية التعرف على المعلومات المفقودة في السياق ودمجها بنجاح مع معرفته البارامترية الجوهرية لحل المشكلة، بينما قام النموذج قبل التدريب بالهلوسة بإجابات خاطئة.

• الدراسات الاستئصالية (Ablation Studies):

  • التحقق من المكافأة: أدى حذف مكافأة صحة الإجابة (الاكتفاء بالتنسيق فقط) إلى انهيار الأداء، مما يؤكد أن التغذية الراجعة القابلة للتحقق أمر بالغ الأهمية.
  • نقاط البداية (Checkpoints): بدأ RL من نقطة تحقق SFT حسّن التعميم قليلاً لكنه حد من أقصى مكاسب محتملة في التفكير المهيكل، مما يشير إلى أن استكشاف RL الصرف أكثر فعالية لتعلم نموذج التفكير.
  • القابلية للتوسع: توسع إطار العمل بفعالية مع النماذج الأكبر (Qwen2.5-14B)، مُظهراً مكاسب متسقة.

5. الأهمية والتأثير

تعالج هذه الورقة عقبة حرجة في محاذاة النماذج اللغوية الكبيرة: نقص بيئات التفكير القابلة للتوسع وعالية الجودة. من خلال الاستفادة من البيانات المهيكلة (الرسوم البيانية للمعرفة)، يقدم المؤلفون حلاً يتميز بـ:

• الأتمتة والقابلية للتوسع: يزيل الاعتماد على التعليقات التوضيحية البشرية لتوليد بيانات التدريب.
• القدرة على التعميم: يثبت أن أنماط التفكير المتعلمة في مجال مهيكل واحد (الرسوم البيانية للمعرفة) يمكن نقلها إلى مجالات مختلفة تماماً (الرياضيات، المنطق).
• المتانة: يثبت أن التعلم التعزيزي يمكنه تعليم النماذج كيفية "ملء الفجوات" عندما تكون المعلومات ناقصة، وهي قدرة حاسمة للتطبيقات الواقعية حيث تكون البيانات غالباً غير مكتملة.

يمثل إطار عمل SIE تحولاً من الاستهلاك السلبي للبيانات (SFT) إلى الاستكشاف النشط للبيئة (RL)، مما يوفر مساراً واعداً لتطوير نماذج لغوية كبيرة ذات قدرات تفكير أكثر متانة وقابلية للتعميم والتحقق.