💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

يُعد GoLongRL إطار عمل مفتوح المصدر يعزز التعلم المعزز للسياقات الطويلة من خلال مجموعة بيانات موجهة نحو القدرات تضم 23 ألف عينة متنوعة من التعلم المعزز من التغذية الراجعة البشرية (RLVR) وخوارزمية TMN-Reweight المبتكرة لتحسين المهام المتعددة غير المتجانسة، محققاً أداءً يضاهي النماذج الرائدة مغلقة المصدر.

المؤلفون الأصليون: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً لكنه يعاني من قصر فترة الانتباه، كيف يقرأ ويفهم مكتبة ضخمة من الكتب، وليس مجرد صفحة واحدة. هذا هو تحدي "السياق الطويل" (long-context) في الذكاء الاصطناوي. تقدم ورقة البحث GoLongRL وصفة جديدة لتدريب هذه النماذج، مع التركيز على مشكلتين رئيسيتين: ماذا تعلمهم (البيانات) و كيف تصحح واجباتهم المنزلية (الخوارزمية).

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: الطريقة القديمة كانت ضيقة للغاية

كانت الطرق السابقة لتعليم الذكاء الاصطناعي قراءة الكتب الطويلة تشبه تدريب طالب فقط على ألغاز "أين الإبرة في كومة القش؟".

المشكلة: كانوا ينشئون بيانات تجعل الذكاء الاصطناعي يبحث عن حقائق محددة مخبأة في نصوص طويلة. وبينما ساعد هذا الذكاء الاصطناعي في إيجاد "الإبر"، إلا أنه لم يعلمه كيفية تلخيص "كومة القش" بأكملها، أو ترتيب الأجزاء الأكثر أهمية، أو فهم القصص المعقدة.
النتيجة: أصبح الذكاء الاصطناعي جيداً في إيجاد حقائق محددة، لكنه كان سيئاً في مهارات أخرى مثل تلخيص رواية أو تنظيم تقرير فوضوي. كان الأمر يشبه طالباً يمكنه إيجاد كلمة محددة في القاموس، لكنه لا يستطيع كتابة مقال.

2. الحل: "منهج دراسي" قائم على القدرات

قرر مؤلفو GoLongRL التوقف عن مجرد صنع "عمليات بحث عن إبر" وبدلاً من ذلك بناء منهج دراسي شامل يعتمد على 9 مهارات يحتاجها القارئ الذكي.

مجموعة البيانات (الكتب المدرسية): قاموا ببناء مجموعة بيانات جديدة تضم 23,000 مسألة تدريبية.
- كتب حقيقية، وليست وهمية: بدلاً من تأليف قصص وهمية، استخدموا كتباً حقيقية، وأوراقاً أكاديمية، ووثائق قانونية. وطلبوا من الذكاء الاصطناعي توليد أسئلة حول هذه النصوص الحقيقية. هذا يضمن أن يتعلم الذكاء الاصطناعي التعامل مع الطريقة الطبيعية والفوضوية التي يكتب بها البشر.
- المهارات التسعة: تغطي مجموعة البيانات مهام متنوعة مثل:
  - الاسترجاع الدقيق: إيجاد حقيقة محددة.
  - التلخيص: تكثيف فصل طويل في بضع جمل.
  - الترتيب: تحديد أي من نتائج البحث المتعددة هي الأكثر فائدة.
  - الاستنتاج: حل مسائل رياضية موجودة داخل تقرير مالي.
- التشبيه: تخيل بدلاً من إعطاء طالب 10,000 اختبار متطابق لـ "ابحث عن الكرة الحمراء"، تعطي له مزيجاً من 10,000 اختبار: بعضها يطلب منه إيجاد كرة حمراء، وبعضها الآخر يطلب منه تلخيص اللعبة، وبعضها يطلب منه ترتيب اللاعبين، وبعضها يطلب منه حل مسألة رياضية عن النتيجة.

النتيجة: حتى بدون حيل رياضية معقدة، فإن مجرد استخدام هذا "المنهج الدراسي" الأفضل جعل الذكاء الاصطناعي يتفوق في الأداء على منافس من الفئة الأولى من النماذج مغلقة المصدر (QwenLong-L1.5).

3. الخوارزمية: نظام "التصحيح العادل" (TMN-Reweight)

بمجرد امتلاك منهج دراسي متنوع، فأنت بحاجة إلى طريقة لتصحيح أداء الطالب بشكل عادل. كان لطريقة التصحيح القياسية (المسماة GRPO) عيب عند التعامل مع أنواع مختلفة من الأسئلة.

المشكلة: تخيل اختباراً في الرياضيات حيث تحصل الإجابة الصحيحة على 100 نقطة، واختباراً في الفهم القرائي حيث تحصل الإجابة الصحيحة على نقطة واحدة فقط. إذا خلطت بينهما، فستسيطر أسئلة الرياضيات على عقل الطالب، وسيتجاهل القراءة. أيضاً، إذا كان السؤال صعباً للغاية، فقد يرتبك نظام التصحيح القياسي ويعطي الطالب ائتماناً كبيراً بسبب تخمين محظوظ أو ائتماناً قليلاً جداً بسبب اقترابه من الإجابة دون إصابتها.
الحل (TMN-Reweight): ابتكر المؤلفون نظام تصحيح جديداً يتكون من خطوتين:
1. تساوي الفرص (التطبيع على مستوى المهمة): قاموا بتعديل الدرجات بحيث تبدو الدرجة "المثالية" في مسألة رياضية مساوية للدرجة "المثالية" في مسألة ترتيب. هذا يمنع الذكاء الاصطناعي من تجاهل المهام الصعبة لمجرد أن أرقامها تبدو أصغر.
2. التركيز على الجهد المبذول (إعادة الوزن التكيفي مع الصعوبة):
  - إذا أجاب الطالب على سؤال سهل بشكل صحيح، يقول المعلم: "عمل جيد، لكنك كنت تعرف هذا بالفعل"، ويعطي مكافأة صغيرة.
  - إذا أجاب الطالب على سؤال صعب بشكل صحيح (وهو أمر نادر)، يقول المعلم: "واو، كان ذلك صعباً! عمل رائع في اكتشاف ذلك!" ويعطي مكافأة ضخمة.
  - إذا أخطأ الطالب في سؤال صعب، لا يغضب المعلم؛ بل يكتفي بالقول: "لنحاول مرة أخرى"، ويقلل العقوبة حتى لا يشعر الطالب بالإحباط.

التشبيه: الأمر يشبه مدرباً لا يكتفي فقط بعدّ النقاط. المدرب يعدل النتيجة بناءً على مدى صعوبة اللعبة ويركز الثناء الإضافي على اللعبات التي كان من الصعب تنفيذها. هذا يساعد الذكاء الاصطناوي على التعلم بشكل أسرع وأكثر توازناً عبر جميع المهارات.

4. النتائج: طالب متكامل المهارات

عندما اختبروا هذه الطة الجديدة:

أفضل في كل شيء: تحسن الذكاء الاصطناعي بشكل ملحوظ في جميع المهارات التسعة، وليس فقط في مهارات "إيجاد الإبر".
لا توجد مقايضات: عادةً، عندما تدرب طالباً ليكون بارعاً في شيء واحد (مثل قراءة الكتب الطويلة)، فإنه يصبح أسوأ في أشياء أخرى (مثل المنطق العام أو الذاكرة). هذه الطريقة حسنت بالفعل مهارات الاستنتاج العام والذاكرة لدى الذكاء الاصطناعي أثناء تعليمه قراءة السياق الطويل.
مفتوح المصدر: أصدر المؤلفون "المنهج الدراسي" بالكامل (مجموعة البيانات)، و"خطة التدريس" (الكود)، و"معيار التصحيح" (الخوارزمية) ليتمكن أي شخص من استخدامها.

الملخص

GoLongRL يشبه ترقية تعليم الذكاء الاصطناعي من تدريب ممل ومتكرر (البحث عن الإبر) إلى منهج دراسي غني ومتنوع (القراءة، التلخيص، الترتيب، والاستنتاج) مقترن بنظام تصحيح ذكي وعادل يعرف متى يضغط على الطالب ومتى يمنحه استراحة. النتيجة هي ذكاء اصطناعي ليس مجرد باحث عن الحقائق، بل مفكر حقيقي في النصوص الطويلة.

ملخص تقني: GoLongRL

بيان المشكلة

بينما توسعت النوافذ السياقية للنماذج اللغوية الكبيرة (LLMs) بسرعة من خلال التدريب المسبق والتدريب المتوسط، لا يزال الاستخدام الفعال لهذه السياقات الممتدة أثناء مرحلة ما بعد التدريب يمثل عقبة. تعاني أساليب التعلم المعزز (RL) الحالية للتعامل مع السياق الطويل من مشكلتين رئيسيتين:

تغطية بيانات ضيقة: غالبًا ما تبني الطرق الحالية البيانات حول مسارات استرجاع معقدة (مثل سلاسل UUID، أو استخراج الأجزاء لأسئلة وأجوبة)، مما يؤدي إلى تغطية مهام متجانسة. وينتج عن ذلك إشراف غير كافٍ للقدرات الحرجة مثل التلخيص، والتصنيف، والتجميع، والاستدلال الهيكلي.
عدم استقرار التحسين في إعدادات المهام المتعددة: يواجه خوارزم تحسين السياسة النسبي للمجموعات (GRPO) القياسي تحديات عند تطبيقه على مهام متباينة ذات مقاييس مكافأة مختلفة (مثل EM، F1، NDCG، ROUGE-L).
- تحيز الصعوبة: يمكن لعملية التطبيع لكل مطالبة (عن طريق القسمة على الانحراف المعياري $\sigma_u$ ) أن تضخم المزايا للمطالبات السهلة والصعبة بينما تثبط عينات الصعوبة المتوسطة.
- عدم اتساق المقياس عبر المهام: تُظهر مقاييس المكافأة المختلفة ملفات تعريف تباين متفاوتة. وبدون التطبيع المناسب، يمكن للمهام ذات التباين العالي أن تهيمن على تحديثات التدرج، مما يشوه مسار التحسين.

المنهجية

1. بناء القدرات الموجه نحو البيانات

يقترح المؤلفون إطار عمل لبناء البيانات موجهًا بواسطة تصنيف لـ 9 قدرات أساسية للسياق الطويل، بدلاً من مجرد حقن الطول في المطالبات.

تكوين مجموعة البيانات: مجموعة بيانات مفتوحة المصدر بالكامل تتكون من 22,965 عينة من RLVR (التعلم المعزز بالمكافآت القابلة للتحقق).
- المصادر: حوالي 14 ألف عينة منسقة من مجموعات بيانات مفتوحة المصدر مستقرة (مثل LongBench Pro، CLongEval) و9 آلاف عينة اصطناعية حيث يتم توليد أزواج الأسئلة والأجوبة من وثائق حقيقية (كتب، أوراق أكاديمية، سجلات قانونية).
- تصنيف المهام: تغطي مجموعة البيانات 9 أنواع من المهام (T1–T9)، تشمل الاسترجاع الدقيق، الفهم، الاسترجاء الشامل، الاستدلال العددي، الاستخراج الهيكلي، المطابقة الهيكلية، التصنيف المتدرج، ترتيب التسلسل، والتلخيص.
- محاذاة المكافأة: يتم ربط كل مهمة بمقياس التقييم الطبيعي الخاص بها (مثل NDCG للتصنيف، F1 للاسترجاع الشامل، ROUGE-L للتلخيص) بدلاً من دمجها في إشارة ثنائية واحدة.
خط أنابيب البناء: عملية مكونة من أربع مراحل تشمل جمع المصادر، وتصفية المهام، وبناء العينات مع رقابة جودة متعددة المراحل (باستخدام نماذج مثل Gemini-2.5-Pro وDeepSeek-V3.2)، والتحسين التكراري بناءً على تشخيصات الاختبارات المرجعية.

2. خوارزمية TMN-Reweight

لمعالجة تحديات التحسين الناجمة عن المكافآت المتباينة، يقدم البحث خوارزمية TMN-Reweight (التطبيع المتوسط على مستوى المهمة مع إعادة الوزن التكيفي مع الصعوبة).

الخطوة 1: التطبيع المتوسط على مستوى المهمة: بدلاً من التطبيع باستخدام الانحراف المعياري لكل مطالبة ( $\sigma_u$ )، والذي يخلط بين تصحيح المقياس وتضخيم الصعوبة، تقوم الطريقة بالتطبيع باستخدام انحراف معياري مجمع على مستوى المهمة ( $\sigma_{task}$ ). ويتم حساب هذا كجذر متوسط مربعات الانحرافات المعيارية لكل مطالبة داخل مهمة محددة. هذا يقلل من اختلافات المقياس بين المهام مع الحفاظ على أحجام المزايا النسبية داخل كل مهمة.
الخطوة 2: إعادة الوزن التكيفي مع الصعوبة: لتصحيح تحيز الصعوبة داخل المهام، تقدر الطريقة صعوبة المطالبة باستخدام معدل نجاح سلس (عبر الاستيفاء بين خطوط الأساس لكل مطالبة وعلى مستوى المهمة).
- إعادة تخصيص التدرج في أربعة أرباع: يتم تطبيق وزن الصعوبة ( $w$ $w$ ) بشكل غير متماثل:
  - بالنسبة لـ المطالبات الصعبة ( $w > 1$ ): يتم تضخيم المزايا الإيجابية لتعزيز عمليات التشغيل الناجحة النادرة؛ ويتم تقليص المزايا السلبية ( $1/w$ ) لتقليل التدرجات المزعزعة للاستقرار.
  - بالنسبة لـ المطالبات السهلة ( $w < 1$ ): يتم تخفيف المزايا الإيجابية لمنع تركيز الاحتمالات؛ ويتم تضخيم المزاوز السلبية لزيادة التعلم من الإخفاقات غير المتوقعة.

المساهمات الرئيسية

مجموعة بيانات موجهة للقدرات ومفتوحة المصدر: إصدار مجموعة بيانات مكونة من 23 ألف عينة تغطي 9 أنواع متنوعة من المهام مع وظائف مكافأة متباينة. يوضح المؤلفون أن التدريب على هذه البيانات وحدها (باستخدام GRPO التقليدي) يتفوق على مجموعة بيانات QwenLong-L1.5 المغلقة عند مقاييس 4B و30B.
خوارزمية TMN-Reweight: استراتيجية تحسين مبتكرة تعالج معًا عدم اتساق مقياس مكافأة المهام المتباينة وتحيز الميزة الناتج عن الصعوبة. وهي تحقق مكاسب أداء ثابتة مقارنة بـ GRPO التقليدي دون الحاجة إلى شبكة قيمة منفصلة.
الحفاظ على التعميم: يظهر إطار العمل أن التعلم المعزز للسياق الطويل المعتمد على القدرات يحافظ على قدرات الاستدلال العام والذاكرة أو يحسنها، بما في في ذلك الانتقال إلى الذاكرة الوكيلية (agentic memory) واختبارات الحوار طويلة المدى التي لم تُستخدم أثناء التدريب.

النتائج

أداء الاختبارات المرجعية:
- في نموذج Qwen3-4B-Thinking، رفع التدريب باستخدام مجموعة البيانات الموجهة للقدرات وGRPO التقليدي متوسط اختبارات السياق الطويل من 53.0 إلى 62.2، متجاوزًا QwenLong-L1.5 (59.4). إضافة TMN-Reweight حسنت المتوسط إلى 63.0.
- في نموذج Qwen3-30B-A3B، حسنت مجموعة البيانات المتوسط من 60.1 إلى 69.8 (مقابل 67.2 لـ QwenLong-L1.5).
- يحقق النموذج المدرب على هذه البيانات أداءً يضاهي النماذج الأكبر بكثير والمغلقة المصدر مثل DeepSeek-R1-0528 وQwen3-235B-A22B-Thinking-2507 في اختبارات السياق الطويل.
دراسات الاستبعاد (Ablation Studies):
- تم تحديد مجموعة البيانات نفسها كمحرك رئيسي لمكاسب الأداء، حيث توفر TMN-Reweight دفعة إضافية ثابتة ولكن متواضعة (0.8 نقطة في نموذج 4B)، خاصة في المهام كثيفة التجميع مثل CorpusQA.
- يعمل المعامل $\alpha$ (الذي يتحكم في التوازن بين تقدير الصعوبة لكل مطالبة وعلى مستوى المهمة) بشكل أفضل عند 0.8.
القدرات العامة: تُظهر التقييمات على MMLU-Pro وAIME24/25 وGPQA أن قدرات الاستدلال العام قد تم الحفاظ عليها أو تحسينها. لوحظت مكاسب كبيرة في الذاكرة الوكيلية (Memory-Vec, Memory-Rec_Sum) وذاكرة الحوار (LongMemEval).
الاستقراء الطولي: تتعمم النماذج المدربة على سياقات 160 ألف توكن بفعالية على تسلسلات تقييم تصل إلى مليون توكن، مما يظهر مكاسب متسقة عبر مقاييس النماذج.

الأهمية والادعاءات

يدعي البحث أن تغطية البيانات وتنوع المكافآت هما العقبتان الرئيسيتان في التعلم المعزز للسياق الطويل، وغالبًا ما يكونان أكثر أهمية من التحسينات الخوارزمية وحدها. ومن خلال التحول من بناء البيانات المرتكز على الاسترجاع إلى تصنيف موجه للقدرات، يوفر المؤلفون إشارات تدريب أغنى تفيد طيفًا واسعًا من مهام السياق الطويل.

يشير العمل إلى أن التغطية الأوسع وتنوع المكافآت الأكبر يفيدان بشكل كبير تحسين قدرات السياق الطويل، حتى مع خوارزميات التعلم المعزز القياسية. علاوة على ذلك، توفر خوارزمية TMN-Reweight المقترحة آلية تحسين مستقرة لإعدادات المهام المتعددة المتباينة، مما يضمن أن فوائد تدريب السياق الطويل لا تأتي على حساب تدهور الاستدلال العام أو الذاكرة. تم إصدار جميع الموارد، بما في ذلك مجموعة البيانات، وخط أنابيب البناء، وكود التدريب، علنًا لتسهيل المزيد من الأبحاث.