LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "LongAct: تسخير أنماط التنشيط الجوهرية لتعلم التعزيز للسياقات الطويلة."

1. بيان المشكلة

أصبح التعلم التعزيزي (RL) محركًا رئيسيًا لتعزيز قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs)، لا سيما في سيناريوهات السياق الطويل (مثل فهم الحوار العميق، وتحليل البيانات المعقدة). ومع ذلك، تواجه الأساليب الحالية قيودًا كبيرة:

• التركيز الخارجي: تركز الطرق الحالية بشكل أساسي على تحسين العوامل الخارجية مثل هندسة المكافآت، أو توليد البيانات، أو توسيع السياق التدريجي، حيث تعامل الحوسبة الداخلية للنموذج كـ "صندوق أسود".
• عدم الكفاءة: تقوم عمليات تدريب التعلم التعزيزي القياسية بتحديث جميع معاملات النموذج بشكل موحد، متجاهلة حقيقة أن الاستدلال في السياق الطويل يظهر بطبيعته بنية متفرقة (sparse structure).
• الإشارات غير المستغلة: بينما تشير الأعمال السابقة إلى أن الأبعاد الخفية ليست متساوية في الأهمية (حيث تشفر التنشيطات ذات المقدار العالي معلومات بالغة الأهمية)، فإن نماذج التعلم التعزيزي للسياق الطويل تتجاهل إلى حد كبير هذه التمثيلات الكامنة الجوهرية.

المشكلة الجوهرية هي كيفية استغلال أنماط التنشيط الجوهرية للنموذج لتوجيه التدريب بشكل أكثر كفاءة وفعالية للاستدلال في السياق الطويل دون الاعتماد فقط على البيانات الخارجية أو التغييرات الهيكلية.

2. المنهجية: LongAct

يقترح المؤلفون LongAct، وهي استراتيجية تنقل التركيز من التحديثات الموحدة للمعاملات إلى التحديثات المتفرقة الموجهة بالبروز (Saliency-guided sparse updates). وتستند هذه الطريقة إلى فرضية أن التنشيطات ذات المقدار العالي في ناقلات الاستعلام ($Q$) والمفتاح ($K$) تعمل كـ "مرتكزات هيكلية" للاستدلال في السياق الطويل.

المكونات التقنية الرئيسية:

• ملاحظة التنشيطات المتفرقة:

  • لاحظ المؤلفون أنه ضمن ناقلات $Q$ و $K$ في طبقات الانتباه (attention layers)، تظهر أبعاد معينة باستمرار تنشيطات ذات مقدار عالٍ (قيم متطرفة/outliers)، بينما تظل بقية الأبعاد منخفضة نسبيًا.
  • تم تحديد هذه التنشيطات عالية المقدار كعناصر حاسمة لتشفير المعلومات اللازمة للاستدلال في السياق الطويل.

• آلية التحديث المتفرق الموجه بالبروز:

  • الهدف: تركز الطريقة على أوزان الإسقاط ($W_Q$ و $W_K$) في طبقات الانتباه.
  • القناع الديناميكي (Dynamic Masking): بدلاً من تحديث جميع الأوزان، يقوم LongAct بتحديد المعاملات "الحاملة للحمل" (load-bearing) ديناميكيًا.
    1. حساب مصفوفة المقدار العالمي ($M$) عن طريق حساب معيار $\ell_2$ للتنشيطات عبر بُعد التسلسل.
    2. إجراء اختيار داخل الرأس (intra-head selection): لكل رأس انتباه، يتم اختيار أعلى-$k$ من الأبعاد ذات المقادير الأعلى (يتم التحكم فيها بواسطة نسبة التفرع $\lambda$، مثل 30%).
    3. إعادة ربط هذه الأبعاد المختارة بالصفوف المقابلة في مصفوفة الوزن ($W_Q, W_K$).
  • قناع التدرج (Gradient Masking): يتم تطبيق قناع ثنائي ($G$) أثناء الانتشار العكسي (backpropagation). يتم تحديث التدرجات فقط للصفوف المقابلة للتنشيطات عالية المقدار؛ بينما تتلقى جميع المعاملات الأخرى (بما في ذلك $W_V$ و $W_O$ وطبقات MLP) تحديثات كاملة قياسية أو يتم تجميدها اعتمادًا على التكوين المحدد، رغم أن الورقة تؤكد أن فقط الصفوف المختارة من $W_Q/W_K$ هي التي تُحدث بشكل متفرق بينما تظل المعاملات الأخرى قياسية.
  • الاستنتاج (Inference): يتم التخلص من القناع أثناء الاستنتاج، مما يعني أن النموذج يعمل كنموذج Transformer كثيف قياسي بدون أي تأخير إضافي في زمن الاستجابة (latency).

• إطار العمل التدريبي:

  • البداية الباردة (Cold Start): الضبط الدقيق الخاضع للإشراف (SFT) على مسارات الاستدلال لإنشاء سياق سياسة مسبق.
  • مرحلة التعلم التعزيزي (RL Phase): استخدام DAPO (وهو متغير مستقر من تحسين السياسة النسبي للمجموعات - GRPO) مع دالة مكافأة قائمة على القواعد (الامتثال للتنسيق + صحة الإجابة).
  • الهدف: تحسين المكافأة المتوقعة مع تقييد تدفق التدرج إلى الأوزان البارزة المحددة أعلاه.

3. المساهمات الرئيسية

1. رؤية جديدة: تربط الورقة بشكل مباشر بين التنشيطات عالية المقدار في ناقلات $Q/K$ وقدرات الاستدلال في السياق الطويل، مما يؤكد أن هذه "القيم المتطرفة" محورية لأداء النموذج.
2. خوارزمية Long-Act: تقترح إطار عمل تدريبي يقوم بتحديث الأوزان المرتبطة بالتنشيطات الهامة بشكل انتقائي، مبتعدة عن التحديثات الموحدة.
3. الشمولية: تثبت أن الطريقة مستقلة عن الخوارزمية، حيث تحسن الأداء عبر خوارزميات RL متنوعة (GRPO, DAPO, KL-Cov).
4. الكفاءة: تحقق مكاسب في الأداء دون تعديلات هيكلية أو عبء إضافي في زمن الاستجமாத أثناء الاستنتاج.

4. النتائج التجريبية

قيم المؤلفون LongAct باستخدام نماذج Qwen3-8B و Qwen3-4B عبر عدة اختبارات مرجعية.

• LongBench v2 (الاختبار الرئيسي):

  • الأداء: حقق LongAct درجة قدرها 36.73 على Qwen3-8B، متفوقًا على خط الأساس القياسي SFT+DAPO (32.80) ونسخة Qwen3-8B* الرسمية (33.60) بمقدار +3.93 و +3.13 على التوالي.
  • المهام الصعبة: لوحظت تحسينات كبيرة في مجموعات المهام "الصعبة" (+7.63 عن DAPO)، مما يشير إلى قدرة أفضل على التعامل مع تراكم الأخطاء في الاستدلال المعقد.
  • متانة الطول: لوحظت مكاسب متسقة عبر أطوال السياق القصيرة والمتوسطة والطويلة، مع أكبر التحسينات في فئة السياق "الطويل" (>128k).

• اختبار RULER المرجعي:

  • حسن LongAct متوسط الدرجة في RULER-128K إلى 51.15 (مقابل 49.63 لـ DAPO)، مما يدل على تعزيز الاستخدام الفعال لنافذة السياق.

• InfiniteBench:

  • حقق أفضل متوسط أداء (49.39 لـ 8B) عبر مهام متباينة تشمل الاسترجاع، التلخيص، والأسئلة والأجوبة.

• الدراسات الاستئصالية (Ablation Studies):

  • اختيار التنشيط: أدى تحديث الأوزاء بناءً على التنشيطات عالية المقدار إلى أفضل النتائج (36.73). أما الاختيار العشوائي أو تحديث الأوزان منخفضة المقدار فقد أدى إلى نتائج أقل بكثير (~29.82).
  • نسبة التفرع (Sparsity Ratio): وُجد أن نسبة التفرع 30% (تحديث أعلى 30% من الأوزان) هي المثلى. النسب الأعلى (40%) أدت إلى عوائد متناقصة أو تراجع في الأداء.
  • التعميم: حسن LongAct أيضًا الأداء في اختبارات السياق القصير (GSM8K, HumanEval)، مما يثبت أنه محسن قوي وعام، وليس مجرد حيلة للسياق الطويل.

• تحليل الاضطراب (Perturbation Analysis):

  • أدى تعطيل التنشيطات عالية المقدار (عن طريق تقييدها عند المتوسط) إلى انهيار فوري للنموذج (حلقات تكرارية).
  • أدى تعطيل التنشيطات منخفضة المقدار إلى الحفاظ على تماسك الاستدلال، مما أكد الطبيعة الحرجة لـ "المرتكزات" عالية المقدار.

5. الأهمية

• تحول في النموذج المعرفي: ينقل LongAct التركيز من هندسة البيانات/المكافآت الخارجية إلى ديناميكيات النموذج الداخلية، مما يقدم منظورًا جديدًا حول كيفية تدريب النماذج اللغوية الكبيرة للسياقات الطويلة.
• الكفاءة والقابلية للتوسع: من خلال تحديث مجموعة فرعية متفرقة فقط من المعاملات، تقلل الطريقة من الهدر الحسابي أثناء التدريب مع الحفاظ على سرعة الاستنتاج الكاملة.
• القابلية للتفسير: توفر الورقة دليلًا تجريبيًا على أن أنماط تنشيط معينة مسؤولة هيكليًا عن الاستدلال في السياق الطويل، مما يسد الفجوة بين رؤى تكميم النماذج (حيث يتم الحفاظ على القيم عالية المقدار) وتدريب التعلم التعزيزي.
• الأثر العملي: تتوافق الطريقة مع خوارزميات RL وبنى النماذج الحالية، مما يجعلها إضافة جاهزة للاستخدام (plug-and-play) لتحسين قدرات السياق الطويل في النماذج اللغوية الكبيرة الحالية.