ملخص تقني: ضبط سلسلة التفكير عبر الوسيط لتعزيز الاستدلال في السياقات الطويلة

بيان المشكلة

وسعت النماذج اللغوية الكبيرة (LLMs) مؤخرًا نوافذ السياق الخاصة بها لدعم مدخلات تصل إلى 10 ملايين رمز (token). ومع ذلك، تعاني هذه النماذج من تدهور ملحوظ في الأداء في مهام السياق الطويل التي تتطلب استدلالًا معقدًا، مثل استخلاص الرؤى من تقار_ير طبية متعددة أو تحليل الوثائق المالية.

تتمثل المشكلة الجوهرية المحددة في وجود فجوة أداء كبيرة بين السياقات الطويلة الكاملة وسياقات الوسيط (Proxy Contexts). يُعرَّف سياق الوسيط بأنه مجموعة فرعية مدمجة من المدخلات تحتوي فقط على الحد الأدنى من الأدلة اللازمة لاستخلاص الإجابة الصحيحة. وبينما تظل عملية الاستدلال الأساسية المطلស لحل مهمة ما ثابتة بغض النظر عما إذا كان النموذج يرى السياق الكامل أو سياق الوسيط، تُظهر النتائج التجريبية أن النماذج تعمل بشكل أفضل بكثير في سياقات الوسيط. فعندما يتم توجيهها بناءً على سياقات طويلة كاملة، غالبًا ما تولد هياكل استدلال عالية المستوى تبدو منطقية، لكنها تفشل في ربط الحقائق المحددة بشكل صحيح، مما يؤدي إلى الهلوسة وانخفاض الدقة.

تواجه الأساليب الحالية لتحسين الاستدلال، مثل تقطير سلسلة التفكير (CoT Distillation) والتعلم التعزيزي (RL)، قيودًا حرجة في إعدادات السياق الطويل:

1. تقطير سلسلة التفكير (CoT Distillation): يعتمد على مسارات عالية الجودة من نماذج المعلم الكبيرة. وتعد عملية استعلام هذه النماذج المعلمة عبر سياقات طويلة كاملة مكلفة حاسوبيًا، وبطيئة، وغالبًا ما تعطي مسارات غير موثوقة للمهام المعقدة.
2. التعلم التعزيزي (Reinforcement Learning): يعد توسيع نطاق التعلم التعزيزي ليشمل السياقات الطويلة أمرًا باهظ التكلفة بسبب الحاجة إلى عمليات أخذ عينات واسعة النطاق عبر تسلسلات طويلة أثناء التدريب.

المنهجية: ProxyCoT

يقترح المؤلفون ProxyCoT، وهو إطار عمل تدريبي جديد يتكون من مرحلتين، مصمم لنقل قدرات الاستدلال من سياقات الوسيط القصيرة إلى السياقات الطويلة الكاملة. يعمل إطار العمل بناءً على فرضية أن مسارات الاستدلال التي يتم إنتاجها على مدخلات وسيط فعالة يمكن "تأصيلها" (grounded) في السياقات الطويلة الكاملة عبر الضبط الدقيق الخاضع للإشراف.

يتكون إطار العمل من مرحلتين:

المرحلة الأولى: اكتساب سلاسل التفكير (CoTs) على سياقات الوسيط القصيرة

الهدف هو توليد مسارات استدلال عالية الجودة ($t$) مشروطة بسياق الوسيط ($C_p$) بدلاً من السياق الكامل ($C$). توفر هذه المرحلة متغيرين للحصول على المسارات:

• ProxyCoT-ZS (Zero-Shot): يتم استعلام نموذج معلم ضخم وجاهز ($M_{ZS}$) لتوليد مسارات استدلال بناءً على سياق الوسيط ($t \sim p_\phi(t | q, C_p)$). ويتم الاحتفاظ فقط بالمسارات التي تؤدي إلى إجابات صحيحة. وهذا يتجنب تكلفة استعلام المعلمين على السياقات الطويلة الكاملة.
• ProxyCoT-RL (Reinforcement Learning): في حال عدم توفر معلم قادر، يتم تحسين النموذج المستهدف ($M_{init}$) مباشرة على سياقات الوسيط باستخدام التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR). يتعلم النموذج تعظيم احتمالية توليد مسارات تؤدي إلى إجابات صحيحة ($t \sim p_\theta(t | q, C_p)$).

المرحلة الثانية: تأصيل سلاسل التفكير في السياقات الطويلة الكاملة

في هذه المرحلة، يتم نقل أنماط الاستدلة التي تم تعلمها في المرحلة الأولى إلى السياق الكامل. يتم تدريب نموذج الطالب عبر الضبط الدقيق الخاضع للإشراف (SFT) لإعادة إنتاج مسارات الاستدلال التي تم توليدها في المرحلة الأولى، ولكن بشرط أن تكون مشروطة بـ السياق الطويل الكامل ($C$) بدلاً من الوسيط.

• الهدف: تقليل السلب اللوغاريتمي (negative log-likelihood) للمسار $t$ بمعلومية السؤال $q$ والسياق الكامل $C$:
  $$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$$
• ProxyCoT-ZS: يتم ضبط نموذج الطالب ($M_{init}$) لمحاكاة مسارات المعلم أثناء رؤية السياق الكامل.
• ProxyCoT-RL: يتم ضبط النموذج ($M_{RL}$) المحسن بالتعلم التعزيزي من المرحلة الأولى لزيادة تطبيق أنماط الاستدلال المتعلمة على السياق الكامل.

المساهمات الرئيسية

1. صياغة سياقات الوسيط: يقدم البحث مفهوم سياقات الوسيط ويصيغه رسميًا لمهام الاستدلال في السياق الطويل، ويكشف تجريبيًا عن وجود فجوة أداء كبيرة بين الوسيط القصير والسياق الطويل الكامل رغم تماثل متطلبات الاستدلال.
2. إطار عمل ProxyCoT: إطار تدريبي مبتكر يستفيد من سياقات الوسيط القصيرة لاكتساب مسارات CoT عالية الجودة، والتي تُستخدم بعد ذلك لتعزيز الاستدلال عبر السياقات الطويلة الكاملة. يتجاوز هذا النهج الحاجة إلى استنتاج المعلم المكلف على التسلسلات الطويلة ويقلل من تكاليف أخذ العينات في التعلم التعزيزي.
3. التحقق التجريبي: أظهرت التجارينات الواسعة أن ProxyCoT يتفوق باستمرار على النماذج المرجعية القوية (بما في ذلك SFT المباشر، والتعلم التعزيزي على السياقات الكاملة، وتقطير CoT على السياقات الكاملة) عبر عائلات نماذج مختلفة (Qwen3-4B, Gemma3-4B) ومجموعات بيانات (SciTrek, HotpotQA). كما أظهرت الطريقة قدرة قوية على التعميم في المهام خارج النطاق.

النتائج التجريبية

قيم المؤلفون ProxyCoT على SciTrek (الأسئلة والأجوبة ذات السياق الطويل عبر المقالات العلمية) و HotpotQA (الأسئلة متعددة الخطوات عبر ويكيبيديا).

• مكاسب الأداء:
  • في SciTrek، حقق ProxyCoT-RL نسبة مطابقة تامة بلغت 46.5% في السياقات الكاملة باستخدام Qwen3-4B، متفوقًا بشكل ملحوظ على خط الأساس Zero-shot (30.8%) وعلى SFT في السياقات الكاملة (19.5%). بل إنه اقترب من أداء نموذج Qwen3-235B-Thinking الأكبر بكثير (48.8%).
  • في HotpotQA، حقق ProxyCoC-RL دقة بنسبة 52.7% في السياقات الكاملة، متفوقًا على جميع النماذج المرجعية.
• الكفاءة: لم يحسن ProxyCoT-RL الدقة فحسب، بل أدى أيضًا إلى جعل مسارات الاستدلة أقصر بكثير عند الاستنتاج. في SciTrek، استخدم متوسط 617 رمزًا لـ CoT مقارنة بـ 1,744 لـ zero-shot و 5,520 لـ ProxyCoT-ZS، مع تحقيق دقة أعلى.
• دراسات الاستئصال (Ablation Studies): أكدت النتائج أن كلتا مرحلتي التدريب ضروريتان. فالتدريب فقط على سياقات الوسيط (المرحلة الأولى) أدى إلى دقة عالية في الوسيط ولكن مع ضعف في التأصيل في السياق الكامل. أما التدريب فقط على السياقات الكاملة (المرحلة الثانية) دون مسارات مستمدة من الوسيط فقد أدى إلى أداء أقل. كان الجمع بينهما ضروريًا للوصول إلى النتائج المثلى.
• التعميم خارج النطاق: أظهرت النماذج المدربة على SciTrek باستخدام ProxyCoT-RL تحسنًا في الأداء على معيار Loong (التقارير المالية والأوراق الأكاديمية)، مما يدل على أن الطريقة تعزز قدرات الاستدلال العامة في السياق الطويل بدلاً من مجرد حفظ أنماط خاصة بالمهمة.

الأهمية والادعاءات

يزعم البحث أن ProxyCoT يوفر مسارًا عمليًا وفعالًا لتقوية الاستدلال في السياق الطويل دون الاعتماد على المسارات المولدة من المعلم عبر السياقات الطويلة الكاملة. ومن خلال فصل عملية اكتساب الاستدلال (على وسائط قصيرة رخيصة) عن عملية تأصيل الاستدلال (على سياقات طويلة مكلفة)، يعالج إطار العمل الاختناقات الحسابية لطرق تدريب النماذج ذات السياق الطويل الحالية.

يضع المؤلفون ProxyCoT كحل للسيناريوهات التي يكون فيها تدريب ونمذجة السياق الطويل تحديًا بسبب التكلفة وقيود البيانات. ويشيرون إلى أنه بينما يفترض النهج وجود سياقات وسيط تحتوي على أدلة كافية، فإنه يوفر بديلًا قويًا للتعلم التعزيزي المباشر للسياق الطويل أو التقطير، مما يسد بفعالية فجوة الأداء بين المدخلات القصيرة والطويلة.