🤖 machine learning

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation

تقترح الورقة البحثية "نقل المهارة البارامتري" (PaST)، وهو إطار عمل يعالج أوجه القصور في الضبط الدقيق الخاضع للإشراف في تكييف النماذج اللغوية الكبيرة من خلال الحقن الخطي لمتجهات مهارات غير مرتبطة بنطاق محدد مستمدة من التعلم التعزيزي، مما يتيح تكيفاً مستمراً فعالاً ومؤثراً لدمج المعرفة والاستخدام الوكيل للأدوات.

المؤلفون الأصليون: Pingzhi Tang, Yiding Wang, Muhan Zhang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pingzhi Tang, Yiding Wang, Muhan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "المعرفة ليست كافية: حقن مهارات التعلم المعزز من أجل التكيف المستمر" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الطالب "الذكي ولكن الجاهل"

تخيل أن لديك طالباً عبقرياً (نموذج لغوي كبير، أو LLM) قد قرأ كل الكتب تقريباً في المكتبة حتى تاريخ معين. هذا الطالب بارع في الإجابة على الأسئلة بناءً على ما يعرفه بالفعل.

ومع ذلك، فإن العالم يستمر في التغير. تظهر حقائق جديدة كل يوم (مثل قانون جديد صدر بالأمس أو تطبيق جديد أُطلق هذا الصباح).

الطريقة القديمة (SFT): لتعليم الطالب هذه الحقائق الجديدة، نقوم عادةً بجعله يحفظ النص الجديد فقط. الأمر يشبه إجباره على حشو كتاب مدرسي جديد في الليلة التي تسبق الاختبار. يمكنه تسميع الحقائق بشكل مثالي، ولكن إذا طلب منه الاختبار استخدام تلك الحقائق في موقف معقد، فغالباً ما يتجمد، أو يخطئ في التخمين، أو يختلق أشياء من خياله (الهلوسة). لديه المعرفة، لكنه يفتقر إلى المهارة لتطبيقها.
الطريقة المكلفة (RL): لتعليمه كيف يفكر ويحل المشكلات، نستخدم عادةً التعلم المعزز (Reinforcement Learning). هذا يشبه استئجار مدرب شخصي يجعل الطالب يتدرب على حل المشكلات مراراً وتكراراً، ويكافئه عندما يصيب. هذا الأسلوب فعال جداً، ولكنه يتطلب وقتاً ومالاً هائلين. لا يمكنك استئجار مدرب لكل حقيقة جديدة تظهر في العالم.

الاكتشاف: نوعان مختلفان من تغيرات الدماغ

اكتشف الباحثون في جامعة بكين شيئاً مذهلاً حول كيفية تغير دماغ الطالب خلال هاتين العمليتين.

وجدوا أنه عندما يحفظ الطالب الحقائق (SFT) وعندما يتعلم مهارات الاستنتاج (RL)، تحدث التغييرات في جزأين مختلفين تماماً من دماغه.

تشبيه: تخيل أن دماغ الطالب عبارة عن مكتبة ضخمة.
- SFT يشبه إضافة كتب جديدة إلى الرفوف. إنه يغير محتوى المكتبة.
- RL يشبه تدريب أمين المكتبة على كيفية العثور على الكتب، والربط بين المراجع، وحل الألغاز باستخدامها. إنه يغير التنظيم والمنطق الخاص بالمكتبة.
- الرؤية الجوهرية: هذان التغيران لا يعيق أحدهما الآخر. إنهما "متعامدان" (orthogonal)، مما يعني أنهما يحدثان في مساحات منفصلة وغير متداخلة. يمكنك إضافة كتب جديدة دون إفساد منطق أمين المكتبة، ويمكنك تدريب أمين المكتبة دون تغيير الكتب الموجودة على الرفوف.

الحل: PaST (نقل المهارة عبر المعلمات)

بما أن هذين التغييرين منفصلان، فقد ابتكر الباحثون طريقاً مختصراً ذكياً يسمى PaST.

كيف يعمل:

استخراج "ناقل المهارة" (Skill Vector): بدلاً من إعادة تدريب الطالب على كل موضوع جديد، يأخذون نموذجاً تم تدريبه بالفعل على موضوع واحد (مثل الأفلام) باستخدام طريقة "المدرب" المكلفة (RL). يقارنون بين هذا النموذج "الذكي" ونسخة "غبية" منه قامت فقط بحفظ الحقائق. الفرق بينهما هو "ناقل المهارة".
- تشبيه: فكر في "ناقل المهارة" هذا كأنه دليل تعليمات عالمي "كيف تفعل كذا" أو شريحة ذاكرة عضلية. إنه يحتوي على المنطق الصافي لـ "كيفية حل المشكلة" دون أن يكون مرتبطاً بحقائق محددة.
حقن المهارة: عندما يأتي موضوع جديد (مثل وثيقة قانونية جديدة)، يقومون أولاً بتعليم الطالب الحقائق الجديدة بسرعة (SFT خفيف الوزن). ثم ببساطة يلصقون "ناقل المهارة" في دماغ الطالب.
- تشبيه: الأمر يشبه إعطاء الطالب الكتاب المدرسي الجديد (الحقائق) ثم توصيل "شريحة حل المشكلات" (المهارات) التي تعلمها من تدريب الأفلام فوراً. الآن أصبح الطالب يعرف الحقائق الجديدة ويعرف أيضاً بالضبط كيفية استخدامها، دون الحاجة إلى مدرب جديد.

لماذا يعد هذا أمراً هاماً؟

اختبر الباحثون هذا على ثلاثة تحديات مختلفة:

فهم المقروء (SQuAD): كان على النموذج حفظ نص ما والإجابة على أسئلة دون النظر إلى النص مرة أخرى. جعل PaST النموذج أفضل بكثير في العثور على الإجابة الصحيحة مقارنة بمجرد الحفظ.
الوثائق الطويلة (LooGLE): عندما كان النص ضخماً (مثل وثيقة مكونة من 20,000 كلمة)، كانت الطرق القياسية تفقد التركيز. ساعد PaST النموذج على البقاء مركزاً والعثور على المعلومات الصحيحة.
استخدام الأدوات (ToolBench): كان على النموذج استخدام واجهات برمجة التطبيقات (APIs) (مثل تحميل منشور من إنستغرام). عندما كان حساب إنستغرام خاصاً، كان النموذج العادي سيقوم بمجرد التخمين واستخدام أداة وهمية جديدة. أما نموذج PaST فقد أدرك أن الحساب خاص، وتوقف عن التخمين، وأعطى الإجابة الصحيحة: "لا يمكنني القيام بذلك لأن الحساب خاص".

الخلاصة

تثبت الورقة البحثية أن المعرفة والمهارات أشياء منفصلة. لست بحاجة لإنفاق ثروة لإعادة تدريب قدرة "التفكير" لدى النموذج في كل مرة تعطيه فيها معلومات جديدة. بدلاً من ذلك، يمكنك تعلم مهارة "التفكير" مرة واحدة، واستخراجها كأداة محمولة، وحقنها في أي موقف جديد. هذا يجعل الذكاء الاصطناي أسرع، وأرخص، وأكثر ذكاءً في التكيف مع العالم الحقيقي.

ملخص تقني: المعرفة ليست كافية: حقن مهارات التعلم المعزز للتكيف المستمر

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديًا جوهريًا يتمثل في "انقطاع المعرفة": حيث تظل ذاكرتها البارامترية مجمدة بعد مرحلة ما قبل التدريب، مما يمنع الاستيعاب الطبيعي للمعلومات أو الأدوات الجديدة. وبينما تحاول تقنية "التوليد المعزز بالاسترجاع" (RAG) التخفيف من ذلك عبر السياق الخارجي، إلا أنها تعاني من مشكلات في نمذجة الاعتماد طويل المدى ومن أعباء الاستدلال. وبناءً على ذلك، تحول البحث نحو "تحديث المعرفة البارامترية" (مثل تعديل المعرفة، والتدريب في وقت الاختبار).

ومع ذلك، يوجد قصور حرج في نماذج التكيف الحالية: وهو الانفصال الوظيفي بين المعرفة ومهارات الاستدلال.

الضبط الدقيق الخاضع للإشراف (SFT): يعمل بفعالية على حفظ المحتوى الواقعي (الـ "ماذا")، ولكنه غالبًا ما يفشل في تعليم النموذج كيفية الاستدلال على تلك المعرفة أو التلاعب بها في المهام اللاحقة. فالنماذج المدربة عبر SFT قد "تعرف" الحقائق، لكنها تفشل في استخدامها ديناميكيًا، مما يؤدي إلى الهلوسة أو السلوك الجامد عند مواجهة الأخطاء.
التعلم المعزز (RL): ضروري لاكتساب مهارات الاستدلال والتنفيذ القوية (الـ "كيف")، لكن تكلفته الحسابية العالية (التي تتطلب استكشافًا في السياسة On-policy وبيانات تفاعل) تجعل من غير العملي التكيف المستمر عبر الإنترنت لكل سيناريو جديد.

المشكلة الجوهرية هي كيفية تزويد النموذج بمعرفة مجال جديدة ومهارات إجرائية لاستخدامها، دون تحمل التكلفة الباهظة لتدريب التعلم المعزز (RL) من الصفر لكل مجال جديد.

المنهجية: نقل المهارات البارامترية (PaST)

يقترح المؤلفون إطار عمل نقل المهارات البارامترية (PaST)، وهو إطار معياري يفصل بين اكتساب المعرفة واكتساب المهارات، مما يسمح بنقل قدرات الاستدلال عبر المجالات دون الحاجة إلى تعلم معزز (RL) صريح في المجال المستهدف.

1. الأساس النظري: تعامد التحديثات

تعتمد الطريقة على الملاحظة التجريبية بأن تحديثات المعلمات الناتجة عن SFT ( $\Delta W_{SFT}$ ) و RL ( $\Delta W_{RL}$ ) هي متعامدة تقريبًا.

الدليل التجريبي: يُظهر تحليل تشابه جيب التمام عبر طبقات النموذج (على سبيل المثال، في مهام LooGLE و ToolBench) أن $\Delta W_{SFT}$ و $\Delta W_{RL}$ يقعان في فضاءات فرعية منفصلة من مشهد المعلمات. ارتباطهما يقترب باستمرار من الصفر، بينما تُظهر تحديثات SFT المستقلة ارتباطًا كبيرًا.
الاستنتاج: يمكن تحسين المعرفة (حقن الحقائق) والمهارات (المنطق الإجرائي) بشكل منفصل وتركيبها خطيًا دون تداخل مدمر.

2. إطار عمل PaST

يعمل PaST في مرحلتين:

المرحلة الأولى: استخراج مهارات المجال المصدر

تثبيت SFT: يتم ضبط نموذج أساسي على مجموعة معرفة المجال المصدر ( $C_S$ ) للحصول على $\theta^S_{sft}$ .
صقل RL: يخضع نموذج SFT لتدريب RL على مسارات التفاعل المصدرية ( $T_S$ ) لاستيعاب سياسات الاستدلال، مما ينتج عنه $\theta^S_{rl}$ .
استخراج متجه المهارة: يتم استخراج متجه مهارة ( $v_{skill}$ $v_{s k i l l}$ ) غير مرتبط بمجال محدد عن طريق طرح معلمات SFT من معلمات RL:
$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$
يلتقط هذا المتجه "اتجاه" تحسن الاستدلال، مجردًا من الحقائق التصريحية الخاصة بالمجال.
- التحسين: لمنع الإفراط في التخصيص لمحتوى مصدر معين، يتم استخدام استراتيجية التمهيد التكراري (Iterative Bootstrapping Strategy). يتم تقسيم المجال المصدر إلى مجموعات فرعية؛ ويتم صقل متجه المهارة تكراريًا عبر جولات، حيث يتم حقن متجه الجولة السابقة كبداية دافئة للجولة التالية من RL.

المرحلة الثانية: التكيف مع المجال المستهدف

SFT خفيف الوزن: يتم ضبط النموذج المستهدف على وثائق المجال المستهدف الجديدة ( $C_T$ ) للحصول على $\theta^T_{sft}$ . هذا يثبت النموذج بالحقائق الجديدة.
الحقن الخطي: يتم حقن متجه المهارة المستخرج خطيًا في النموذج المستهدف:
$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$
(حيث $\lambda$ هو معامل القياس، وتم ضبطه على 1 في التجارب). يقوم هذا بعملية تطعيم لهندسة الاستدضاء المتعلمة من المصدر على مخطط المعرفة المستهدفة، مما يتيح التنفيذ الصفري (Zero-shot) للمهام المعقدة.

المساهمات الرئيسية

تحديد الانفصال بين الاستدلال والمعرفة: يسلط البحث الضوء على أن SFT وحده غير كافٍ لنقل المنطق الإجرائي إلى مجالات جديدة، لأنه يحفز أساسًا الحفظ السطحي.
الدليل التجريبي على التعامد: يقدم المؤلفون دليلًا صارمًا على أن تحديثات SFT و RL تشغل فضاءات فرعية متعامدة تقريبًا، مما يثبت جدوى فصل وإعادة دمج المعرفة والمهارات.
إطار عمل PaST: طريقة مبتكرة تستخدم حساب متجهات المهام لنقل مهارات RL المتعلمة من مجال مصدر إلى مجال مستهدف، متجاوزة الحاجة إلى RL مكلف في المجال المستهدف.
الفصل والقابلية للنقل: إثبات أن معالجة المعرفة ومهارات التنفيذ يمكن فصلهما ونقلهما بفعالية، مما يسمح بالتكيف القوي في المجالات التي تعاني من نقص البيانات.

النتائج التجريبية

قيم المؤلفون PaST عبر ثلاثة اختبارات مرجعية:

دمج المعرفة (SQuAD):
- الإعداد: أسئلة وأجوبة مغلقة الكتاب (Closed-book QA) حيث يجب على النموذج حفظ فقرة عبر تحديثات وقت الاختبار والإجابة على الأسئلة بدون سياق.
- النتيجة: حقق PaST دقة بنسبة 56.9%، متفوقًا بشكل كبير على خط الأساس SEAL (47.0%) والأساس "التدريب على الفقرة + الاصطناعي" (39.7%). يمثل هذا تحسنًا مطلقًا قدره +17.2% فوق الأساس الاصطناعي، مما يثبت أن متجه المهارة يوفر منطق الاستدلال الضروري.
الاستدلال طويل السياق (LooGLE):
- الإعداد: أسئلة وأجوبة على وثائق تتجاوز 21 ألف رمز (Token).
- النتيجة: حسن PaST الدقة من 30.1% (SFT القياسي) إلى 38.1% (+8.0 نقاط). نجحت الطريقة في التوسع مع الوثائق الضخمة، محولة النموذج من حاوية حقائق سلبية إلى خبير قادر على الاسترجاع البارامتري الدقيق.
استخدام الأدوات عبر المجالات (ToolBench):
- الإعداد: تنفيذ مغلق الكتاب حيث يجب على النموذج استخدام واجهات برمجة التطبيقات (APIs) بناءً على الأسماء فقط (بدون سياق)، ونقل المهارات من مجال مصدر "الأفلام" إلى 20 فئة مستهدفة غير مرئية.
- النتيجة: زاد PaST متوسط معدل النجاح من 21.9% (Target SFT) إلى 32.2% (+10.3 نقاط). حقق تفعيلًا صفريًا (Zero-shot) في مجالات فشل فيها خط الأساس تمامًا (مثل الإعلانات: 0% $\leftarrow$ 16.7%).
مقارنة الكفاءة:
- طابق PaST أداء RL المستهدف الذي تم تدريبه لـ ~75 خطوة (44.0% مقابل 44.6%)، ولكنه لم يتطلب أي وقت تدريب إضافي في المجال المستهدف. تطلب RL المستهدف حوالي 72 دقيقة لكل وثيقة، بينما تطلب PaST صفر دقيقة.

الأهمية والادعاءات

يزعم البحث أن PaST يقدم بديلًا فعالًا من حيث الحوسبة وقابلًا للتوسع للتعلم المعزز (On-policy RL) من أجل التكيف المستمر. من خلال الاستفادة من تعامد التحديثات البارامترية، تسمح الطريقة للنماذج باكتساب معرفة جديدة عبر SFT خفيف الوزن مع وراثة قدرات استدلال قوية من مصدر مدرب مسبقًا. هذا يسد الفجوة بين "معرفة" الحقائق و"استخدامها"، مما يعالج عقبة حرجة في نشر النماذج اللغوية الكبيرة في البيئات الديناميكية الواقعية حيث يجب أن تتطور كل من المعرفة ومهارات الاستدضاء بسرعة.

يشير المؤلفون بتواضع إلى القيود، بما في ذلك الحاجة إلى مجالات تجريبية أوسع تتجاوز QA واستخدام الأدوات، واستخدام معامل قياس ثابت ( $\lambda=1$ )، والاعتماد الأساسي على بنية Qwen2.5-7B، مما يشير إلى أن هناك حاجة لعمل مستقبلي لتأكيد هذه الديناميكيات عبر أحجام نماذج أوسع.