💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

تقترح هذه الورقة البحثية "ترشيح كالمان السببي عبر الإنترنت لتحسين السياسة" (KPO)، وهي طريقة مبتكرة تُمذل نسب أخذ العينات الهامة كحالات كامنة متطورة يتم تحديثها عبر ترشيح كالمان للتخفيف من ضوضاء التباين العالي وعدم الاتساق الهيكلي في التعلم خارج السياسة على مستوى الرمز (token-level)، مما يحقق تعلماً معززاً أكثر استقراراً وفعالية للنماذج اللغوية الكبيرة.

المؤلفون الأصليون: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريس طالب ذكي جداً ولكنه فوضوي قليلاً (نموذج لغوي كبير) كيفية حل المسائل الرياضية المعقدة. تعطيه مسألة، فيحاول حلها خطوة بخطوة، ثم تعطيه ملاحظاتك: "عمل جيد!" أو "هذه الخطوة كانت خاطئة".

الهدف هو تعديل عقل الطالب ليرتكب أخطاء أقل في المرة القادمة. وهذا ما يسمى التعلم المعزز (Reinforcement Learning).

المشكلة: حلقة "التغذية الراجعة الضوضائية"

في الماضي، عندما كان الطالب يرتكب خطأً، كان المعلم ينظر إلى الإجابة بأكملها ويقول: "الإجابة كاملة جيدة بنسبة 80%". هذا يشبه إعطاء درجة واحدة لمقال كامل. إنه أمر مستقر، لكنه ليس دقيقاً للغاية.

لكي نكون أكثر دقة، بدأ المعلمون المعاصرون بالنظر إلى كل كلمة يكتبها الطالب. سيقولون: "كلمة 'لذلك' كانت مثالية، لكن كلمة 'احسب' كانت غير دقيقة قليلاً".

هنا تكمن العقبة: بما أن الطالب يتعلم أثناء العمل، فإن "صوته الداخلي" (السياسة القديمة) يتغير قليلاً مع كل كلمة يكتبها. وعندما يحاول المعلم مقارنة الإجابة الجديدة بالقديمة كلمة بكلمة، تصبح التغذية الراجعة مضطربة ومليئة بالضجيج بشكل هائل.

التشبيه: تخيل أنك تحاول السير على حبل مشدود بينما يصرخ شخص ما بأرقام عشوائية في وجهك كل ثانية. أحياناً يصرخ "يسار!"، وأحياناً "يمين!"، وأحياناً "أعلى!"، وأحياناً "أسفل!"، وكل ذلك في غضون خطوة واحدة. إذا حاولت ضبط توازنك بناءً على كل صرخة، فسوف تسقط. يصاب الطالب بالارتباك، وتنهار عملية التدريب، ويتوقف النموذج عن التعلم.

الحلول القديمة: إما مفرطة في التبسيط أو فوضوية للغاية

نهج "المقال الكامل": بعض المعلمين توقفوا عن النظر إلى الكلمات الفردية واكتفوا بإعطاء درجة واحدة للإجابة بأكملها. هذا مستقر، لكنه يشبه إخبار الطالب: "مقالك جيد"، دون إخباره بأي فقرة كانت سيئة. بهذا تفقد الكثير من التفاصيل الدقيقة.
نهج "الكلمة الخام": حاول آخرون إصلاح كل كلمة على حدة. ولكن كما رأينا، تكون التغذية الراجعة ضوضائية للغاية. يصاب الطالب بـ "تخبط" نتيجة التوجيهات المتناقضة المستمرة.

الحل الجديد: KPO (الفلتر الذكي)

يقترح المؤلفون طريقة جديدة تسمى KPO (تحسين سياسة كالمان - Kalman Policy Optimization). لقد أدركوا أنه بينما تكون التغذية الراجعة للكلمات الفردية ضوضائية، فإن الاتجاه العام لثقة الطالب يجب أن يكون سلساً.

التشبيه: توقعات الطقس مقابل هبات الرياح

تخيل أنك تحاول التنبؤ بدرجة الحرارة.

البيانات الخام: تهب ريح قوية على ميزان الحرارة الخاص بك، فتقرأ درجة حرارة 100 فهرنهايت لثانية واحدة. ثم تمر سحابة، فتقرأ 40 فهرنهايت. ثم تشرق الشمس، فتقرأ 90 فهرنهايت. إذا حاولت ارتداء ملابسك بناءً على كل ثانية من هذه البيانات، فستشعر بالبرد والحر الشديدين في آن واحد.
مرشح كالمان (Kalman Filter): هو أداة رياضية (استخدمت في الأصل لتوجيه الصواريخ والقذائف) تعمل مثل متنبئ طقس ذكي. فهي تنظر إلى البيانات الضوضائية ولكنها تدرك: "مهلاً، درجة الحرارة لا تقفز من 40 إلى 100 في ثانية واحدة. هذا مجرد خلل".

يقول مرشح كالمان: "تجاهل القفزات الجنونية. انظر إلى الثواني القليلة الماضية. من المرجح أن درجة الحرارة ترتفع ببطء. دعونا ننعم الضجيج ونتبع الاتجاه العام".

كيف يعمل KPO بتبسيط شديد

يراقب التدفق: بد unlike معاملة التغذية الراجعة لكل كلمة كحدث منعزل، ينظر KPO إلى تسلسل الكلمات كقصة مستمرة.
ينعم الضجيج: عندما تبدو التغذية الراجعة لكلمة معينة غريبة (مثل قفزة مفاجئة في "الأهمية")، يتساءل KPO: "هل اقترحت الكلمة السابقة ذلك؟ هل هذا تغيير حقيقي في استراتيجية الطالب، أم أنه مجرد خلل؟"
يحافظ على البنية: هو لا يقوم بمجرد متوسط حسابي لكل شيء (لأن ذلك سيفقد التفاصيل)، بل يحافظ على شكل إشارة التعلم. إذا كان الطالب يتحسن حقاً في جزء معين من الجملة، فإن KPO يحافظ على قوة تلك الإشارة. أما إذا كان مجرد ضجيج عشوائي، فإن KPO يخمدها.

النتيجة: متعلم مستقر

باستخدام هذا "الفلتر الذكي"، يحصل الطالب (الذكاء الاصطناعي) على تغذية راجعة تتميز بـ:

السلاسة: لا مزيد من التخبط الناتج عن التعليمات المتناقضة.
الدقة: لا يزال يعرف بالضبط الأجزاء التي تحتاج إلى عمل، ولكن دون الضجيج.
الاستقرار: عملية التدريب لا تنهار. يتعلم النموذج منطق الرياضيات المعقد بسرعة وأفضل مما سبق.

الملخص

فكر في KPO كأنه سماعات إلغاء الضجيج لعملية تعلم الذكاء الاصطناعي.

بدونه: يسمع الذكاء الاصطناعي خليطاً فوضوياً من "عمل جيد!" و"عمل سيء!" لكل كلمة، مما يجعله يصاب بالذعر ويفشل.
بوجوده: يسمع الذكاء الاصطناعي صوتاً واضحاً وثابتاً يقول: "أنت تبلي بلاءً حسناً هنا، وتحتاج إلى إصلاح هذا الجزء المحدد هناك"، مما يسمح له بالتركيز على التعلم بدلاً من التفاعل مع التشويش.

يثبت البحث أنه من خلال تطبيق تقنية "التنعيم الذكي" هذه، يمكن لنماذج الذكاء الاصطناعي حل مسائل رياضية أصعب بكثير دون أن تنهار أثناء عملية التعلم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترشيح الكالماني السببي عبر الإنترنت لتحسين السياسة المستقر والفعال" (KPO).

1. بيان المشكلة

تعالج الورقة مشكلة عدم الاستقرار في التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLMs)، وتحديداً ضمن إطار تحسين السياسة النسبية للمجموعة (GRPO) وبيئات الـ off-policy المماثلة.

نسب أخذ العينات بالاستبدال (IS Ratios) عالية التباين: في التدريب من نوع off-policy، تعمل نسبة أخذ العينات بالاستبدال ( $r_t$ ) على تصحيح الانزياح في التوزيع بين سياسة السلوك والسياسة المحدثة. وعلى مستوى الرمز (token)، تظهر هذه النسب تباينًا عاليًا وعدم اتساق هيكلي.
عدم الاتساق الهيكلي المحلي: يكشف التحليل التجريبي أن رموز الـ off-policy لا تتبع نمطًا زمنيًا سلسًا؛ بل تتغير بشكل متكرر (تردد تبديل عالٍ)، ولديها أطوال تشغيل قصيرة، وتظهر تماسكًا محليًا ضعيفًا. هذا "الضجيج" يشوه تحديثات تدرج السياسة عبر الرموز المتجاورة، مما يؤدي إلى انهيار التدريب، وانهيار الإنتروبيا (entropy collapse)، وعدم استقرار التحسين.
محدودية الحلول الحالية:
- أخذ العينات بالاستبدال على مستوى الرمز (Token-level IS): تحتفظ بتباين عالٍ وعدم استقرار.
- أخذ العينات بالاستبدال على مستوى التسلسل (مثل GSPO، GMPO): تستخدم نسبة ثابتة للتسلسل بأكمله. وبينما يعمل هذا على تنعيم الضجيج، إلا أنه يدمر المعلومات الهيكلية المحلية، بافتراض أن جميع الرموز في التسلسل لديها نفس درجة الانحراف عن الـ on-policy، وهو أمر غير صحيح غالبًا (على سبيل المثال، في التفكير متعدد الخطوات، قد تكون بعض الخطوات on-policy بينما تنحرف خطوات أخرى).

2. المنهجية: KPO (تحسين سياسة كالمان)

يقترح المؤلفون KPO، وهي طريقة تعامل نسب أخذ العينات بالاستبدال (IS) لكل رمز كـ "سلسلة زمنية" وتطبق مرشح كالمان سببي عبر الإنترنت (Online Causal Kalman Filter) لتقدير نسبة IS كامنة ومتماسكة هيكليًا.

المفهوم الجوهري

تعامل الطريقة نسبة الـ IS كـ حالة كامنة (latent state) تتطور عبر تسلسل الرموز. وتفترض أنه بينما تكون نسب الـ IS المرصودة صاخبة، فإن الانحراف "الحقيقي" عن الـ on-policy يجب أن يظهر تجانسًا محليًا (سلاسة) ضمن الأجزاء الدلالية.

التنفيذ التقني

نمذجة فضاء الحالة (State-Space Modeling):
- الملاحظة ( $z_t$ ): لوغاريتم نسبة الـ IS الخام لكل رمز ( $z_t = \log r_t$ ).
- الحالة الكامنة ( $\rho_t$ ): نسبة الـ IS المرغوبة والمنعمة.
- الديناميكيات: تُنمذج كـ "سير عشوائي" (random walk) ( $\rho_t = \rho_{t-1} + \eta_t$ ) مع ضجيج عملية $Q$ ، ونموذج ملاحظة ( $z_t = \rho_t + \epsilon_t$ ) مع ضجيج ملاحظة $V$ .
- المعلمات: تتحكم $Q$ في سرعة الانحراف المسموح بها (الاستجابة للتحولات الحقيقية)، وتتحكم $V$ في مدى الثقة في الملاحظة (تخفيف الضجيج).
عملية ترشيح كالمان السببية:
يعمل المرشح بشكل تتابعي (autoregressively) (سببي)، باستخدام معلومات الرموز الماضية والحالية فقط لتقدير الحالة الحالية، مما يضمن التوافق مع توليد النماذج اللغوية الكبيرة.
- التنبؤ (Prediction): التنبؤ بالحالة الكامنة بناءً على الحالة السابقة ( $\hat{\rho}_{t|t-1} = \hat{\rho}_{t-1|t-1}$ ).
- كسب كالمان ( $K_t$ ): يحسب وزنًا تكيفيًا بناءً على عدم اليقين في التنبؤ مقابل ضجيج الملاحظة.
  - عدم يقين عالٍ في التنبؤ أو ضجيج ملاحظة منخفض $\leftarrow$ $K_t$ مرتفع (الثقة في الملاحظة الجديدة).
  - ضجيج ملاحظة عالٍ $\leftarrow$ $K_t$ منخفض (الثقة في الأولوية الزمنية/السلاسة).
- التحديث (Update): تصحيح التنبؤ باستخدام الابتكار (innovation/residual) $\delta_t = z_t - \hat{\rho}_{t|t-1}$ :
  $\hat{\rho}_{t|t} = \hat{\rho}_{t|t-1} + K_t \delta_t$
- الرفع الأسي (Exponentiation): يتم رفع اللوغاريتم المُرشح لأس الطبيعي للحصول على نسبة الـ IS النهائية: $\tilde{r}_t = \exp(\hat{\rho}_{t|t})$ .
هدف التحسين:
تستبدل النسبة المُرشحة $\tilde{r}_t$ النسبة الخام $r_t$ في هدف البديل المقطوع (clipped surrogate objective) القياسي لـ GRPO/PIA. وهذا يحافظ على التباين (heterogeneity) على مستوى الرمز مع تنعيم طفرات الضجيج عالية التردد.

3. المساهمات الرئيسية

الاكتشاف التجريبي: تعد هذه الورقة الأولى التي تحدد تجريبيًا أن الانحراف عن الـ off-policy محليًا هو غير متسق هيكليًا على مستوى الرمز. وقد أثبتوا أن نسب الـ IS للرموز الخام تمتلك ترددات تبديل عالية وأطوال تشغيل قصيرة، مما يتناقض مع حدس التماسك الدلالي المحلي.
خوارزمية مبتكرة (KPO): تقترح نهج ترشيح كالمان سببي لتنعيم نسب الـ IS. وبخلاف طرق مستوى التسلسل، تحافظ KPO على التماسك الهيكلي المحلي (مثل الحفاظ على انحراف ثابت خلال خطوة تفكير معينة) مع كبح الضجيج.
الاستقرار والأداء: تثبت KPO تحقيق استقرار فائق (منع انهيار الإنتروبيا) وأداء أعلى في مهام التفكير المعقدة مقارنة بالنماذج المرجعية (baselines) المتطورة.

4. النتائج التجريبية

قيم المؤلفون KPO باستخدام نموذج Qwen3-4B عبر ستة اختبارات مرجعية صعبة في التفكير الرياضي (AIME'24/25, AMC'23, MATH500, Minerva, OlympiadBench).

الأداء: تفوقت KPO باستمرار على النماذج المرجعية (GRPO, GMPO).
- حققت KPO-clipped أفضل متوسط avg@16 في 5 من أصل 6 اختبارات، وأفضل pass@16 في 3 اختبارات.
- لوحظت مكاسب ملحوحة في المهام الصعبة ذات الأفق الطويل (AIME'24/25)، حيث يكون التحسين المستقر أمرًا بالغ الأهمية.
ديناميكيات التدريب:
- المكافأة (Reward): أظهرت KPO تحسنًا مستمرًا، بينما تباعدت (diverged) GRPO بعد حوالي 200 خطوة، واستقرت (plateaued) GSPO/GMPO مبكرًا.
- الإنتروبيا (Entropy): حافظت KPO على إنتروبيا عالية (منع الانهيار)، بينما انهارت GRPO إلى إنتروبيا قريبة من الصفر.
- كسر القطع (Clip Fraction): استخدمت KPO عملية القطع بشكل أكثر فعالية من GSPO. نظرًا لأن نسب KPO متماسكة محليًا، يتم تطبيق القطع على أجزاء محددة بدلاً من التسلسل بأكمله، مما يسمح بتحديثات أكثر دقة.
تحليل التوزيع (بعد الترشيح):
- طول التشغيل (Run-Length): زاد بشكل كبير (على سبيل المثال، من ~1.6 إلى ~120 رمزًا لحالات "الارتفاع" Up)، مما يشير إلى تكوين أجزاء طويلة ومستقرة.
- تردد التبديل (Switch Frequency): انخفض من 0.43 إلى 0.01، مما يؤكد إزالة التبدلات السريعة والضوضائية.
- التباين (Variance): انخفض كل من التباين العالمي والمحلي إلى ما يقرب من الصفر ( $10^{-4}$ إلى $10^{-5}$ )، مما يؤكد الفعالية في كبح الضجيج.

5. الأهمية

الرؤية النظرية: تنقل الورقة المنظور من التدريب off-policy من رؤية ثابتة أو عالمية إلى رؤية زمنية قائمة على فضاء الحالة. لقد أثبتوا أن التنعيم ضروري ولكنه يجب أن يكون واعياً بالهيكل (structure-aware) لتجنب فقدان المعلومات المحلية الحرجة.
الأثر العملي: توفر KPO حلاً خفيف الوزن وسهل الدمج (plug-and-play) لاستقرار تدريب RLHF/RL واسع النطاق دون الحاجة إلى نماذج قيم معقدة أو تغييرات معمارية ضخمة.
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما التنفيذ الحالي تسلسلي (autoregressive)، يمكن للأعمال المستقبلية استكشاف خوارزميات ترشيح كالمان متوازية لتحسين كفاءة التدريب.

باختصار، تحل KPO مشكلة عدم استقرار التعلم المعزز على مستوى الرمز من خلال تطبيق مرشح كالمان سببي على نسب أخذ العينات بالاستبدال، مما يوازن بفعالية بين الحاجة إلى تنعيم الضجيج والحاجة إلى الحفاظ على السلامة الهيكلية المحلية لتحديثات السياسة.