From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

بناءً على ورقة البحث بعنوان "من التدرجات إلى هندسة ريكاتي: نماذج عالم كالمان (Kalman World Models) للتعلم بمرور واحد" للباحث أندرو جيه كيرولوتا، إليك ملخص تقني مفصل.

١. بيان المشكلة

يهيمن الانتشار العكسي (الاشتقاق التلقائي للنمط العكسي) وانحدار التدرج العشوائي (SGD) على التعلم العميق الحديث. ورغم فعاليتها، إلا أن هذا النموذج يواجه قيوداً كبيرة:

• العبء الزائد على الذاكرة: يتطلب تخزين جميع التنشيطات الوسيطة لعملية التمرير الخلفي، مما يؤدي إلى تعقيد في الذاكرة يتناسب مع عمق النموذج وطول التسلسل ($O(LdT)$).
• التحسين الساكن: يعامل المعلمات ككميات مجهولة ثابتة يتم تحسينها خارجياً (offline)، مما يفتقر إلى آليات متأصلة للتكيف عبر الإنترنت (online adaptation) أو تقدير عدم اليقين.
• انزياح التوزيع: تعاني المحسنات القياسية من صعوبة في التعلم المستمر والنسيان الكارثي لأنها لا تتبع صراحةً ثقة المعلمات أو عدم اليقين.
• القيود التاريخية: فشلت المحاولات السابقة لاستخدام مرشح كالمان الممتد (EKF) لتدريب الشبكات العصبية في التسعينيات بسبب التكاليف الحسابية والاعتماد على الخطية المحلية، مما أدى إلى التخلي عنها لصالح طرق التدرج.

تفترض الورقة أن التعلم يجب أن يُعاد صياغته ليس كتحسين حتمي، بل كتقدير حالة بايزي متسلسل في نظام ديناميكي.

٢. المنهجية: نماذج عالم كالمان (KWM)

يقترح المؤلفون نماذج عالم كالمان (KWM)، وهو إطار عمل يستبدل انحدار التدرج بالترشيح البايزي المتكرر.

أ. التحول المفاهيمي الجوهري

• المعلمات كحالات كامنة: تُعامل معلمات النموذج $\theta_t$ كحالات كامنة ديناميكية تتطور بمرور الوقت، بدلاً من كونها ثوابت ساكنة.
• التعلم كعملية ترشيح: يصبح التدريب عملية ترشيح عبر الإنترنت حيث يكون "إشارة الخطأ" هو مصطلح الابتكار ($y_t - \hat{y}_t$)، وتُدفع تحديثات المعلمات بواسطة كسب كالمان ($K_t$) المستمد من انتشار عدم اليقين (التباين)، وليس عبر معدل تعلم تجريبي.
• صياغة فضاء الحالة: يتم نمذجة الشبكة كالتالي:
  $$x_{t+1} = f_\theta(x_t, u_t) + w_t$$
  $$y_t = h_\theta(x_t) + v_t$$
  حيث تُدمج المعلمات في متجه الحالة $z_t = [x_t, \theta_t]^T$.

ب. الابتكارات النظرية الرئيسية

1. التكافؤ مع التدرج الطبيعي لكالمان:
   تثبت الورقة أنه في ظل نماذج ملاحظة غاوسية خطية محلياً، فإن تحديث كالمان يكافئ رياضياً خطوة انحدار التدرج الطبيعي (Natural Gradient Descent).

   • تعمل مصفوفة تباين كالمان $P_t$ كمعكوس مترية معلومات فيشر ($F^{-1}$).
   • تُظهر قاعدة التحديث $\theta_{t+1} = \theta_t + K_t(y_t - \hat{y}_t)$ أنها خطوة هبوط حاد ريماني، مما يوحد بين نظرية التحكم وهندسة المعلومات.

2. تصحيح الابتكار على مستوى التنشيط:
   على عكس EKF الكلاسيكي الذي يقوم بتحديث الأوزان فقط، يطبق KWM تصحيحات بأسلوب كالمان على التنشيطات الخفية في نماذج المحولات (Transformers).

   • تُعامل الحالات الخفية $h_t$ كحالات كامنة تخضع لتحديثات القياس بناءً على بقايا الرموز (token residuals).
   • يسمح هذا بـ التصحيح عبر الإنترنت للتمثيلات أثناء فك التشفيد دون الحاجة للانتشار العكسي، مما يعمل كمراقب غير خطي للحد من الهلوسة وانزياح التوزيع.

3. نماذج العالم المرفوعة بكوبمان (Koopman-Lifted World Models):
   لمعالجة عدم خطية الشبكات العميقة (التي تتطلب عادةً تكرار الخطية المحلية في EKF)، يقدم المؤلفون نظرية مؤثر كوبمان.

   • يتم "رفع" الديناميكيات غير الخطية إلى فضاء ميزات ذي أبعاد أعلى حيث يكون التطور خطياً تماماً ($z_{t+1} = K z_t$).
   • يسمको هذا بإجراء ترشيح كالمان دقيق في الفضاء المرفوع، مما يلغي أخطاء التقريب المرتبطة بالخطية المحلية.

4. التباين المهيكل للقابلية للتوسع:
   للتعامل مع مليارات المعلمات، يتم تقريب مصفوفة التباين الكاملة $P_t$ (التي تتوسع بمقدار $O(p^2)$) باستخدام:

   • هياكل قطرية كتلية (تجاهل الارتباطات بين الطبقات).
   • تحليلات ذات رتبة منخفضة ($P_t \approx U_t U_t^T + \delta I$).
   • تقريبات عامل كرونيكر (مشابهة لـ K-FAC).
     تخفض هذه الطرق التعقيد إلى توسع قريب من الخطي ($O(pr)$) مع الحفاظ على الاستقرار.

٣. المساهمات الرئيسية

1. التكافؤ الرسمي: أثبت أن تحديثات ترشيح كالمان تكافئ انحدار التدرج الطبيعي مع تمهيد معلومات فيشر، مما يرسخ الترشيح المتكرر في هندسة المعلومات.
2. مبدأ "الترشيح كتدريب": أعاد تفسير التعلم كاستدلال بايزي متسلسل، مما يتيح التكيف عبر الإنترنت وتقدير عدم اليقين الصريح دون الحاجة للاشتقاق العكسي.
3. تصحيح التنشيط: قدم آلية مبتكرة لتصحيح تنشيطات المحولات الداخلية عبر مصطلحات الابتكار، مما يحسن المتانة تجاه انزياحات التوزيع.
4. تكامل كوبمان: دمج رفع مؤثر كوبمان مع ترشيح كالمان لتمكين الترشيد الخطي الدقيق للديناميكيات العصبية غير الخطية، وتجنب حسابات جاكوبي المتكررة.
5. ضمانات الاستقرار: قدم تحليلاً صارماً للاستقرار (عبر معادلات ريكاتي ودوال ليابونوف) يظهر التقارب الأسي تحت ظروف الإثارة المستمرة والضوضاء المحدودة، حتى مع التقريبات ذات الرتبة المنخفضة.

٤. النتائج التجريبية

قيم المؤلفون KWM على ثلاث معايير مقابل SGD وAdam وK-FAC وEKF الكلاسيكي:

• MNIST المتسلسل: حقق KWM دقة مقاربة لـ Adam (97.8% مقابل 97.5%) ولكن مع حساسية أقل بكثير لتهيئة معدل التعلم واستقرار أسرع للتباين.
• WikiText-2 (نمذجة اللغة): طابق KWM تعقيد Adam (88.4 مقابل 88.7) ولكنه أظهر متانة فائقة تحت انزياحات التوزيع الاصطناعية (حذف الرموز/اضطراب المفردات)، حيث حافظ على تعقيد أقل (98.2 مقابل 110.3 لـ Adam).
• التعلم المستمر: في مهام Permuted MNIST والمهام المتدفقة، قلل KWM من النسيان الكارثي بنسبة ~30% مقارنة بـ Adam وبنسبة 18% مقارنة بـ K-FAC، مستفيداً من مصفوفة التباين لحماية المعلمات عالية الثقة.

ملخص الجدول ١:

٥. الأهمية والأثر

• تحول في النموذج: يتجاوز عقيدة "انحدار التدرج"، ويقدم بديلاً مبنياً على أسس متينة في نظرية التحكم والاستدلال البايزي.
• التعلم عبر الإنترنت والمستمر: يوفر آلية طبيعية للتعلم عبر الإنترنت والتكيف المستمر دون نسيان كارثي، حيث يتم تتبع عدم اليقين صراحةً.
• المتانة: توفر آلية التصحيح القائمة على الابتكار نهجاً جديداً للحد من الهلوسة والتعامل مع انزياحات التوزيع في النماذج اللغوية الكبيرة (LLMs).
• التوحيد النظري: يربط بين التحسين من الدرجة الثانية (التدرج الطبيعي)، والترشيح المتكرر (كالمان)، ونظرية المؤثر (كوبمان)، مما يخلق إطاراً رياضياً موحداً للتعلم.
• القابلية للتوسع: من خلال استخدام تقريبات التباين المهيكلة، يعالج الأسلوب مشكلات القابلية للتوسع التاريخية لـ EKF، مما يجعله قابلاً للتطبيق المحتمل في البنى العميقة الحديثة.

في الختام، تجادل الورقة بأن الشبكات العصبية يجب أن تُعامل كـ مقدرات ديناميكية عشوائية محكومة بهندسة ريكاتي. هذا المنظور يتيح التعلم بمرور واحد (single-pass) عبر الإنترنت مع تقدير مدمج لعدم اليقين والمتانة، مما يقدم بديلاً مقنعاً للطبيعة المستهلكة للذا والساكنة للانتشار العكسي.