Single State Update Predictive Coding training for Time Series Forecasting and Anomaly Detection
تقدم هذه الورقة تقنية تدريب متوازية لشبكات الترميز التنبؤي (Predictive Coding Networks) تجمع بين شبكة ترميز تنبؤي توليدية وشبكة ترميز تنبؤي تشفيرية لإلغاء الانتشار المتسلسل للخطأ الخلفي، مما يتيح التعلم المستمر والمستقر عبر الإنترنت للتنبؤ بالسلاسل الزمنية وكشف الشذوذ.
في عالم الذكاء الاصطناعي، غالباً ما تُعلَّم الآلات التعلم من خلال النظر إلى منتج نهائي والعمل بشكل عكسي لفهم كيفية صنعه. هذه الطريقة، المعروفة باسم "الانتشار العكسي" (backpropagation)، هي المحرك القياسي وراء التعلم العميق الحديث، ولكن بها عيب جوهري: فهي تتطلب من الكمبيوتر معالجة المعلومات في تسلسل صارم خطوة بخطوة. تخيل صفاً من الأشخاص ينقلون رسالة من مؤخرة الغرفة إلى مقدمتها؛ إذا غير الشخص الموجود في الخلف رأيه، يجب أن تسافر الرسالة عبر الصف بأكمله مرة أخرى لتصحيح الخطأ. هذه الطبيعة التسلسلية تجعل العملية بطيئة وصعبة التشغيل على الأجهزة الصغيرة المحمولة التي تحتاج إلى التعلم في الوقت الفعلي. ويقدم نهج مختلف، يسمى "الترميز التنبؤي" (predictive coding)، مخرجاً من هذا المأزق. فبدلاً من العمل بشكل عكسي، يقترح هذا النموذج أن الدماغ والآلات يتعلمون من خلال التخمين المستمر لما سيحدث تالياً، ثم تعديل حالتهم الداخلية فقط عندما تختلف الحقيقة عن هذا التخمين. والهدف هو جعل هذه التعديلات تحدث دفعة واحدة، عبر النظام بأكح، بدلاً من انتظار إشارة لتنتقل من طرف إلى آخر.
لقد طور الباحثان ماتيو كاردوني وسام ليرو في جامعة غنت تقنية تدريب جديدة تجسد مفهوم التعلم المتوازي هذا لبيانات السلاسل الزمنية، مثل بث الفيديو أو قراءات المستشعرات. يعالج عملهما عقبة مستمرة في شبكات الترميز التنبؤي: فبالرغم من أن النظرية تسمح بتحديثات متوازية، إلا أن التنفيذ العملي غالباً ما يظل عالقاً في انتظار إشارات الخطأ لتنتشر تسلسلياً من طبقة المخرجات وصولاً إلى طبقة المدخلات. ولحل هذه المشكلة، قدم الفريق طريقة تربط بين شبكتين عصبيتين معاً. تعمل إحدى الشبكتين، بصفتها "مولداً"، على محاولة التنبؤ باللحظة التالية في التسلسل بناءً على اللحظة السابقة. أما الشبكة الثانية، بصفتها "مشفرًا"، فتراقب البيانات الفعلية الواردة. وبدلاً من إجبار المولد على التعلم بمفرده من خلال عملية تكرارية بطيئة، يعمل المشفر جنباً إلى جنب معه، مطابِقاً نشاطه الداخلي. وتسمح هذه الشراكة للنظام بتحديث حالته الداخلية بالكامل في خطوة واحدة موحدة، بدلاً من المرور عبر جولات متعددة من التصحيح.
اختبر الباحثون هذا النهج من خلال إنشاء بيئة محاكاة حيث يتحرك رقم من مجموعة صور قياسية عبر خلفية سوداء. وقد كلفوا شبكة عصبية مكونة من خمس طبقات بالتنبؤ بالإطار التالي لهذه الحركة. في الظروف العادية، كان الرقم يتحرك بشكل قطري، لكن الباحثين أدخلوا شذوذات مفاجئة، مثل تغيير الرقم لاتجاهه فجأة، أو الارتداد عن الجدران، أو حتى التحول إلى رقم مختلف تماماً. كان على النظام تعلم هذه الأنماط الجديدة فور حدوثها، ومعاملة السلوك الجديد كأمر طبيعي بمجرد ملاحظته. وفي هذه التجارب، واجهت الطريقة التقليدية، التي تعتمد على خطوات تسلسلية متعددة لتصحيح الأخطاء، صعوبة عندما تغير النمط؛ إذ غالباً ما فشلت في التكيف بسرعة، مما تسبب في ابتعاد توقعاتها عن الواقع. وفي المقابل، استعاد نهج الشبكة المزدوجة توازنه بشكل فوري تقريباً. فعندما تغير نمط الحركة، قام النظام بتعديل تمثيله الداخلي في تحديث واحد وبدأ في التنبؤ بالمسار الجديد بدقة، محافظاً على منحنى تعلم ثابت ومستمر.
أظهرت النتائج أن تقنية التحديث أحادي الحالة هذه وفرت عملية تعلم أكثر استقراراً. فبينما أنتجت الطريقة التقليدية طفرات مضطربة في الخطأ كلما تغيرت البيانات، عمل النهج الجديد على تنعيم هذه التحولات، مما سمح للنموذج بمعاملة الديناميكيات الجديدة كأمر طبيعي دون فقدان توازنه. وتشير الدراسة إلى أنه باستخدام شبكة داعمة لتوجيه عملية التعلم، يمكن للنظام تجاوز الانتشار التسلسلي البطيء للأخطاء الذي يحد عادةً من هذه الأنواع من النماذج. وتعد هذه النتيجة مهمة بشكل خاص لمستقبل الذكاء الاصطناعي على أجهزة الحافة (edge devices)، مثل الهواتف الذكية أو المستشعرات، حيث تكون القدرة على المعالجة وسرعتها محدودة. ومن خلال تمكين الآلات من التعلم المستمر والمتوازي، يوفر هذا التقنية مساراً واعداً نحو أنظمة يمكنها التكيف مع عالم متغير في الوقت الفعلي، دون التكلفة الحسابية الثقيلة لانتظار انتهاء سلسلة طويلة من التصحيحات.
ملخص تقني: التشفير التنبؤي بتحديث الحالة الواحدة للتنبؤ بالسلاسل الزمنية
بيان المشكلة التشفير التنبؤي (PC) هو نموذج تعلم عصبي يقدم بديلاً منخفض التعقيد للانتشار العكسي (Backpropagation)، ويتميز بقدرته على إجراء تحديثات متوازية على مستوى الطبقات. ومع ذلك، لا تزال هناك عقبة كبيرة في شبكات التشفير التنبؤي (PCNs): وهي الحاجة إلى انتشار تسلسلي للخطأ من طبقة المخرجات عبر جميع الطبقات. وبينما يتم تهيئة شبكات (PCNs) غالباً عبر طرق التغذية الأمامية لتسريع التقارب، فإن هذا النهج يستلزم عدداً من خطوات الاستدلال يساوي أو يزيد عن عمق الشبكة. هذا الاعتماد التسلسلي يؤدي إلى تلاشي انتشار التحديث ويعيق كفاءة التعلم عبر الإنترنت (Online Learning)، لا سيما في تطبيقات السلاسل الزمنية حيث يكون التكيف السريع أمراً بالغ الأهمية.
المنهجية: تدريب التشفير التنبؤي الموجه (Guided PC) لمعالجة عقبة التحديث التسلسلي، يقترح المؤلفون تقنية تدريب "التشفير التنبؤي الموجه" التي تجمع بين شبكتين متمايزتين: شبكة تشفير تنبؤي توليدية (G-PCN) وشبكة تشفير تنبؤي ترميزية (E-PCN). يتم تدريب هاتين الشبكتين بالتوازي لمطابقة تنشيطاتهما العصبية، مما يتغلب على الحاجة إلى عدة تكرارات لتحديث الحالة دون الحاجة إلى الانتشار التسلسلي.
تتضمن عملية التدريب لخطوة زمنية واحدة t أربع خطوات موحدة:
التهيئة بالتغذية الأمامية المتوازية:
تقوم الـ G-PCN (التي تعمل كمفكك شفرة/Decoder) برسم تمثيل المدخلات الحالي μt0 من الحالة السابقة ht−10 عبر طبقة رسم خرائط زمنية (θ0)، ومن ثم تتنبأ ببيانات الخطوة الزمنية التالية x^t.
تقوم الـ E-PCN (التي تعمل كمرمز/Encoder) بأخذ المدخل الفعلي xt وتجري تمريرة تغذية أمامية قياسية لتوليد التنشيطات γt.
تحديث الحالة المتوازي (التوجيه والطاقة الداخلية):
تقوم كلتا الشبكتين بتحديث حالاتهما بالتوازي لتقليل دالتي طاقة:
طاقة التوجيه (G): الفرق المربع بين تنشيطات الشبكتين (∑(μl−γl)2).
الطاقة الداخلية (I) عند طبقة المخرجات: الفرق المربع بين تنبؤ الـ G-PCN والمدخل الفعلي ((x^t−xt)2).
تضمن هذه الخطوة تلقي جميع الطبقات في كلتا الشبكتين تحديثات غير صفرية في وقت واحد.
صقل الحالة الداخلية لـ G-PCN:
تقوم الـ G-PCN بتحديث حالة "تقليدي" (Vanilla) لتقليل طاقتها الداخلية (I=∑(hl−μl)2) عبر جميع الطبقات. ولأن الحالات قد تم تحديثها بالفعل في الخطوة 2، فإن هذه الخطوة تعمل على صقل تمثيل الـ G-PCN بشكل أكبر باستخدام المدخل الفعلي xt كمرجع. أما الـ E-PCN فلا تقوم بهذه الخطوة المحددة، بل تعتمد على طاقة التوجيه للتماثل مع الـ G-PCN.
تحديث الأوزان المتوازي:
يتم تحديث أوزان الـ G-PCN لتقليل الطاقة الداخلية (I).
يتم تحديث أوزان الـ E-PCN لتقليل طاقة التوجيه (G).
في هذه البنية، تعمل الـ E-PCN كشبكة دعم (تشبه نموذج المعلم) مدربة لمطابقة تمثيل الـ G-PCN، بينما تعمل الـ G-PCN كمتعلم أساسي (طالب) يقوم بنشر التحديثات باستخدام توجيه الـ E-PCN.
المساهمات الرئيسية
آلية تحديث الحالة الواحدة: قدمت الورقة تقنية تسمح بتحديث جميع طبقات الـ PCN في تكرار واحد موحد، متجاوزةً بذلك الحاجة إلى تكرارات متعددة لتحديث الحالة كما هو معتاد في تدريب الـ PC القياسي عبر إعداد شبكة مزدوجة محددة.
بنية الشبكة المزدوجة: من خلال الجمع بين شبكة تشفير تنبؤي توليدية وشبكة تشفير تنبؤي ترميزية، تفرض الطريقة مطابقة التنشيط على مستوى الطبقات، مما يسرع تحديثات الحالة دون الحاجة إلى خطوات استدلال متعددة لكل إطار زمني.
التوازي: بخلاف طرق التسريع السابقة، يوفر هذا النهج تحديثات متوازية وهرمية عبر عمق الشبكة باستخدام البيانات المجمعة (Batched Data).
النتائج التجريبية قيم المؤلفون التقنية في مهمة تعلم مستمر عبر الإنترنت للكشف عن الشذوذ في السلاسل الزمنية باستخدام مجموعة بيانات أرقام MNIST المتحركة.
الإعداد: تم تدريب MLP مكون من 5 طبقات للتنبؤ بالإطار التالي. تم إدخال حالات الشذوذ كتغييرات مفاجئة في اتجاه الحركة (انعكاس X/Y) أو قيمة الرقم.
عند إدخال الشذوذ، تكيف الـ Guided PC بسرعة ليعامل السلوك الجديد كأنه "طبيعي"، واستعاد استقراره بسرعة.
انحرف الـ Vanilla PC بعد حدوث الشذوذ، ويرجع ذلك على الأرجح إلى بطء وتلاشي إشارة الخطأ.
المقياس: حقق الـ Guided PC قفزات أقل في متوسط مربع الخطأ (MSE) وأوقات استعادة أسرع، محافظاً على الاستقرار حتى مع استخدام خطوة واحدة فقط من تحديث الحالة الموحد.
الأهمية والادعاءات تدعي الورقة أن تقنية التدريب هذه تعالج بفعالية عقبة التحديث التسلسلي للحالة المتأصلة في التشفير التنبؤي من خلال التغلب على الحاجة إلى تكرارات متعددة لتحديث الحالة. ومن خلال تمكين التحديثات المتوازية عبر جميع الطبقات في خطوة واحدة عبر بنية الشبكة المزدوجة، تعزز الطريقة من استقرار التدريب وسرعة التقارب. يشير المؤلفون إلى أن هذه الكفاءة تجعل هذا النهج واعداً بشكل خاص للتعلم عبر الإنترنت على الأجهزة الطرفية (Edge Devices)، حيث تكون موارد الحوسبة وقيود زمن الاستجابة أمراً حاسماً. تشير النتائج إلى أن الـ Guided PC يمكنه الحفاظ على استقرار التعلم المستمر في البيئات الديناميكية حيث قد تفشل طرق الـ PC التقليدية في التكيف بالسرعة الكافية.