ملخص تقني: ما الذي يتغير بعد النشر؟ مسح حول التعلم على الجهاز في مجال TinyML

1. بيان المشكلة

تواجه نماذج تعلم الآلة المنشورة على أجهزة من فئة المتحكمات الدقيقة (TinyML) تحديًا جوهريًا: تغير التوزيع بعد النشر. غالبًا ما تعاني النماذج التي تم تدريبها "خارج الخط" (offline) على مجموعات بيانات منسقة من ضعف الأداء عند تعرضها لظروف العالم الحقيقي حيث تتغير توزيعات البيانات بعد النشر. وبينما يعالج التعلم على الجهاز (ODL) هذه المشكلة عبر تنفيذ عملية التعلم مباشرة على الجهاز، إلا أن الأدبيات الحالية تفتقر إلى توصيف موحد لكيفية حد de تغير التوزيع. لم تفرق المسوحات السابقة صراحة بين أنواع مختلفة من أنظمة تغير التوزيع، مما أدى إلى خلط الحلول التي تعمل تحت قيود وافتراضات مختلفة جذريًا. علاوة على ذلك، توجد فجوة مستمرة بين المعايير المنهجية (التي تركز غالبًا على الصور) وسيناريوهات النشر في العالم الحقيقي (التي تركز غالبًا على المستشعرات)، مما يعيق انتقال التقدم الخوارزمي إلى التطبيقات العملية.

2. المنهجية

تقدم هذه الورقة مسحًا شاملًا لحوالي 70 عملًا في مجال التعلم على الجهاز (ODL) ضمن نطاق TinyML. تم هيكلة المسح بناءً على مبدأ تنظيمي أساسي وهو: نظام تغير التوزيع. يصنف المؤلفون الأدبيات إلى ثلاثة أنظمة متميزة بناءً على طبيعة العملية المولدة للبيانات ($P$) بعد وقت النشر $T$:

1. نظام التغيير الواحد (Single-Change Regime): يتغير التوزيع مرة واحدة بالضبط عند النشر ($p_{T-1} \neq p_T$) ويظل مستقرًا بعد ذلك. التحدي يكمن في التكيف السريع والفعال مع الظروف الجديدة طوال عمر الجهاز المتبقي.
2. نظام انزياح المفاهيم (Concept Drift Regime): يتغير التوزيع عدة مرات بشكل مستمر وغير متوقع ($p_{t-1} \neq p_t$). التركيز ينصب على التكيف بسرعة مع الظروف الجديدة مع التخلص من المعرفة السابقة غير ذات الصلة أو تقليل وزنها.
3. نظام التعلم المستمر (Continual Learning Regime): يتم تقديم مفاهيم جديدة بشكل تدريجي بمرور الوقت. يجب أن يراكم الحل معرفة جديدة دون نسيان المعلومات المتعلمة سابقًا (معالجة النسيان الكارثي). ورغم تشابهه رسميًا مع انزياح المفاهيم من حيث تغير التوزيع، إلا أن الافتراض المتعلق بصلة المعرفة السابقة ومعايير التقييم يختلف بشكل كبير.

لكل نظام، يحلل المسح الأدبيات من خلال ثلاث عدسات متكاملة:

• عدسة التطبيق (Application Lens): السياقات والمهام الواقعية التي يتم معالجتها (مثل اكتشاف الكلمات المفتاحية، معايرة المستشعرات، واجهات الدماغ والحاسوب).
• عدسة الأجهزة (Hardware Lens): الأجهزة المستهدفة، بدءًا من المعالجات شديدة القيود (مثل Cortex-M0، ISPU) وصولًا إلى المتحكمات الدقيقة القياسية (Cortex-M4/M7) ومنصات الطاقة المنخفضة للغاية والمتوازية (PULP).
• عدسة الحل (Solution Lens): التكوين التقني لحلول ODL، والمفككة إلى أربعة مكونات:
  • $R(\cdot)$: تقليل الأبعاد (مثل الشبكات العصبية الالتفافية المجمدة، أو مستخرجات الميزات الإحصائية).
  • $B$: إدارة البيانات (استراتيجيات التخزين المؤقت، شروط القبول/التحفيز).
  • $f_t(\cdot)$: خوارزمية تعلم الآلة (مثل الشبكات العصبية العميقة DNNs، أو SVMs، أو KNN).
  • $L$: آلية التعلم (مثل الانتشار العكسي، التحديثات الأمامية فقط، أو توليد النماذج الأولية).

كما يقوم المسح بصياغة مشكلة ODL رسميًا، مع تحديد القيود على الذاكرة ($M_D$)، وتردد الساعة ($F_D$)، والطاقة، ووقت التنفيذ ($E$)، ويضع بروتوكولات تقييم خاصة بكل نظام (مثل التقييم القبلي المتتالي لانزياح المفاهيم، والتقييم الطولي للتعلم المستمر).

3. المساهمات الرئيسية

• تصنيف قائم على الأنظمة: هذا هو أول مسح ينظم كامل أدبيات ODL حول نظام تغير التوزيع (التغيير الواحد، انزياح المفاهيم، التعلم المستمر)، بحجة أن الحلول المصممة لنظام واحد لا يمكن مقارنتها مباشرة بتلك المصممة لنظام آخر بسبب اختلاف الافتراضات حول المعرفة السابقة وأهداف التكيف.
• نطاق شامل: يغطي المسح حوالي 70 عملًا، مما يوسع بشكل كبير الجهود السابقة (التي مسحت حوالي 10 أعمال فقط) ويستوعب الجسم الضخم من الأبحاث المنشورة بعد عام 2023.
• تحليل متعدد العدسات: من خلال تحليل الأعمال عبر عدسات التطبيق، والأجهزة، والحل في آن واحد، يكشف المسح عن أنماط متقاطعة، مثل الارتباط بين قدرة الأجهزة وتعقيد النظام، وعدم التوافق بين الأبحاث الموجهة نحو المنهج والأبحاث الموجهة نحو التطبيق.
• تحديد الفجوات الهيكلية: تحدد الورقة انفصالًا بين المساهمات المنهجية (التي تركز غالبًا على تحسين الانتشار العكسي في المعايير القياسية) والأعمال الموجهة نحو التطبيقات (التي تعطي الأولوية لكفاءة التسمية وقيود العالم الحقيقي). وتوضح أن الأعمال المنهجية نادرًا ما تعالج ندرة البيانات الموسومة أو قيود خط الإنتاج الكاملة (الذاكرة، زمن الاستجابة، الطاقة) في آن واحد.

4. النتائج واللقطات الرئيسية

نتائج التطبيق

• عدم توافق المهام: تستخدم الأعمال الموجهة للمنهج بشكل مهيمن معايير تصنيف الصور (CIFAR، MNIST) والتي غالبًا ما تكون متطلبة حوسبيًا للغاية بالنسبة لـ TinyML في العالم الحقيقي. وعلى العكس من ذلك، تركز الأعمال الموجهة للتطبيق على مهام مثل اكتشاف الكلمات المفتاحية (KWS)، والتعرف على النشاط البشري (HAR)، ومعايرة المستشعرات، والتي تفتقر إلى معايير قياسية.
• استراتيجيات الحصول على التسميات (Labels): تعامل الأعمال الموجهة للتطبيق استراتيجيات الحصول على التسميات كمتطلب تصميم أساسي. وتشمل الاستراتيجيات التعلم بلقطات قليلة (few-shot learning)، والتعلم تحت الإشراف الذاتي (باستخدام مستشعرات مساعدة)، والتعلم غير الخاضع للإشراف (للكشف عن الشذوذ)، والتسمية الضمنية عبر المحفزات المهيكلة.
• توزيع الأنظمة: تتركز الأعمال الموجهة للتطبيق بكثافة في نظام التغيير الواحد (مثل تخصيص KWS، معايرة المستشعرات). بينما يهيمن نظام انزياح المفاهيم ونظام التعلم المستمر على الأعمال الموجهة للمنهج، مع وجود عدد قليل جدًا من عمليات النشر في العالم الحقيقي.

نتائج الأجهزة

• الارتباط بين الأجهزة والنظام: توجد علاقة طردية بين قدرة الأجهزة وتعقيد النظام.
  • المعالجات شديدة القيود (Cortex-M0، ISPU) تظهر حصريًا تقريبًا في نظام التغيير الواحد بسبب قيود الذاكرة والحوسبة الصارمة.
  • المتحكمات الدقيقة القياسية (Cortex-M4/M7) تغطي الأنظمة الثلاثة ولكنها ممثلة تمثيلاً ناقصًا في التعلم المستمر بسبب قيود الذاكرة لعمليات التخزين المؤقت لإعادة التشغيل (replay buffers).
  • منصات PULP (متعددة النواة، مثل GAP9) تهيمن على نظام التعلم المستمر، كونها الفئة الوحيدة القادرة حاليًا على دعم المتطلبات العالية للذاكرة والحوسبة لخوارزميات التعلم المستمر.
• فجوات الإبلاغ: الإبلاغ عن الأجهزة غير متسق. فمقاييس مثل ذروة ذاكرة الوصول العشوائي (RAM) والطاقة غالبًا ما تُبلغ لكل حالة، أو لكل دفعة، أو لكل حقبة (epoch) دون توحيد، مما يجعل المقارنة بين الأعمال صعبة.

نتائج الحلول

• أنماط المكونات:
  • تقليل الأبعاد ($R$): تعد الشبكات العصبية الالتفالية المدربة مسبقة التجميد هي الخيار المهيمن لمدخلات الصور/الصوت، بينما تُستخدم الدوال المحايدة أو المستخرجات الإحصائية لبيانات المستشعرات منخفضة الأبعاد.
  • إدارة البيانات ($B$): يهيمن التشغيل عبر الإنترنت بالكامل ($|\Delta|=1$) على نظامي التغيير الواحد وانزياح المفاهيم. أما التخزين المؤقت الصريح فهو ضروري بنيويًا في التعلم المستمر لمنع النسيان الكارثي.
  • آلية التعلم ($L$): يعد الانتشار العكسي الكامل هو المعيار للتعلم المستمر (بدعم من مخازن إعادة التشغيل). أما في التغيير الواحد وانزياح المفاهيم، فتنتشر البدائل الأخف (التحديثات الأمامية فقط، المصنفات القائمة على النماذج الأولية، KNN).
• فجوة التحسين: تعمل الأعمال المنهجية بكثافة على تحسين الانتشار العكسي (التناثر، التكميم)، ومع ذلك نادرًا ما يتم اعتماد هذه التحسينات في تطبيقات العالم الحقيقي. يشير هذا إلى وجود انفصال حيث لا يتم التحقق من التحسينات الخوارزمية مقابل قيود خط الإنتاج الكاملة (مثل استراتيجية التسمية، وتكاليف تخزين البيانات).

5. الأهمية والادعاءات

تدعي الورقة أن نظام تغير التوزيع هو العامل الحاسم، والذي تم التغاضي عنه سابقًا، والذي يحدد جدوى وتصميم حلول ODL. ومن خلال التمييز الصريح بين التغيير الواحد، وانزياح المفاهيم، والتعلم المستمر، يوفر المسح إطارًا للمقارنة ذات المعنى افتقرت إليها الأدبيات السابقة.

يدعي المؤلفون بتواضع أن عملهم يسلط الضوء على فجوة هيكلية في المجال: حيث يتقدم كل من التقدم الخوارمازي وتطوير التطبيقات بالتوازي مع تفاعل محدود بينهما. ويرون أن المجال يتطلب:

1. أطر تقييم موحدة: معايير تثبت ميزانيات الأجهزة، ومكونات الحل، وقيود النشر (بما في ذلك ندرة التسميات) لتمكين المقارنة العادلة.
2. أدوات تصميم شاملة (End-to-End): أطر عمل برمجية تتعامل مع خط إنتاج ODL بالكامل ($R, B, f, L$) ككائنات قابلة للتحسين بشكل مشترك، بدلاً من تحسين المكونات بشكل منعزل.
3. أجهزة مخصصة لـ ODL: التحول من تكييف بنيات التدريب السحابي إلى تصميم أجهزة مخصصة لقيود ODL (ندرة التسميات، عدم وجود تحقق على الجهاز، ميزانيات الطاقة الصارمة).

يخلص المسح إلى أنه بينما يوسع ODL نطاق تطبيقات TinyML، فإن تحقيق هذه الرؤية يتطلب معالجة عدم التوافق بين المعايير المنهجية وسيناريوهات النشر في العالم الحقيقي، لا سيما فيما يتعلق بكفاءة التسمية ومتطلبات الأنظمة غير المستقرة.