💬 NLP

SNAP-UQ: Self-supervised Next-Activation Prediction for Single-Pass Uncertainty in TinyML

تقدم هذه الورقة البحثية SNAP-UQ، وهي طريقة لتقدير عدم اليقين في مرحلة واحدة وذات كفاءة في استهلاك الموارد للتعلم الآلي الضئيل (TinyML)، والتي تستفيد من التنبؤ بالتنشيط التالي ذاتي الإشراف للكشف عن حالات الفشل والتحولات في التوزيع على المتحكمات الدقيقة دون الحاجة إلى مخازن مؤقتة زمنية أو تجاوز قيود الذاكرة وزمن الاستجابة الصارمة.

المؤلفون الأصليون: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ismail Lamaakal, Chaymae Yahyati, Khalid El Makkaoui, Ibrahim Ouahbi, Yassine Maleh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً صغيراً يعمل بالبطارية (مثل منظم حرارة ذكي أو سماعة طبية) يستخدم عقلاً اصطناعياً صغيراً لاتخاذ القرارات. يحتاج هذا الروبوت إلى أن يكون سريعاً ويستهلك طاقة قليلة جداً. لكن هناك مشكلة: الأدمغة الاصطناعية مفرطة في الثقة.

إذا عرضت على هذا الروبوت صورة قطة، فسيقول "قطة!" بثقة 99%. ولكن إذا عرضت عليه صورة محمصة خبز تشبه القطة قليلاً، فقد لا يزال يقول "قطة!" بثقة 99%، رغم أنه مخطئ تماماً. في العالم الحقيقي، قد تتسخ المستشعرات، أو تتغير الإضاءة، أو تصبح الأصوات ضوضائية. يحتاج الروبوت إلى طريقة لكي يقول: "انتظر لحظة، أنا لست متأكداً من هذا"، دون الحاجة إلى حاسوب خارق للمساعدة.

تقدم هذه الورقة البحثية SNAP-UQ، وهي خدعة ذكية وخفيفة الوزن لمنح هذه الروبوتات الصغيرة "شعوراً داخلياً" حول ما إذا كانت مرتبكة.

الطريقة القديمة: مشكلة "التحقق المزدوج"

عادةً، للتحقق مما إذا كان الذكاء الاصطناعي غير متأكد، عليك أن تسأله نفس السؤال عدة مرات (مثل سؤال صديق: "هل أنت متأكد؟" ثلاث مرات) أو بناء فريق كامل من الأدمغة الاصطناعية للتصويت على الإجابة.

المشكلة: الروبوتات الصغيرة لا تملك البطارية أو الذاكرة للقيام بذلك. الأمر يشبه محاولة وضع أوركسترا كاملة داخل ساعة جيب.

الطريقة الجديدة: التنبؤ بـ "الخطوة التالية" (SNAP-UQ)

يعمل SNAP-UQ بشكل مختلف. بدلاً من مطالبة الروبوت بتخمين الإجابة النهائية عدة مرات، فإنه يستمع إلى عملية التفكير الداخلية للروبوت.

تخيل أن عقل الروبوت هو خط تجميع في مصنع.

المواد الخام: تدخل صورة.
المحطة 1: يتم تحويل الصورة إلى حواف.
المحطة 2: يتم تحويل الحواف إلى أشكال.
المحطة 3: يتم تحويل الأشكال إلى أشياء.
المخرج النهائي: "إنها قطة!"

فكرة SNAP-UQ:
نقوم بإرفاق "جواسيس" صغار ورخيصين (يُطلق عليهم اسم الرؤوس - heads) بعدد قليل من محطات المصنع هذه.

مهمة الجاسوس: ينظر الجاسوس في المحطة 2 إلى مخرجات المحطة 1 ويحاول التنبؤ بما يجب أن تنتجه المحطة 2 تالياً.
مقياس "المفاجأة":
- اليوم العادي: ترسل المحطة 1 حافة واضحة. يتنبأ الجاسوس: "المحطة 2 ستصنع شكلاً". تقوم المحطة 2 بصنع ذلك الشكل. لا توجد مفاجأة. يشعر الروبوت بالثقة.
- اليوم السيئ (بيانات تالفة): الصورة ضبابية أو مشوشة. ترسل المحطة 1 إشارة غريبة ومضطربة. يتنبأ الجاسوس: "المحطة 2 ستصنع شكلاً"، لكن المحطة 2 ترتبك وتصنع شيئاً غريباً تماماً. مفاجأة كبيرة! يصرخ الجاسوس: "انتظر، هذا لا يطابق ما توقعته!"

لماذا يعد هذا تغييراً جذرياً

تمريرة واحدة فقط: ينظر الروبوت إلى الصورة مرة واحدة فقط. لا يحتاج إلى إعادة تشغيل العملية بأكملها. الأمر يشبه مراجعة عملك أثناء كتابته، بدلاً من إعادة كتابة المقال ثلاث مرات.
حجمه ضئيل: "الجواسيس" صغيرون للغاية (مجرد بضعة كيلوبايتات من الذاكرة). يمكنهم بسهولة التوافق مع الذاكرة الصغيرة للمتحكم الدقيق.
يكتشف الأخطاء مبكراً: يدرك الروبوت أن هناك خطأ ما قبل أن يصل حتى إلى الإجابة النهائية. إذا تعطل خط التجميع في المنتصف، سيعرف الروبوت أنه يجب أن يتوقف ويقول: "أنا لا أعرف"، بدلاً من تقديم إجابة خاطئة بثقة.

تشبيه إبداعي: لعبة "التوقعات مقابل الواقع"

فكر في طاهٍ يطبخ حساءً.

الطريقة القديمة (المجموعات): للتحقق مما إذا كان الحساء جيداً، يطلب الطاهي من 5 طهاة آخرين تذوقه. هذا يستغرق وقتاً ويتطلب 5 طهاة إضافيين (أمر مكلف للغاية لمطبخ صغير).
طريقة SNAP-UQ: لدى الطاهي وصفة ذهنية. بينما يضيف الملح، يتوقع أن يكون طعم الحساء بطريقة معينة.
- إذا أضاف الملح وكان الطعم مالحاً، فهو سعيد.
- إذا أضاف الملح وفجأة أصبح الطعم مثل الصابون، فإن عقله يقول: "مهلاً! هذا ليس ما توقعته بناءً على المكونات التي أضفتها للتو!"
- لا يحتاج إلى سؤال أي شخص آخر. عدم التطابق بين التوقع والواقع يخبره فوراً أن هناك خطأ ما.

النتيجة

اختبرت الورقة البحثية هذا على أجهزة حقيقية (متحكمات دقيقة صغيرة) باستخدام الرؤية (كاميرات) والصوت (التعرف على الصوت).

السرعة: إنه أسرع بنسبة 25-35% من الطرق الأخرى لأنه لا يضيع الوقت في إعادة التحقق.
الذاكرة: يستخدم ذاكرة أقل بنسبة 40-60%، مما يعني أنه يمكن أن يتناسب مع شرائح أصغر وأرخص.
الأمان: إنه يلتقط "البيانات السيئة" (مثل عدسة كاميرا مغطاة بالطين) بشكل أفضل بكثير من الطرق السابقة، مما يمنع الروبوت من ارتكاب أخطاء خطيرة.

باختاًختصار

يمنح SNAP-UQ أجهزة الذكاء الاصطنا-الصغيرة "حاسة سادسة". فبدلاً من الثقة العمياء في إجابتهم النهائية، فإنهم يتحققون باستمرار مما إذا كانت خطواتهم الداخلية منطقية. إذا شعرت الخطوات بأنها "غير مضبوطة"، فإن الجهاز يعرف أن يتوقف ويقول: "أنا لست متأكداً"، مما يحافظ على سلامة وموثوقية أجهزتنا الذكية حتى عندما يصبح العالم فوضوياً.

إليك ملخص تقني مفصل لورقة البحث SNAP-UQ: التنبؤ بالنشاط التالي ذاتي الإشراف لتقدير عدم اليقين في خطوة واحدة لتقنيات TinyML.

1. بيان المشكلة

تواجه تطبيقات TinyML المنشورة على المتحكمات الدقيقة (MCUs) التي تعمل بالبطارية تحديًا حرجًا: التقدير الموثوق لعدم اليقين (Uncertainty Estimation).

السياق: غالبًا ما تواجه المستشعرات في الأجهزة الطرفية تحولات في التوزيع (مثل تغيرات الإضاءة، الضوضاء، أو انحراف المستشعر) مما يؤدي إلى مدخلات مشوهة ضمن التوزيع (CID) أو خارج التوزيع (OOD). وتشتهر الشبكات العصبية الحديثة بكونها مفرطة في الثقة في هذه السيناريوهات، مما يؤدي إلى الفشل في اكتشاف الأخطاء أو مخاطر السلامة.
القيود: طرق تقدير عدم اليقين القياسية (مثل Deep Ensembles، وMonte Carlo Dropout، وEarly Exits، وTemporal Buffering) غير عملية لتقنيات TinyML لأنها تتطلب:
- عمليات تمرير أمامي متعددة (مما يزيد من زمن التأخير واستهلاك الطاقة).
- مخازن ذاكرة إضافية (استدلال يعتمد على الحالة/Stateful inference).
- عبء كبير على ذاكرة Flash/RAM (غالبًا ما يتجاوز حدود الكيلوبايت في المتحكمات الدقيقة).
الفجوة: هناك نقص في آليات عدم اليقين التي تعمل بـ خطوة واحدة (Single-pass)، وبدون تسميات (Label-free)، وبدون حالة (State-free)، والتي يمكن أن تتناسب مع ميزانيات الميلي واط والكيلوبايت الصارمة مع الحفاظ على دقة كشف عالية.

2. المنهجية: SNAP-UQ

يقترح المؤلفون إطار عمل SNAP-UQ (التنبؤ بالنشاط التالي ذاتي الإشراف)، وهو إطار مبتكر يقدر عدم اليقين من خلال نمذجة الديناميكيات بين طبقات الشبكة بدلاً من الاعتماد فقط على ثقة المخرجات النهائية.

المفهوم الجوهري

بدلاً من السؤال: "ما مدى ثقة النموذج في فئته النهائية؟"، يطرح SNAP-UQ سؤالاً: "هل الانتقال من تنشيط الطبقة السابقة إلى تنشيط الطبقة الحالية هو انتقال نموذجي؟"

الفرضية: البيانات داخل التوزيع (ID) تسبب انتقالات سلسة ومتوقعة بين الطبقات. أما البيانات المشوهة أو المزاحة فتسبب تحولات غير نمطية في العمليات الوسيطة، حتى لو ظلت وظيفة الـ softmax النهائية مفرطة في الثقة.

البنية والآلية

اختيار نقاط التوصيل (Tap Selection): تقوم الطريقة بإرفاق 2-3 "نقاط توصيل" (رؤوس مساعدة صغيرة) عند أعماق محددة من شبكة العمود الفقري المجمدة (Backbone) (عادةً في كتلة متوسطة والكتلة التي تسبق الأخيرة).
التنبؤ بالنشاط التالي:
- لكل نقطة توصيل $\ell$ ، يقوم مسقط خفيف الوزن (Lightweight Projector) $P_\ell$ بضغط التنشيط السابق $a_{\ell-1}$ إلى تمثيل منخفض الرتبة $z_\ell$ .
- يقوم رأس تنبؤ صغير $g_\ell$ (مكمم إلى int8) بالتنبؤ بإحصائيات (المتوسط $\mu_\ell$ ولوغاريتم التباين $\log \sigma^2_\ell$ ) للتنشيط التالي $a_\ell$ بشرط $z_\ell$ .
- يقوم الرأس بنمذجة توزيع غاوسي شرطي: $p(a_\ell | a_{\ell-1}) = \mathcal{N}(\mu_\ell, \text{diag}(\sigma^2_\ell))$ .
حساب المفاجأة (Surprisal Calculation):
- يتم حساب المفاجأة (اللوغاريتم السالب للاحتمالية) كخطأ تربيعي معياري بين التنشيط الفعلي $a_\ell$ والمتوسط المتوقع $\mu_\ell$ ، ومقاساً بـ $\sigma_\ell$ .
- الصيغة: $e_\ell(x) = \| (a_\ell - \mu_\ell) \odot \sigma_\ell^{-1} \|^2_2$ .
التجميع والمعايرة:
- يتم تجميع المفاجآت لكل طبقة في درجة عددية واحدة $S(x)$ .
- يقوم معاير خفيف الوزن (Monotone Calibrator) (مثل الانحدار اللوجستي أو الانحدار المتقطع) برسم الخرائط من $S(x)$ إلى درجة عدم يقين نهائية $U(x) \in [0, 1]$ .
- اختيارياً، يمكن دمج $U(x)$ مع ثقة المصنف اللحظية (أقصى احتمال أو الهامش) لتحسين القدرة على الفصل.

تحسينات التنفيذ لـ TinyML

خطوة واحدة (Single-Pass): لا توجد عمليات تمرير أمامي إضافية؛ يتم الحساب أثناء الاستدلال القياسي.
بدون حالة (State-Free): لا تتطلب مخازن مؤقتة زمنية أو تاريخاً سابقاً.
صديقة للأعداد الصحيحة (Integer-Friendly):
- تم تكميم الرؤوس إلى int8.
- تم استبدال الدوال الأسية بجدول بحث صغير (LUT) لـ $\exp(-\frac{1}{2}\log \sigma^2)$ .
- تستخدم العمليات الحسابية مجمعات int32.
البصمة (Footprint): تضيف فقط عشرات الكيلوبايتات إلى ذاكرة Flash وكمية ضئيلة جداً من ذاكرة RAM.

3. المساهمات الرئيسية

إشارة عدم يقين جديدة: تقديم مفاجأة تعتمد على العمق (Depth-wise Surprisal)، وهي إشارة خالية من التسميات مستمدة من الديناميكيات من طبقة إلى أخرى، وهي أكثر حساسية لتحولات التوزيع من ثقة المخرجات.
تصميم جاهز للمتحكمات الدقيقة (MCU-Ready): يحقق تقدير عدم اليقين في خطوة واحدة وبدون حالة مع حد أدنى من التكاليف الإضافية (بضعة كيلوبايتات من Flash وزيادة أقل من 2% في عمليات الضرب والجمع MAC)، مما يجعله قابلاً للتطبيق في الأجهزة ذات الطاقة المنخفضة للغاية حيث تفشل طرق Deep Ensembles أو MC Dropout.
التأسيس النظري:
- يثبت أن درجة المفاجرة هي تحويل خطي (Affine Transform) للوغاريتم السالب للاحتمالية الشرطية.
- يوضح التكافؤ مع مسافة ماهالانوبيس الشرطية (لقياس الانحراف عن الديناميكيات المتوقعة بدلاً من مراكز الفئات الثابتة).
- يظهر الثبات الخطي (Affine Invariance) تجاه عمليات إعادة القياس الشبيهة بـ Batch Normalization.
متغيرات قوية: يدعم دوال خسارة Student-t وHuberized للتعامل مع الانحرافات ذات الذيول الثقيلة دون تغيير مسار الاستدلال.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات MNIST، وCIFAR-10، وTinyImageNet، وSpeechCommands عبر مستويين من المتحكمات الدقيقة: (Big-MCU بذاكرة Flash تقارب ميجابايت، وSmall-MCU بأقل من 1 ميجابايت).

مقايات الأداء

كفاءة النشر:
- Flash: أصغر بنسبة 40-60% من نماذج Early-Exit Ensembles وDeep Ensembles.
- زمن التأخير (Latency): أسرع بنسبة 25-35% من Deep Ensembles ونماذج Early-Exit الأساسية.
- الجدوى: يتناسب SNAP-UQ مع Small-MCUs حيث تؤدي نماذج Deep Ensembles وMC Dropout إلى أخطاء "خروج عن الذاكرة" (OOM).
اكتشاف عدم اليقين:
- مراقبة الـ CID: يتفوق على النماذج المرجعية في اكتشاف انخفاض الدقة في التدفقات المشوهة (MNIST-C، CIFAR-10-C، SpeechCmd-C). ويحقق AUPRC أعلى وتأخراً أقل في الاكتشاف.
- اكتشاف الفشل: منافس أو متفوق في مقياس AUROC للتمييز بين التنبؤات الصحيحة والخاطئة (ID✓—ID×) وبين عينات ID مقابل OOD.
- المعايرة: يحسن خطأ المعايرة المتوقع (ECE) واللوغاريتم السالب للاحتمالية (NLL) على بيانات التوزيع الداخلي (ID) مقارنة بـ Softmax الأساسي.
المقارنة:
- يتفوق على النماذج أحادية الخطوة (Entropy, Energy, Mahalanobis) ويماثل أو يتجاوز الطرق متعددة الخطوات (Deep Ensembles) في جودة الكشف، مع كونه أقل تكلفة بكثير.

5. الأهمية والأثر

تمكين TinyML الآمن: يوفر SNAP-UQ حلاً عملياً لمراقبة السلامة على الجهاز، مما يسمح للمتحكمات الدقيقة باكتشاف الفشل، أو انحراف المستشعر، أو المدخلات العدائية دون الحاجة إلى اتصال سحابي أو أجهزة قوية.
تحول في النموذج (Paradigma Shift): ينقل تقدير عدم اليقين من "ثقة المخرجات" إلى "الاتساق الداخلي"، مما يوفر إشارة أكثر قوة لتحولات التوزيع التي تحافظ على تسميات الفئات ولكنها تغير ديناميكيات الميزات.
كفاءة الموارد: يثبت أن تقدير عدم اليقين عالي الجودة ممكن ضمن القيود الصارمة لنطاق "TinyML" (الميلي واط، الكيلوبايت)، مما يسد الفجوة بين المتانة النظرية والتطبيق العملي.
مفتوح المصدر: يوفر المؤلفون تنفيذاً جاهزاً للمتحكمات الدقيقة مع الكود البرمجي، مما يسهز عملية الاعتماد في تطبيقات الذكاء الاصطنا edge AI.

باخت-صار، يعد SNAP-UQ طفرة في جعل تقدير عدم اليقين ممكناً لأكثر الأجهزة تقييداً في الموارد، حيث يقدم آلية فعالة للغاية، وبخطوة واحدة، وخالية من التسميات، لضمان الموثوقية في عمليات نشر TinyML الواقعية.