🤖 AI

Optimizing Split Learning Latency in TinyML-Based IoT Systems

تقدم هذه الورقة أول اختبار قياسي تجريبي لزمن الاستجابة للتعلم المنقسم القائم على تقنية TinyML على لوحات ESP32-S3، مما يثبت أن خوارزمية مقترحة تعتمد على بحث الشعاع (Beam Search) باستخدام بروتوكول ESP-NOW تقلل بفعالية من زمن استجابة الاستدلال من البداية إلى النهاية من خلال تحسين نقاط الانقسام عبر نماذج وبروتوكولات اتصال متنوعة.

المؤلفون الأصليون: Zied Jenhani, Mounir Bensalem, Jasenka Dizdarević, Admela Jukan

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zied Jenhani, Mounir Bensalem, Jasenka Dizdarević, Admela Jukan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا صغيرًا وذكيًا جدًا (مثل كاميرا ذكية في جرس باب) يحتاج إلى حل لغز معقد، مثل التعرف على وجه ما. المشكلة هي أن هذا الروبوت صغير، وبطاريته ضئيلة، وعقله ضعيف. إذا طلبت منه حل اللغز بأكمله بمفرده، فسيستغرق الأمر وقتًا طويلاً جدًا، أو قد تنفد بطاريته قبل الانتهاء.

تستكشف هذه الورقة البحثية حلاً ذكيًا يسمى التعلم المنقسم (Split Learning). فبدلاً من مطالبة الروبوت الصغير بالقيام بكل شيء، نقوم بتقسيم المهمة إلى نصفين. يقوم الروبوت الصغير بالجزء الأول والسهل من اللغز، ثم يصرخ بـ "الخيوط" أو "الأدلة" التي وجدها إلى روبوت أكبر وأقوى موجود في مكان قريب (مثل مكبر صوت ذكي أو خادم محلي). يقوم الروبوت الأكبر بإكمال الجزء الصعب من اللغز ثم يصرخ بالإجابة عائدًا.

أراد مؤلفو هذه الورقة البحثية معرفة أسرع طريقة للقيام بلعبة "الصراخ والاستماع" هذه باستخدام أجهزة حقيقية منخفضة الطاقة (تحديدًا لوحات ESP32-S3، وهي متحكمات دقيقة رخيصة ومفتوحة المصدر).

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

١. مشكلة "الصراخ": اختيار البروتوكول المناسب

عندما يرسل الروبوت الصغير أدلته إلى الروبوت الكبير، يجب عليه اختيار "لغة" أو "طريقة توصيل" لإرسال البيانات. اختبر الباحثون أربع طرق مختلفة، مثل الاختيار بين أنواع مختلفة من خدمات البريد:

UDP: مثل إرسال بطاقة بريدية. إنها سريعة جدًا لأنك لا تنتظر استلام إيصال، ولكن إذا فُقدت البطاقة، فلن تعرف ذلك.
TCP: مثل إرسال رسالة مسجلة. إنها موثوقة للغاية (تحصل على إيصال)، لكنها تستغرق وقتًا أطول بسبب كل "الأوراق والإجراءات" المطلوبة قبل إرسال الرسالة.
BLE (البلوتوث): مثل جهاز لاسلكي (Walkie-Talkie) بطيء وكثير الكلام. إنه يتصل جيدًا ولكنه يستغرق وقتًا طويلاً لإعداد المحادثة ويرسل البيانات في قطع صغيرة ومجزأة جدًا.
ESP-NOW: مثل جهاز لاسلكي متخصص وعالي السرعة لا يحتاج إلى إعداد اتصال رسمي أولاً. إنه فقط يبث الرسالة بقوة.

الفائز: بشكل مفاجئ، كان ESP-NOW هو الأسرع بشكل عام. على الرغم من أن "مظروفه" صغير الحجم (لا يمكنه حمل قطع ضخمة من البيانات في وقت واحد)، إلا أنه يوفر الكثير من الوقت من خلال تخطي خطوات إعداد الاتصال الرسمي، مما جعله يتفوق على الآخرين. لقد أنهى الدورة الكاملة (إرسال الأدلة واستلام الإجابة) في حوالي ٣.٦ ثانية، بينما استغرق البلوتوث أكثر من ١٠ ثوانٍ.

٢. مشكلة "القطع": أين يتم تقسيم المهمة؟

كان على الباحثين أيضًا تحديد المكان الذي يتم فيه "قص" اللغز بالضبط.

القطع مبكرًا جدًا: لا يفعل الروبوت الصغير شيئًا تقريبًا، لكنه يضطر لإرسال كومة ضخمة من الأدلة إلى الروبوت الكبير، مما يؤدي لانسداد الشبكة.
القطع متأخرًا جدًا: يقوم الروبوت الصغير بكل شيء تقريبًا، مما يستغرق وقتًا طويلاً بسبب عقله الضعيف.

لقد اختبروا نقاط قطع مختلفة في نموذجين شهيرين للذكاء الاصطناعي (MobileNet-V2 و ResNet50). ووجدوا أن أفضل نقطة للقطع تعتمد على النموذج والشبكة، ولكن بشكل عام، أرادوا العثور على "منطقة التوازن المثالية" حيث يقوم الروبوت الصغير بالقدر الكافي من العمل دون إثقال كاهل الشبكة.

٣. "المخطط الذكي": البحث الشعاعي (Beam Search)

إن العثور على نقطة القطع المثالية يشبه محاولة إيجاد أفضل طريق عبر متاهة.

البحث بالقوة الغاشمة (Brute Force): تجربة كل مسار ممكن. هذا يضمن الوصول إلى أفضل مسار، ولكنه يستغرق وقتًا طويلاً (أيامًا) للحساب.
البحث الجشع (Greedy Search): اتخاذ أول مسار يبدو جيدًا. إنه سريع، لكنك قد تقع في طريق مسدود لاحقًا.
البحث الشعاعي (الفائز): تخيل أنك تستكشف المتاهة، ولكن بدلاً من فحص كل المسارات، فإنك تتبع فقط أفضل ٣ مسارات واعدة في أي لحظة. إذا بدا المسار سيئًا، فأنت تتخلص منه. إذا بدا المسار جيدًا، فإنك تحتفظ به وتستكشف المزيد.

ابتكر الباحثون خواروارزمية باستخدام طريقة البحث الشعاعي هذه.

النتيجة: وجدوا مسارًا مثاليًا تقريبًا في وقت قياسي (في حوالي ٠.١ ثانية لمجموعة مكونة من ٥ أجهزة).
لماذا يهم هذا: إنه سريع بما يكفي ليتم استخدامه في الأنظمة التي تعمل في الوقت الفعلي، على عكس طريقة "القوة الغاشمة" التي قد تستغرق ساعات أو أيامًا لحساب نفس الشيء.

ملخص "الوصفة"

تختتم الورقة البحثية بوصفة بسيطة لجعل أجهزة إنترنت الأشياء (IoT) الصغيرة هذه تعمل معًا بكفاءة:
١. استخدم ESP-NOW للتواصل لأنه يتخطى خطوات الإعداد المملة وهو الأسرع في دورات الإرسال والاستقبال.
٢. استخدم خواروارزمية البحث الشعاعي (Beam Search) لتحديد مكان تقسيم نموذج الذكاء الاصطناعي تلقائيًا. يضمن هذا أن الروبوت الصغير والروبوت الكبير يتشاركان العمل بأكثر طريقة فعالة من حيث الوقت.

من خلال الجمع بين "طريقة الصراخ" الصحيحة (ESP-NOW) و"المخطط الذكي" (البحث الشعاعي)، تمكنوا من جعل هذه الأجهزة الصغيرة ومنخفضة الطاقة تحل ألغاز الذكاء الاصطناعي المعقدة بشكل أسرع بكثير من ذي قبل، دون الحاجة إلى ترقية الأجهزة.

ملخص تقني: تحسين زمن انتقال التعلم المنقسم في أنظمة إنترنت الأشياء القائمة على TinyML

بيان المشكلة

تواجه التطورات المتسارعة في الذكاء الاصطناعي عقبة كبيرة تتمثل في نشر استدلال التعلم العميق (DL) على الأجهزة الطرفية والإنترنت الأشياء فائقة انخفاض استهلاك الطاقة والمحدودة الموارد. وبينما يوفر TinyML حلاً من خلال النماذج خفيفة الوزن، إلا أن العديد من التطبيقات لا تزال تتجاوز قدرات الذاية والمعالجة للمتحكمات الدقيقة الفردية. يعالج التعلم المنقسم (Split Learning - SL) هذه المشكلة عن طريق تقسيم النموذج عبر الأجهزة، حيث يتم تنفيذ الطبقات المبكرة على المستشعر ونقل بقية العمليات إلى جهاز مرافق. ومع ذلك، لا يزال الأداء في سياق التعلم المنقسم غير مستكشف بشكل كافٍ. وتحديداً، هناك نقص في الأدلة التجريبية فيما يتعلق بـ:

زمن انتقال الاستدلال من البداية إلى النهاية (end-to-end) في التعلم المنقسم على الأجهزة المقيدة تحت بروتوكولات لاسلكية واقعية منخفضة الطاقة.
تأثير بروتوكولات الاتصال اللاسلكي المختلفة (WiFi، ESP-NOW، BLE) على زمن انتقال التقسيم، بما في ذلك إعداد الشبكة، ونقل التنشيطات الوسيطة، والتغذية الراجعة للتنبؤ.
الاختيار الأمثل لـ "نقاط التقسيم" (أين يتم تقسيم النموذج) لتقليل إجمالي زمن الانتقال، مع مراعاة أعباء الحوسبة والاتصالات معاً.

لقد ركزت الدراسات الحالية بشكل كبير على الهواتف الذكية أو الحواسيب ذات اللوحة الواحدة، وغالباً ما تفترض ظروف إرسال مثالية أو تستخدم طرق اختيار تقسيم استدلالية لا تأخذ في الاعتبار الأعباء الخاصة بالبروتوكولات مثل فقدان الحزم أو عمليات المصافحة للاتصال (connection handshakes).

المنهجية

يقترح المؤلفون إطار عمل تجريبي وخوارزمية تحسين لمعالجة هذه الفجوات.

1. منصة الاختبار التجريبية

الأجهزة: يستخدم النظام لوحات ESP32-S3-WROOM-1 (بتردد 240 ميجاهرتز، وذاكرة فلاش 16 ميجابايت) كعقد لإنترنت الأشياء، وجهاز كمبيوتر مكتبي (Intel Core i9-14900) كخادم طرفي.
النماذج: تم استخدام نموذجين من الشبكات العصبية التلافيفية (CNNs): MobileNet-V2 (خفيف الوزن) وResNet50 (أكبر حجماً).
إطار العمل: تم تجهيز النماذج وتقسيمها وتكميمها (quantized) باستخدام TensorFlow Lite (TFLite) على الخادم الطرفي. وتم نشر البرامج الثابتة (Firmware) على أجهزة إنترنت الأشياء عبر التحديثات عبر الهواء (OTA).
مقارنة البروتوكولات: تمت مقارنة أربعة بروتوكولات اتصال لاسلكية لنقل التنشيطات الوسيطة:
- UDP (عبر WiFi)
- TCP (عبر WiFi)
- ESP-NOW (منخفض الطاقة، من جهاز لجهاز مباشرة)
- BLE (بلوتوث منخفض الطاقة)
القياس: تم قياس زمن الانتقال باستخدام مؤقتات عالية الدقة على ESP32-S3، مما يسمح بالتقاط مكونات زمن الذهاب والإياب (RTT) بما في ذلك إعداد البروتوكول، وتحميل النموذج، وتخصيص التنسور (tensor allocation)، والاستدلال، والتخزين المؤقت، والإرسال، والتغذية الراجعة.

2. إطار التحسين

يصيغ البحث عملية اختيار نقطة التقسيم كمسألة تحسين لتقليل إجمالي زمن انتقال الاستدلال ( $T_{inference}$ )، والذي يُعرف بأنه مجموع زمن معالجة الجهاز المحلي ( $T_d$ ) وزمن انتقال الإرسال ( $T_{tr}$ ).

نموذج الإرسال: يأخذ زمن انتقال الإرسال في الاعتبار حجم الحزمة، وحدود وحدة النقل القصوى (MTU)، وتأخر الانتشار، واحتمالية فقدان الحزم.
خوارزميات البحث: لحل مسألة التحسين (إيجاد مجموعة نقاط التقسيم المثلى $s^*$ $s^{*}$ )، يقارن المؤلفون بين أربع استراتيجيات:
1. البحث الشامل (Brute Force): بحث استقصائي (غير ممكن حسابياً للقيم الكبيرة من $L$ ).
2. الملاءمة العشوائية (Random-Fit): اختيار عشوائي لنقاط التقسيم.
3. الملاءمة الأولى (First-Fit): اختيار أول نقطة تقسيم تحقق عتبة زمن الانتقال.
4. البحث الجشع (Greedy Search): اختيار نقاط التقسيم بالتتابع لتقليل تكلفة الجزء الفوري.
5. بحث الشعاع (Beam Search): نهج مبتكر لهذا السياق يقوم بتوسيع أفضل $B$ من الحلول الجزئية الواعدة فقط في كل خطوة، موازناً بين دقة البحث وكفاءة الحوسبة.

النتائج الرئيسية

أداء البروتوكول

ESP-NOW: حقق أفضل زمن ذهاب وإياب (RTT) إجمالي قدره 3.6 ثانية في إعداد الجهازين. وعلى الرغم من حد الحزم الصغير (250 بايت) مقارنة بـ UDP/TCP، إلا أن افتقارها لأعباء مصافحة الاتصال وآلية البث الفعالة في طبقة MAC أدى إلى أدنى زمن انتقال إجمالي.
UDP: وفر أقل زمن انتقال خام للإرسال (على سبيل المثال، 1.4 مللي ثانية للحمولات الصغيرة) بسبب وحدة النقل الكبيرة (1472 بايت) وعدم وجود أعباء إضافية للمصادقة. ومع ذلك، كانت أوقات إعداد البروتوكول كبيرة (أكثر من ثانيتين).
TCP: عانى من زمن انتقال مرتفع بسبب إعداد الاتصال وأعباء إعادة الإرسال، خاصة عند التعامل مع تنسورات التنشيط الوسيطة الكبيرة (مثلاً، >100 حزمة)، مما أدى إلى توقف في التخزين المؤقت على ESP32.
BLE: أدى إلى أعلى زمن انتقال (10.4 ثانية RTT) بسبب التجزئة المفرطة (MTU بمقدار 512 بايت) وتأخيرات الإعداد والتغذية الراجعة العالية.

تحسين نقاط التقسيم

كفاءة الخوارزمية: أظهرت خوارزمية بحث الشعاع (Beam Search) أداءً قريباً من المثالية في زمن الانتقال، مشابهاً للبحث الشامل، ولكن مع تقليل هائل في وقت المعالجة. ففي سيناريو يتضمن 5 أجهزة، تطلب بحث الشعاع 0.1 ثانية فقط من وقت المعالجة، بينما كان البحث الشامل سيستغرق وقتاً أطول بشكل كبير (يُقدر بـ ~7857 ثانية لـ 6 أجهزة).
تقليل زمن الانتقال: قلل بحث الشعاع زمن الانتقال بأكثر من 600% مقارنة بـ Random-Fit لـ 6 أجهزة.
تفاصيل النماذج:
- بالنسبة لـ MobileNet-V2، حقق بحث الشعاع باستمرار أدنى زمن انتقال عبر أعداد الأجهزة المتغيرة.
- بالنسبة لـ ResNet50، وبينما ظل بحث الشعاع الأكثر كفاءة، لوحظت تقلبات في زمن الانتقال عند زيادة عدد الأجهزة بسبب عدم قدرة بعض العقد على تشغيل أجزاء معينة من النموذج.

نتائج محددة حول نقاط التقسيم

حدد القياس التجريبي اليدوي أن الطبقة block_16_project_BN في MobileNet-V2 هي نقطة تقسيم فعالة للغاية عند استخدام ESP-NOW، حيث توازن بين الحمل الحسابي وحجم نقل البيانات بشكل فعال.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول قياس تجريبي لزمن انتقال التعلم المنقسم القائم على TinyML على لوحات ESP32-S3 المحدودة. وتتمثل مساهماته الرئيسية في:

الدليل التجريبي: يسد فجوة في الأدبيات من خلال تقديم قياسات واقعية لزمن انتقال التعلم المنقسم عبر مختلف البروتوكولات اللاسلكية، متجاوزاً المحاكاة النظرية أو الدراسات القائمة على الهواتف الذكية.
اختيار البروتوكول: يثبت أن UDP يوفر زمن انتقال منخفض للنقل، إلا أن ESP-NOW هو البروتوكول الأفضل لزمن الذهاب والإياب (RTT) للتعلم المنقسم في بيئات إنترنت الأشياء المقيدة بسبب انعدام أعباء الإعداد.
خوارزمية التحسين: يقدم ويتحقق من صحة خوارزمية تعتمد على بحث الشعاع (Beam Search) للاختيار التلقائي لنقاط التقسيم. ويدعي المؤلفون أن هذه الطريقة توفر حلاً عملياً وقابلاً للتوسع للنشر في الوقت الفعلي، حيث توفر زمناً انتقالياً قريباً من المثالي مع الحد الأدنى من تكلفة الحوسبة، على عكس طرق البحث الاستقصائي.
قابلية التكرار: تم توفير الكود المصدري والإعداد التجريبي علناً ليكون بمثابة خط أساس قابل للتكرار للأبحاث المستقبلية في مجال TinyML والتعلم المنقسم.

يخلص المؤلفون إلى أنه بينما يركز عملهم الحالي على نقاط التقسيم الثابتة والبروتوكولات الثابتة، فإن العمل المستقبلي يهدف إلى تطوير إطار عمل ديناميكي يتكيف مع نقاط التقسيم، وأحجام الأجزاء (chunks)، والبروتوكولات في الوقت الفعلي بناءً على ظروف الشبكة وموارد الأجهزة.