Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment
تُثبت هذه الورقة أن الاستدلال التكيفي القائم على التنميط، والذي يجمع بين ضغط متوسطات القطع والاختيار وقت التشغيل بين التنفيذ المحلي والموزع، يقلل بشكل كبير من زمن الاستجابة واستهلاك الطاقة على أجهزة الحافة المدمجة من خلال التغلب على اختناقات مرحلة المعالجة بين وحدة المعالجة المركزية ووحدة معالجة الرسومات المتأصلة في استدلال نماذج "ترانسفورمر" الموزعة عبر شبكة "واي فاي".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعد روبوت ذكي جداً، ولكنه بطيء قليلاً (مثل نموذج ذكاء اصطناعي)، يحتاج إلى حل لغز ما. عادةً، يعيش هذا الروبوت على جهاز كمبيوتر صغير واحد، مثل جهاز لوحي أو كاميرا ذكية. لكن أحياناً، يكون اللغز كبيراً جداً، أو يكون الروبوت متعباً جداً للقيام به بمفرده.
الفكرة الكبيرة في هذه الورقة البحثية هي: ماذا لو قمنا بتقسيم العمل بين اثنين من هذه الروبوتات الصغيرة وجعلناهما يتحدثان مع بعضهما البعض لحل اللغز بشكل أسرع؟
لقد جرب الباحثون ذلك على نوعين محددين من أجهزة الكمبيوتر الصغيرة تسمى NVIDIA Jetson Orin Nano (تخيلها كأدمغة قوية ولكنها صغيرة تُستخدم في الطائر بدون طيار أو الروبوتات) متصلة عبر شبكة Wi-Fi.
إليك قصة ما وجدوه، مُحكى بأسلوب بسيط:
1. مشكلة "المراسل"
جرب الباحثون طريقتين مختلفتين لجعل الروبوتات تعمل معاً.
الطريقة (أ) (نهج "الحمل الكامل"): تخيل أن الروبوتات تمرر صندوقاً ضخماً وثقيلاً من الطوب ذهاباً وإياباً. في كل مرة يمررون فيها الصندوق، يتعين عليهم حمله من "طاولة العمل" الخاصة بهم (المعالج السريع) إلى "صندوق البريد" الخاص بهم (الشبكة)، ثم العودة مرة أخرى.
- العقبة: لأن أجهزة الكمبيوتر الصغيرة هذه مبنية بشكل مختلف عن أجهزة الخادم الكبيرة، فهي لا تملك طريقاً سريعاً لنقل هذه الصناديق. بدلاً من ذلك، عليهم استخدام طريق ترابي متعرغ وبطيء (يسمى CPU-GPU staging).
- النتيجة: كان الوقت المستغرق في حمل الصندوق الثقيم ذهاباً وإياباً طويلاً جداً لدرجة أن حل اللغز معاً استغرق وقتاً أطول مما لو قام روبوت واحد بذلك بمفرده. في الواقع، بالنسبة للمهام الصغيرة، كان العمل معاً أبطأ في الواقع!
الطريقة (ب) (نهج "المنشور" - Prism): ابتكر الباحثون طريقة أذكى تسمى Prism. بد instead من تمرير صندوق الطوب الثقيل بالكامل، يقومون فقط بتمرير ملخص صغير ومضغوط للصندوق (مثل صورة للطوب أو قائمة بألوانه المتوسطة).
- النتيجة: ولأن "الطرد" الذي يتم إرساله بالبريد صغير جداً، فإن الوقت المستغرق في الطريق الترابي البطيء يصبح أقصر بكثير. الآن، أصبح العمل معاً أسرع ويستهلك طاقة بطارية أقل.
2. "المفتاح الذكي" (الاستدلال التكيفي)
أدرك الباحثون أنه في بعض الأحيان، حتى مع وجود الطرد الصغير، لا يزال من الأفضل لروبوت واحد أن يقوم بالعمل بمفرده (مثل إذا كان اللغز صغيراً جداً). وفي أحيان أخرى، يكون تقسيم العمل أفضل (إذا كان اللغز ضخماً جداً).
لذلك، قاموا ببناء نظام "المفتاح الذكي":
- قبل بدء العمل: يقومون بإجراء اختبار سريع (مثل جولة تدريبية) لمعرفة سرعة الـ Wi-Fi وحجم اللغز.
- أثناء العمل: بناءً على هذا الاختبار، يقرر النظام تلقائياً: "حسناً، بالنسبة لهذا العمل المحدد، دعونا نقسمه بين روبوتين،" أو "لا، هذا العمل صغير جداً، دعونا يقوم به روبوت واحد فقط."
هذا "المفتاح الذكي" جعل النظام أسرع بنسبة 65% إلى 77% ووفر 34% إلى 52% من البطارية مقارنة بالطريقة القديمة غير المتكلفة في محاولة تقسيم العمل.
3. الدرس الكبير
تعلمنا الورقة البحثية درساً مهماً جداً حول استخدام أجهزة الكمبيوتر الصغيرة للذكاء الاصطناعي:
- لا تفترض أن "الأكثر هو الأفضل": مجرد امتلاكك لجهازي كمبيوتر لا يعني أنهما سيعملان بشكل أسرع معاً. في هذه الأجهزة الصغيرة تحديداً، "حركة المرور" لنقل البيانات بينهما هي أكبر عائق.
- الضغط هو المفتاح: يجب عليك تقليص حجم البيانات التي ترسلها بين أجهزة الكمبيوتر، وإلا فإن الوقت المستغرق في الإرسال سيؤدي إلى تدميد السرعة.
- اختبر قبل أن تثق: لا يمكنك مجرد التخمين ما إذا كان النظام سيعمل أم لا؛ يجب عليك قياسه على الأجهزة الفعلية. لقد وجد الباحثون أن ما ينجح في محاكاة الكمبيوتر غالباً ما يفشل في العالم الحقيقي بسبب "اختناقات المرور" المخفية هذه.
الملخص
فكر في الأمر كسباق تتابع.
- الطريقة القديمة: حاول العداؤون تمرير خزنة ضخمة وثقيلة لبعضهم البعض. قضوا وقتاً طويلاً في رفع وحمل الخزنة لدرجة أنهم جاءوا في المركز الأخير.
- الطالط الجديدة (Prism): مرروا ملاحظة صغيرة وخفيفة الوزن بدلاً من ذلك. لقد أنهوا السباق بشكل أسرع بكثير.
- المدرب (النظام): يراقب المدرب السباق ويقرر: "بالنسبة لهذا السباق القصير، عدّاء واحد هو الأفضل. أما بالنسبة لهذا الماراثون الطويل، فلنستخدم فريق التتابع مع الملاحظات الصغيرة."
تثبت الورقة البحثية أنه مع الاستراتيجية الصحيحة (تقليص البيانات) وصانع قرار ذكي (نظام التوصيف/Profiling)، يمكنك جعل أجهزة الكمبيوتر الصغيرة والرخيصة تعمل معاً بكفاءة عالية جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.