💻 computer science

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

تقترح هذه الورقة منهجية قياس متعددة الأبعاد لتقييم أداء وكفاءة تشغيل النماذج اللغوية الكبيرة على الحواسيب ذات اللوحة الواحدة المعززة عتاديًا، مما يوفر إرشادات عملية لنشر الذكاء الاصطناعي التوليدي في بيئات الحافة الحساسة للخصوصية والمحدودة الاتصال.

المؤلفون الأصليون: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Harri Renney, Fouad Trad, Michael Mattarock, Zena Wood

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عقلًا آليًا عبقريًا وفائق الذكاء (نموذج لغوي كبير، أو LLM) يمكنه كتابة القصص، وحل المشكلات، والإجابة على الأسئلة. عادةً ما يعيش هذا العقل في مركز بيانات ضخم ومكلف بعيد في "السحابة". لاستخدامه، يتعين عليك إرسال أسئلتك عبر الإنترنت والانتظار للحصول على الإجابة.

ولكن ماذا لو كنت في مكان لا يتوفر فيه إنترنت، أو حيث يشكل إرسال البيانات خطرًا أمنيًا (مثل قاعدة عسكرية سرية أو طائرة بدون طيار تعمل عن بُعد)؟ أنت بحاجة لأن يعيش هذا العقل معك هناك مباشرة، على كمبيوتر صغير ورخيص. هذا ما يسمى "حوسبة الحافة" (Edge Computing).

هذه الورقة البحثية تشبه دليل تسوق لبناء عقل آلي محلي. لقد اختبر المؤلفون أربعة أجهزة كمبيوتر صغيرة مختلفة (أجهزة كمبيوتر أحادية اللوحة) لمعرفة أي منها الأفضل في تشغيل هذه العقول الذكية دون الحاجة إلى محطة توليد طاقة ضخمة أو حقيبة سفر كبيرة لحملها.

إليك كيف فعلوا ذلك وما وجدوه، باستخدام تشبيهات بسيطة:

المشكلة: "السحابة" مقابل "حقيبة الظهر"

تشغيل عقل ذكي في السحابة يشبه طلب بيتزا من مطعم عبر المدينة. الأمر رائع إذا كان لديك طريق سريع (إنترنت)، ولكن إذا كان الطريق مغلقًا، أو إذا لم يكن بإمكانك السماع بسماح لسائق التوصيل برؤية عنوانك السري (الخصوصية)، فستظل عالقًا.

أراد المؤلفون معرفة: هل يمكننا خبز البيتزا في مطبخنا الخاص؟
لقد اختبروا أجهزة كمبيوتر صغيرة بحجم كف اليد (أو حتى أصغر) لمعرفة ما إذا كانت تستطيع تشغيل هذه العقول الذكية بسرعة كافية لتكون مفيدة.

المطبخ التجريبي: أربعة "أفران" مختلفة

قام الباحثون بإعداد أربعة "أفران" مختلفة (تجهيزات الأجهزة) لخبز البيتزا (تشغيل الذكاء الاصطناعي):

الطوبة الصغيرة (M5Stack): كمبيوتر صغير بحجم بطاقة الائتمان مع شريحة مساعدة خاصة (NPU) مدمجة به. حجمه مثل علبة كبريت صغيرة.
اللوحة القياسية (Raspberry Pi 5): لوحة كمبيوتر شهيرة وبأسعار معقولة، لكنها تحاول القيام بكل شيء باستخدام عقلها الرئيسي (CPU) بمفردها.
اللوحة المطورة (Raspberry Pi 5 + HAT): نفس اللوحة القياسية، ولكن مع بطاقة "تعزيز السرعة" (Hailo NPU) ملحقة بها.
العملاق القوي (Jetson Orin Nano): لوحة أكثر قوة وتكلفة، تحتوي على بطاقة رسومات عالية الأداء (GPU) مدمجة بها.

الطريقة الجديدة لقياس النجاح

عادةً ما يسأل الناس: "ما مدى السرعة؟" (الرموز في الثانية). لكن المؤلفين أدركوا أنه بالنسبة للأجهزة الصغيرة والمحمولة، فإن السرعة ليست هي الشيء الوحيد الذي يهم. لقد قدموا طريقتين جديدتين لقياس النجاح:

اختبار "كثافة الحقيبة" (كثافة الإنتاجية):
تخيل أنك تجهز لحمل رحلة مشي لمسافات طويلة. أنت لا تريد فقط أقوى خيمة؛ بل تريد أقوى خيمة تناسب أصغر حقيبة ظهر. قاس المؤلفون مقدار "التفكير الذكي" الذي يمكن للجهاز القيام به لكل بوصة مكعبة من حجمه.
- الفائز: كان M5Stack (الطوبة الصغيرة) هو البطل هنا. على الرغم من أنه لم يكن الأسرع إجمالًا، إلا أنه حزم أكبر قدر من القدرة الحوسبية في أصغر مساحة.
اختبار "عمر البطارية" (الطاقة لكل مليون رمز):
تخيل أنك تركض في ماراثون. أنت لا تريد فقط الركض بسرعة؛ بل تريد الركض بسرعة دون أن ترهق وتتعب. قاسوا مقدار الكهرباء التي استهلكتها لتوليد مليون كلمة.
- الفائز: كان M5Stack و Jetson GPU هما الأكثر كفاءة في استهلاك الطاقة. أما Raspberry Pi القياسي (بدون معزز) فكان مثل العداء الذي يتعب بسرعة كبيرة، ويستهلك الكثير من الطاقة مقابل سرعة قليلة.

النتائج: ما الذي نجح بشكل أفضل؟

"شيطان السرعة": كان Jetson Orin Nano هو الأسرع إجمالًا. إذا كنت بحاجة إلى أكبر عدد من الإجابات في الثانية ولديك بعض المساحة والطاقة، فهذا هو الخيار المناسب.
"موفر المساحة": كان M5Stack (الطوبة الصغيرة) هو الأفضل للمساحات الضيقة. لقد أثبت أنه يمكنك وضع عقل ذكي داخل شيء بحجم علبة الكبريت.
"الترقية الذكية": جعل إضافة معزز السرعة Hailo إلى Raspberry Pi الجهاز أفضل بكثير. أصبح أسرع بكثير ويستخدم طاقة أقل بكثير من Raspberry Pi بمفرده.
"لا تفعل هذا": محاولة تشغيل هذه العقول الذكية على Raspberry Pi القياسي بدون أي شرائح تعزيز خاصة كانت غير فعالة للغاية. كانت بطيئة وتستهلك الكثير من الطاقة، مثل محاولة الركض في ماراثون بأحذية ثقيلة.

لماذا هذا مهم؟ (ادعاءات الورقة البحثية المحددة)

يقول المؤلفون إن هذه النتائج حاسمة لثلاثة سيناريوهات واقعية محددة ذكرت في الورقة:

المركبات غير المأهولة (الطائرات بدون طيار - Drones): الطائرات بدون طيار لديها بطاريات صغيرة. هي بحاجة إلى عقل ذكي لا يستنزف البطارية. توضح الورقة أنه يمكنك وضع عقل ذكي على طائرة بدون طيار تكون صغيرة بما يكفي للطيران وفعالة بما يكفي لعدم تحطم الطائرة بسبب انخفاض الطاقة.
العمليات المحمولة والوعرة: فكر في الجنود أو العمال في البيئات الصعبة وهم يحملون معداتهم. هم بحاجة إلى أجهزة كمبيوتر تناسب حقيبة صغيرة ومتينة. يوضح اختبار "كثافة الحقيبة" أي الحواسيب تناسب أفضل في تلك الصناديق الصغيرة والمتينة.
المحطات الأرضية للأقمار الصناعية: يبني الناس محطات صغيرة محمولة للتحدث مع الأقمار الصناعية في أماكن نائية. هم بحاجة إلى معالجة البيانات محليًا دون انتظار اتصال بالمكتب الرئيسي. توضح الورقة أن أجهزة الكمبيوتر الصغيرة هذه يمكنها التعامل مع المهمة، خاصة إذا استخدمت شرائح التعزيز الخاصة لتوفير الطاقة.

الخلاية

لم تعد بحاجة إلى مركز بيانات ضخم لامتلاك ذكاء اصطناوي ذكي. يمكنك وضعه في صندوق صغير. ومع ذلك، لا يمكنك مجرد اقتناء أي كمبيوتر صغير؛ فأنت بحاجة إلى المزيج الصحيح من كمبيوتر صغير وشريحة "مساعدة" (مسرع) لجعله سريعًا وفعالًا في استهلاك الطاقة.

إذا كنت بحاجة إلى أقصى سرعة، فاحصل على Jetson.
إذا كنت بحتاج إلى أقصى صغر حجم، فاحصل على M5Stack.
إذا كنت تريد توازنًا جيدًا، فأضف شريحة تعزيز إلى لوحة قياسية.

توفر لك هذه الورقة الخريطة لاختيار الأداة المناسبة لكي تتمكن من تشغيل الذكاء الاصطناوي الذكي في أي مكان، حتى حيث لا يصل الإنترنت.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من السحابة إلى الحافة: قياس أداء استنتاج النماذج اللغوية الكبيرة (LLM) على الحواسيب أحادية اللوحة المعززة عتادياً."

1. بيان المشكلة

لا يزال نشر النماذج اللغوية الكبيرة (LLMs) يعتمد بشكل أساسي على الحوسبة السحابية، مما يخلق اختناقات حرجة لبيئات التكنولوجيا التشغيلية (OT) والدفاع. وتشمل هذه التحديات ما يلي:

خصوصية وأمن البيانات: البيانات الحساسة في البنية التحتية الحرجة (الطاقة، الدفاع، التصنيع) غالباً ما لا يمكنها مغادرة حدود الشبكة الخاضعة للرقابة.
زمن الاستجابة والاتصال: الاعتماد على اتصالات إنترنت مستقرة يمثل نقطة ضعف في البيئات النائية أو المتنازع عليها (مثل المركبات غير المأهولة، أو المحطات الأرضية للأقمار الصناعية).
فجوات التقييم: تعاني أدوات قياس الأداء الحالية للحافة (مثل DeepEdgeBench وLEAF) من ثلاث عيوب رئيسية:
1. تعتمد بشكل كبير على الاستنتاج المعتمد على المعالج المركزي (CPU) فقط أو وحدات معالجة الرسوميات (GPU) القديمة، متجاهلة المسرعات المخصصة الحديثة للحافة (NPUs).
2. تفتقر إلى تغطية حقيقية للحواسيب أحادية اللوحة (SBCs) المناسبة لإنترنت الأشياء (IoT).
3. تستخدم مقاييس تقييم عامة تفشل في مراعاة القيود متعددة الأبعاد للنشر عند الحافة (الحجم الفيزيائي، ميزانية الطاقة، وكفاءة الطاقة).

2. المنهجية

يقترح المؤلفون إطار عمل قياسي متعدد الأبعاد لتقييم استنتاج النماذج اللغوية الكبيرة على أربع منصات مختلفة مخصصة لإنترنت الأشياء.

الإعداد التجريبي:

المنصات العتادية (5 تكوينات):
1. M5Stack LLM (Module M140): يتميز بمعالج AX630C مع وحدة معالجة عصبية (NPU) مدمجة (3.2 TOPS). أصغر حجم فيزيائي ( $54 \times 54 \times 13$ ملم).
2. Raspberry Pi 5: يعتمد على المعالج المركزي فقط (Broadcom BCM2712).
3. Raspberry Pi 5 + AI HAT+: يضيف وحدة NPU من نوع Hailo-10H بقدرة (40 TOPS).
4. NVIDIA Jetson Orin Nano Super: يتميز بمعالج رسوميات Ampere بقدرة (67 TOPS).
النماذج: مجموعة مختارة من النماذج اللغوية الكبيرة المقطرة والمدمجة (من 0.5 مليار إلى 3 مليار معلمة)، بما في ذلك DeepSeek-R1-Distill-Qwen، وQwen 2.5 (Instruct/Coder)، وLlama 3.2.
تكوين الاستنتاج:
- الكمية (Quantization): تعمل جميع النماذج بتكميم 4-بت (Q4_K_M) لتقليل بصمة الذاكرة.
- بيئات التشغيل (Runtimes): يستخدم Ollama (للمعالج المركزي/معالج الرسوميات)، وHailo Ollama (لوحدة NPU على Raspberry Pi 5)، وStackFlow (لـ M5Stack).
- عبء العمل: مطالبات (prompts) ثابتة تولد 100 رمز (token) لقياس الأداء المستدام.

مقاييس التقييم:
قدمت الورقة إطار عمل متعدد الأبعاد يتجاوز مجرد زمن الاستجابة والدقة:

الأداء الخام: إنتاجية الرموز (رمز/ثانية) وزمن الوصول لأول رمز (TTFT).
كفاءة الطاقة: استهلاك الطاقة لكل مليون رمز (MJ/Mtok).
المقاييس المركبة (مساهمات مبتكرة):
- كثافة الإنتاجية ( $Tps/m^3$ ): إنتاجية الرموز مقسومة على حجم الجهاز. وهو أمر بالغ الأهمية للتطبيقات ذات المساحة المحدودة (مثل الطائرات بدون طيار، والأجهزة القابلة للارتداء).
- الطاقة لكل مليون رمز (MJ/Mtok): التكلفة الإجمالية للطاقة لعملية التوليد، وهي بالغة الأهمية للأنظمة التي تعمل بالبطاريات.

3. المساهمات الرئيسية

تحليل الفجوة: تحديد غياب أطر العمل متعددة الأبعاد التي تقيم معاً أداء الاستنتاج، وكفاءة العتاد، والقيود الفيزيائية للمسرعات الحديثة للحواف (SBCs).
مقاييس مبتكرة: تقديم كثافة الإنتاجية والطاقة لكل مليون رمز لتمكين اختيار العتاد بناءً على قيود نشر محددة (المساحة مقابل الطاقة مقابل السرعة).
قياس شامل للأداء: تقديم أول تحليل مقارن لمسرعات الحافة الحديثة (Hailo-10H، NVIDIA Ampere، AX630C NPU) مقابل خطوط الأساس المعتمدة على المعالج المركزي فقط عبر عائلات نماذج متعددة.

4. النتائج الرئيسية

تأثير التسريع العتادي:
- وحدة NPU (Hailo-10H): حققت مكاسب في كفاءة الطاقة تتراوح بين 9.5 إلى 40 ضعفاً مقارنة بالاستنتاج المعتمد على المعالج المركزي فقط على Raspberry Pi 5. ارتفعت الإنتاجية من ~0.3 رمز/ثانية (المعالج المركزي) إلى ~6.3 رمز/ثانية (NPU).
- وحدة GPU (Jetson Orin): قدمت مكسباً في الكفاءة أقل تواضعاً بنسبة 1.2 إلى 1.8 ضعفاً مقارنة بخط الأساس الخاص بمعالجها المركزي، لكنها قدمت أعلى إنتاجية مطلقة (تصل إلى ~10 رمز/ثانية).
كثافة الإنتاجية:
- هيمن جهاز M5Stack AX630c على هذا المقياس، محققاً أكثر من 90,000 $Tps/m^3$ نظراً لحجمه الصغير جداً، مما يجعله مثالياً للتطبيقات شديدة الضيق والمتينة.
- سجل Jetson Orin أدنى كثافة بسبب حجمه الفيزيائي الكبير.
كفاءة الطاقة:
- كان الاستنتاج المعتمد على المعالج المركزي أقل كفاءة بمراحل (33–76 MJ/Mtok) مقارنة بالمنصات المعززة (0.5–5.5 MJ/Mtok).
- كان M5Stack وJetson GPU الأكثر كفاءة في استهلاك الطاقة، حيث استهلاكا حوالي 0.5–1.7 MJ/Mtok.
- أظهر نظام RPi 5 + Hailo كفاءة متغيرة اعتماداً على بنية النموذج، مما يشير إلى أن أداء NPU أكثر حساسية لهيكل النموذج من وحدات GPU.

5. الأهمية والآثار المترتبة

تقدم النتائج إرشادات عملية لنشر الذكاء الاصطناي التوليدي في البيئات الحرجة، والحساسة للخصوصية، والمحدودة الاتصال:

الأنظمة الموزعة المرنة: يتيح الذكاء الاصطناي عند الحافة منخفض الطاقة (نطاق 5–25 واط) بنى تحتية لامركزية حيث تعمل العقد الفردية كوكلاء أذكياء. وهذا يقلل الاعتماد على القيادة المركزية، مما يعزز المرونة ضد التشويش الشبكي أو الهجمات السيبرانية.
الاستقلالية المقيدة بالطاقة: بالنسبة للطائرات بدون طيار والأنظمة المستقلة ذات ميزانيات الطاقة الضيقة، فإن الانتقال من الاستنتاج عبر المعالج المركزي إلى NPU/GPU يطيل وقت التشغيل بشكل كبير مع تمكين اتخاذ القرار المحلي وتلخيص البيانات في الوقت الفعلي.
المحطات الأرضية للأقمار الصناعية: تؤكد النتائج أن النماذج ذات 1.5 مليار معلمة يمكنها العمل على حواسيب SBC محمولة (مثل RPi 5 + Hailo) بكفاءة عالية. وهذا يسمح للمحطات الأرضية بأداء مهام ذكية (مثل تحليل الأوامر، واستنتاج بيانات التتبع عن بُعد) محلياً دون الحاجة إلى روابط عالية النطاق الترددي مع المرافق المركزية.

الخلاصة:
تثبت الورقة أن الحواسيب أحادية اللوحة (SBCs) المعززة عتادياً أصبحت الآن صالحة لتشغيل النماذج اللغوية الكبيرة محلياً. يجب ألا يعتمد اختيار العتاد على السرعة المطلقة فحقة؛ بل يجب أن يسترشد بالموازنة بين البصمة الفيزيائية (التي تفضل M5Stack)، والإنتاجية المطلقة (التي تفضل Jetson)، وكفاءة الطاقة (التي تفضل M5Stack أو Jetson GPU)، وذلك حسب القيود التشغيلية المحددة لنشر إنترنت الأشياء.