When NPUs Are Not Always Faster: A Stage-Level Analysis of Mobile LLM Inference
تقدم هذه الورقة أول تحليل على مستوى المراحل لاستنتاج النماذج اللغوية الكبيرة (LLM) على الهواتف المحمولة عبر الأنظمة على شرائح (SoCs) غير المتجانسة التي تجمع بين وحدة المعالجة المركزية (CPU) ووحدة المعالجة العصبية (NPU)، كاشفةً أن وحدات المعالجة العصبية غالباً ما تفشل في التفوق على وحدات المعالجة المركزية في مراحل التعبئة المسبقة (prefill) كثيفة الحوسبة، بل ويمكنها حتى زيادة استهلاك الطاقة، مما يتحدى الافتراض القائل بالتسريع الشامل لوحدات المعالجة العصبية ويقدم إرشادات تصميمية جديدة للاستنتاج على الأجهزة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن هاتفك الذكي عبارة عن مطبخ مزدحم يحاول طهي وجبة معقدة (نموذج لغوي كبير، أو LLM). يحتوي المطبخ على طباخين رئيسيين: وحدة المعالجة المركزية CPU (رئيس طهاة خبير ومتعدد الاستخدامات، بارع في التقطيع والتنظيم) ووحدة المعالجة العصبية NPU (ذراع روبوتية متخصصة وعالية السرعة مصممة خصيصاً لرفع الأوزان الثقيلة والمتكررة).
لفترة طويلة، افترض الناس أن الذراع الروبوتية (NPU) ستكون دائماً الأسرع لأنها مصممة للذكاء الاصطناعي. ومع ذلك، تكشف هذه الورقة البحثية عن الحقيقة لتظهر أن الذراع الروبوتية ليست دائماً الطباخ الأسرع. في الواقع، اعتماداً على ما يتم تحضيره من الوجبة، قد يكون الطاهي البشري هو الأفضل فعلياً.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. مرحلتان من الطهي
تشرح الورقة البحثية أن توليد النصوص يحدث في مرحلتين مختلفتين تماماً، مثل جزأين مختلفين من عملية الطهي:
مرحلة "التحضير المسبق - Prefill" (قراءة الوصفة): هذه هي المرحلة التي يقرأ فيها الهاتف كامل المدخلات الخاصة بك (النص المدخل) دفعة واحدة. الأمر يشبه قراءة فصل كامل من كتاب طبخ. يتطلب هذا مجهوداً شاقاً وضخماً (القيام بالعديد من الحسابات في وقت واحد).
- النتيجة: وحدة المعالجة المركزية (الطاهي البشري) هي الفائزة هنا. فالذراع الروبوتية (NPU) في الواقع أبطأ (بنسبة تصل إلى 1.6 مرة) في هذه المرحلة.
- لماذا؟ لأن مساحة عمل الذراع الروبوتية (الذاكرة) صغيرة وليست محسنة لهذا النوع المحدد من "المهام الشاقة" بعد. الطاهي البشري لديه طاولة أكبر وأدوات أفضل لهذا العمل تحديداً.
مرحلة "فك التشفير - Decode" (كتابة الوجبة): هذه هي المرحلة التي يقوم فيها الهاتف بتوليد كلمة واحدة تلو الأخرى، واحدة تلو الأخرى. الأمر يشبه قيام الذراع الروبوتية بوضع قطعة زينة واحدة على الطبق، ثم الانتظار لطلب التزيين التالي. هذه مهمة تعتمد على الذاكرة، وليس على رفع الأوزان الثقيلة.
- النتيجة: الذراع الروبوتية (NPU) أسرع هنا، ولكن بفارق ضئيل فقط (حوالي 5% إلى 20% أسرع).
- لماذا؟ لأن الذراع الروبوتية جيدة في نقل البيانات في خط مستقيم، وهو ما يناسب هذا الأسلوب "واحد تلو الآخر". ومع ذلك، فإن سرعة التحسن ليست كبيرة بسبب مشاكل أخرى (انظر أدناه).
2. مشكلة "سيارة الأجرة" (تأخير الجدولة)
حتى عندما تكون الذراع الروبوتية أسرع في عملية الطهي الفعلية، وجدت الورقة البحثية أن عملية إرسال العمل إلى الروبوت بطيئة للغاية.
- التشبيه: تخيل أن على الطاهي البشري الاتصال بالذراع الروبوتية عبر الهاتف، والانتظار حتى ترد، وشرح المهمة، وتسليم المكونات، والانتظار حتى ينتهي الروبوت، ثم استلام النتيجة.
- الواقع: بالنسبة للمهام الصغيرة والسريعة (مثل إضافة رشة ملح)، يستغرق الوقت المستغرق في "المكالمة الهاتفية" وتسليم المهام 8 إلى 22 ضعف وقت الطهي الفعلي.
- النتيجة: بما أنه يجب "الاتصال" بالذراع الروبوتية مرات عديدة لتوليد جملة واحدة، فإن كل وقت الانتظار هذا يلتهم ميزة السرعة. الأمر يشبه امتلاك سيارة فيراري تقضي 90% من وقتها عالقة في الازدحام المروري.
3. عقوبة "الأداة الخاطئة" (الرجوع للخلف)
أحياناً، لا تعرف الذراع الروبوتية كيفية القيام بمهمة معينة (مثل آلية الانتباه المعقدة).
- التشبيه: تحاول الذراع الروبوتية تقطيع خضروات، فتدرك أنها لا تستطيع، وتضطر لإعادتها إلى الطاهي البشري. ولكن لأنهم في أجزاء مختلفة من المطبخ، يتعين على الطاهي البشري غسل يديه، والمشي للوصول إليها، والبدء من الصفر.
- الواقع: عندما لا تستطيع وحدة NPU القيام بمهمة ما، فإنها تعود للاعتماد على وحدة CPU. هذا "التسليم" يضيف تأخيراً إضافياً (أبطأ بنحو 1.5 مرة) لأن جزأي الهاتف يحتاجان لمزامنة بياناتهما. هذا يبطئ العملية برمتها.
4. مفاجأة الطاقة
قد تعتقد أن استخدام الذراع الروبوتية المتخصصة سيوفر البطارية.
- النتيجة: من المثير للدهشة أن استخدام الـ NPU يستنزف البطارية بشكل أسرع (بنسبة تصل إلى 51% أكثر في بعض الحالات).
- لماذا؟ لأن الهاتف يقضي الكثير من الوقت والطاقة في إدارة "المكالمات الهاتفية" بين الـ CPU والـ NPU، والتعامل مع أخطاء الرجوع للخلف، مما يزيد من إجمالي وقت عمل الهاتف. الأمر يشبه الجري في ماراثون مع التوقف باستمرار لربط حذائك؛ ستستهلك طاقة أكثر مما لو كنت تجري بوتيرة ثابتة.
الخلاصة: ماذا يجب على المصممين فعله؟
يقترح المؤلفون ثلاث قواعد للأشخاص الذين يبنون رقائق الهواتف هذه:
- اعرف مراحل العمل: لا ترسل كل شيء إلى الروبوت. اترك الطاهي البشري (CPU) يتولى "القراءة الثقيلة" (التحضير المسبق) وأرسل فقط "الكتابة واحداً تلو الآخر" (فك التشفير) إلى الروبوت.
- أوقف الازدحام المروري: يجب أن تكون الذراع الروبوتية قادرة على قبول التعليمات فوراً (أقل من 10 ميكروثانية). نحن بحاجة لإيقاف تأخيرات "المكالمات الهاتفية".
- علم الروبوت المزيد من الحيل: يجب أن تتعلم الذراع الروبوتية كيفية القيام بـ جميع المهام حتى لا تضطر باستمرار لطلب المساعدة من الطاهي البشري.
باختصار: الـ NPU أداة قوية، ولكن في الهواتف المحمولة الحالية، غالباً ما يعيقها سوء الإدارة وتأخيرات التواصل. في بعض الأحيان، يكون الـ CPU "التقليدي" هو الخيار الأكثر كفاءة بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.