Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices
تقترح هذه الورقة إطار عمل للتنبؤ بالكمون مدركاً لوقت التشغيل، يقوم بدمج واصفات النموذج الثابتة مع القياسات عن بُعد للأجهزة الديناميكية بشكل تكيفي لتمكين فحص دقيق وقابل للنقل لنشر النماذج اللغوية الكبيرة عبر أجهزة الحافة غير المتجانسة بأقل قدر من المعايرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اختيار لعبة فيديو مثالية لتلعبها على منصة ألعاب محمولة. لديك مكتبة ضخمة من الألعاب، من مغامرات الألغاز الصغيرة إلى الملاحم الدورانية الضخمة والمترامية الأطراف. ولكن إليك العقبة: جهازك حساس بعض الشيء؛ فهو يسخن إذا لعبت لفترة طويلة، وبطاريته تنفد بسرعة، ويتعامل مع الألعاب المختلفة بطرق غريبة اعتماداً على كيفية إمساكك به أو الوقت من اليوم. إذا حاولت تحميل واختبار كل لعبة لترى أي منها يعمل بسلاسة، فستقضي اليوم بأكمله في انتظار التحميلات، لتكتشف في النهاية أن نصفها قد تعطل أو عانى من البطء. أنت بحاجة إلى طريقة لتخمين، بمجرد النظر إلى وصف اللعبة وحالة جهازك الحالية، أي واحدة ستعمل بالفعل. هذا هو بالضبط المشكلة التي تواجه عالم الذكاء الاصطناعي على هواتفك والأجهزة الصغيرة الأخرى.
يحاول العلماء تشغيل "نماذج اللغات الكبيرة" (LLMs) — وهي عقول ذكاء اصطناعي فائقة الذكاء يمكنها كتابة القصص، والإجابة على الأسئل، وحل المشكلات — مباشرة على أجهزتنا بدلاً من إرسال البيانات إلى خوادم سحابية ضخمة. هذا أمر رائع للخصوصية والسرعة، ولكنه كابوس للتنبؤ. فقد يعمل نموذج ذكاء اصطناعي بشكل مثالي على هاتف واحد ولكنه يتجمد على هاتف آخر، حتى لو بدا الهاتفان متشابهين. لماذا؟ لأن سرعة الذكاء الاصطناعي تعتمد على مزيج فوضوي من الأشياء: طول السؤال، ودرجة حرارة الهاتف، ومقدار البطارية المتبقية، وحتى البرنامج المحدد المستخدم لتشغيل الذكاء الاصطناعي. إذا لم نتمكن من التنبؤ بمدى سرعة تشغيل الذكاء الاصطناي قبل تجربته فعلياً، فسنضيع كميات هائلة من الوقت والطاقة في اختبار النماذج التي قد تفشل. وهنا تأتي قصة "التنبؤ بالمستقبل".
البلورة السحرية لسرعة الذكاء الاصطناعي
في هذا البحث، قام فريق من الباحثين من جامعة جورجيا ستيت ومختبر أبحاث الجيش ببناء "بلورة سحرية" لسرعة الذكاء الاصطناعي. يطلقون عليها اسم إطار عمل التنبؤ بالكمون المدرك لوقت التشغيل (runtime-aware latency prediction framework). دعونا نفكك هذا المصطلح. "الكمون" (Latency) هو مجرد كلمة منمقة تعني المدة التي يستغرقها حدوث شيء ما. "المدرك لوقت التشغيل" (Runtime-aware) يعني أن النظام ينتبه لما يحدث أثناء عمل الذكاء الاصطناعي، وليس فقط لما يبدو عليه الذكاء الاصطناعي على الورق. و"القابل للنقل" (Transferable) يعني أن هذه البلورة السحرية تعمل حتى لو انتقلت من نوع جهاز إلى آخر.
أدرك الباحثون أن محاولة اختبار كل نموذج ذكاء اصطناعي على كل جهاز بمفرده تشبه محاولة تذوق كل نكهات الآيس كريم في العالم لتجد نكهتك المفضلة؛ فهذا أمر بطيء ومكلف للغاية. بدلاً من ذلك، أرادوا نظاماً يمكنه النظر إلى جهاز جديد ونموذج ذكاء اصطناعي جديد والقول: "مهلاً، هذا المزيج سيستغرق حوالي 10 ثوانٍ للإجابة".
كيف تعمل البلورة السحرية
السر في نظامهم هو أنه لا ينظر فقط إلى الحقائق الثابتة. تخيل أنك تحاول تخمين سرعة سيارة؛ التخمين "الثابت" سينظر فقط إلى حجم محرك السيارة ووزنها. لكن التخمين "المدرك لوقت التشغيل" سيفحص أيضاً حالة الطقس، وحركة المرور، وما إذا كان السائق يشعر بالنعاس.
يقوم نظام الباحثين بشيئين في وقت واحد:
- المسار الثابت (The Static Path): ينظر إلى "بطاقة الهوية" للإعداد. يتضمن ذلك حجم النموذج، ونوع الهاتف أو الجهاز، والإعدادات.
- المسار الديناميكي (The Dynamic Path): يراقب "نبضات قلب" الجهاز أثناء تشغيله. يتتبع أشياء مثل درجة حرارة الشريحة، وسرعة دوران المعالج، وكمية الذاكرة المستخدمة.
يقسم النظام عمل الذكاء الاصطناعي إلى مرحلتين، مثل سباق من جزئين:
- مرحلة التعبئة المسبقة (The Prefill Phase): وهي المرحلة التي يقرأ فيها الذكاء الاصطناعي سؤالك ويجمع أفكاره. وعادة ما تكون عبارة عن انطلاقة سريعة ومفاجئة.
- مرحلة فك الترميز (The Decode Phase): وهي المرحلة التي يكتب فيها الذكاء الاصطناعي الإجابة، كلمة بكلمة. وهي عبارة عن هرولة طويلة ومنتظمة.
من خلال التعامل مع هاتين المرحلتين بشكل منفصل ودمج معلومات "بطاقة الهوية" مع بيانات "النبض"، يبني النظام تنبؤاً أكثر ذكاءً. لقد استخدموا آلية "دمج بوابي" (gated fusion)، وهي تشبه إشارة المرور الذكية التي تقرر ما إذا كانت ستستمع أكثر للحقائق الثابتة أو لظروف حركة المرور الحية اعتماداً على الموقف.
سحر المعايرة
إليك الخدعة الأكثر أهمية: النظام ليس مثالياً بمجرد خروجه من الصندوق. إذا قمت بتدريبه على هاتف Pixel 8 وحاولت استخدامه على Pixel 8 Pro، فقد يخطئ في الأرقب لأن الهاتفين مختلفان قليلاً.
لإصلاح ذلك، يستخدم الباحثون مجموعة معايرة (calibration set). فكر في هذا على أنه "تجربة قيادة" سريعة. تقوم بتشغيل الذكاء الاصطناعي على الجهاز الجديد بضع مرات فقط (ربما من 6 إلى 20 مرة) لترى كيف يتصرف فعلياً. ثم يستخدم النظام هذه النتائج الحقيقية القليلة لتعديل بلورته السحرية، مما يجعل تنبؤاته تتماشى مع واقع الجهاز الجديد.
نتائج هذه المعايرة مذهلة. بدونها، كانت تنبؤات النظام لكيفية استغراق الذكاء الاصطناعي في "فك الترميز" (كتابة الإجابة) على هاتف Pixel 8 Pro بعيدة تماماً عن الواقع، حيث سجلت درجة (تسمى ) بلغت -1.085. هذه نتيجة سيئة للغاية، مما يعني أن التنبؤ كان أسوأ من مجرد التخمين العشوائي. ولكن بعد القليل من المعايرة، قفزت هذه الدرجة إلى 0.927، وهي درجة قريبة من المثالية. الأمر يشبه أخذ صورة ضبابية وفجأة جعلها واضحة تماماً ببعض التعديلات البسيطة.
اختبار النظام
اختبر الفريق فكرتهم على مجموعة متنوعة من الأجهزة للتأكد من أنها ليست مجرد صدفة لهاتف معين. لقد استخدموا:
- Pixel 8 و Pixel 8 Pro: النجوم الرئيسيون للعرض، ويمثلان الهواتف المحمولة الحديثة.
- Jetson Nano: حاسوب صغير يُستخدم غالباً في الروبوتات والطائرات بدون طيار.
- Orange Pi 5 Pro: حاسوب صغير بنظام لوحة واحدة.
- RTX 3090: بطاقة رسوميات قوية توجد عادة في أجهزة الكمبيوتر المخصصة للألعاب عالية الأداء.
وجدوا أن نفس نموذج الذكاء الاصطناعي يمكن أن يكون سريعاً للغاية على بطاقة الألعاب الكبيرة (64.38 توكن في الثانية) ولكنه بطيء جداً على Orange Pi الصغير (8.42 توكن في الثانية). وهذا يثبت أنه لا يمكنك تخمين السرعة بناءً على النموذج وحده؛ بل يجب أن تعرف الجهاز.
لماذا يهم هذا: عملية الفرز
الهدف النهائي ليس مجرد التنبؤ بالسرعة؛ بل هو توفير الوقت. تخيل أن لديك 100 نموذج ذكاء اصطناعي مختلف وتحتاج إلى اختيار الأفضل منها لهاتفك الخاص. بدون هذا النظام، سيتعين عليك تحميل واختبار الـ 100 نموذج جميعها. مع هذا النظام، يمكنك التنبؤ بسرعة الـ 100 نموذج فوراً.
بعد ذلك، يستخدم الباحثون استراتيجية تسمى تحسين باريتو (Pareto optimization). وهي طريقة منمقة لقول إنهم يبحثون عن "النقطة المثالية". إنهم يريدون نموذجاً يكون سريعاً و ذكياً في آن واحد. إذا كان النموذج (أ) أبطأ من النموذج (ب) ولكنه ليس أذكى، فإن النموذج (أ) لا فائدة منه. يقوم النظام بتصفية الخيارات السيئة ويترك لك قائمة قصيرة من أفضل المرشحين للاختبار الفعلي.
في اختباراتهم، نجحت عملية الفرز هذه في إبقاء أفضل النماذ الممكنة في المنافسة. على سبيل المثال، عند الانتقال من Pixel 8 Pro إلى Pixel 8، قام النظام بتصفية نصف المرشحين لكنه ضمن بقاء الأفضل بينهم.
ما وجدوه (وما لم يجدوه)
يشير البحث إلى أن هذه الطريقة هي أداة قوية لجعل نشر الذكاء الاصطناعي أسرع وأرخص. وجدوا أن:
- التخمينات الثابتة ليست كافية: مجرد معرفة حجم النموذج لا يخبرك بمدى سرعة تشغيله على هاتف معين.
- المعايرة هي المفتاح: لا يمكنك نسخ ولصق تنبؤ من جهاز إلى آخر؛ تحتاج إلى القليل من البيانات الحقيقية لإصلاح التنبؤ.
- المرحلة مهمة: التعامل مع جزء "القراءة" وجزء "الكتابة" للذكاء الاصطناعي بشكل مختلف يجعل التنبؤ أكثر دقة بكثير.
ومع ذلك، يوضح المؤلفون بحذر أن هذا يمثل نقطة انطلاق. فقد حققت أفضل نتائجهم على هواتف Pixel، وبينما أظهروا أن نظامهم يمكن أن يعمل على أجهزة أخرى مثل Jetson و Orange Pi، إلا أنهم لم يقوموا بعد بعمل تدريب عميق وشامل عليها. كما أشاروا إلى أنه في بعض الأحيان، على الحواسيب القوية، لا تعمل النماذج الأصغر دائماً بشكل أسرع من النماذج الكبيرة، وهو أمر غريب يساعد نظامهم في شرحه.
باختصار، يقدم هذا البحث طريقة ذكية ومرنة لتخمين مدى سرعة تشغيل الذكاء الاصطناعي على جهازك دون الحاجة للانتظار لساعات لمعرفة ذلك. إنه يحول لعبة التخمين الفوضوية إلى قرار مدروس وقائم على البيانات، مما يساعدنا في الحصول على أفضل تجارب الذكاء الاصطناعي على أجهزتنا دون استنزاف وقتنا أو بطارياتنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.