NeuroPrefetcher: Storage-Aware Sparse LLM Inference via Delta Prefetching
يُعد NeuroPrefetcher نظام استدلال للنماذج اللغوية الكبيرة مدركاً لخصائص التخزين، ويحقق تسريعاً كبيراً على الأجهزة الطرفية محدودة الذاكرة من خلال استغلال الموضعية الزمنية لنشاط عصبونات الطبقات المتصلة بالكامل (MLP) للتنبؤ مسبقاً بجلب فروقات الأوزان الضرورية فقط من وحدة التخزين، بدلاً من الاعتماد على طلب الصفحات التفاعلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة المحركات التي تقف وراء الذكاء الاصطناوي الحديث، وهي قادرة على الكتابة، والتفكير، والترجمة بطلاقة كانت تبدو مستحيلة في السابق. تعمل هذه الأنظمة من خلال معالجة النص كلمة بكلمة، وتوقع الكلمة التالية في التسلسل بناءً على الأنماط الهائلة التي تعلمتها أثناء التدريب. وللقيام بذلك، تعتمد على مكتبات رقمية ضخمة من الأرقام، تسمى "الأوزان"، والتي تُخزن في ذاكرة الكمبيوتر. وكلما كان النموذج أكبر وأكثر قدرة، زادت كمية الذاكرة التي يتطلبها. ومع ذلك، ظهرت فجوة كبيرة: فبينما نمت هذه النماذج بشكل هائل في الحجم، لم تواكبها الذاكرة المتاحة في الأجهزة المحمولة مثل أجهزة الكمبيوتر المحمول، والأجهزة اللوحية، وأجهزة الحافة المتخصصة. وهذا يخلق مشكلة جوهرية لتشغيل الذكاء المتقدم خارج مراكز البيانات الضخمة. فعندما يكون النموذج أكبر من أن يتسع في ذاكرة الجهاز، يضطر النظام باستمرار إلى تبديل البيانات بين الذاكرة السريعة ووحدة التخزين الأكبر والأبطأ، وهي عملية تؤدي عادةً إلى توقف الأداء تماماً.
قام باحثون من جامعة كينيسو ستيت وشركة سامسونج بتطوير نهج جديد لهذه المشكلة، حيث ابتكروا نظاماً يسمى "NeuroPrefetcher" يسمح لهذه النماذج الضخمة بالعمل بكفاءة على الأجهزة ذات الذاكرة المحدودة جداً. وبدلاً من محاولة تقليص حجم النموذج أو إجباره على التكيف مع المساحة، يتقبل نظامهم أن النموذج أكبر من الذاكرة المتاحة ويعامل وحدة التخزين كجزء نشط من عملية الحساب. ويكمكم سر نجاحهم في ملاحظة بسيطة حول كيفية تفكير هذه النماذج؛ فعندما يولد النموذج كلمة واحدة، فإنه ينشط مجموعة محددة من المسارات الداخلية، وعندما يولد الكلمة التالية مباشرة، فإنه يستخدم نفس المسارات تقريباً مرة أخرى. وقد وجد الباحثون أن ما بين 82 إلى 85 بالمائة من المسارات النشطة تظل كما هي من كلمة إلى أخرى. وهذا يعني أنه بالنسبة للغالبية العظمى من العمل، فإن البيانات اللازمة موجودة بالفعل في ذاكرة الجهاز، بانتظار الاستخدام.
يكمن ابتكار "NeuroPrefetcher" في كيفية إدارة الكمية الصغيرة من البيانات التي تتغير. فالأنظمة التقليدية تنتظر حتى يحتاج النموذج إلى قطعة من البيانات قبل أن تذهب إلى وحدة التخزين لجلبها، وهي عملية تفاعلية تتسبب في توقف الكمبيوتر وانتظاره. أما "NeuroPrefetcher" فيعمل بشكل مختلف عبر التطلع إلى الأمام؛ فهو يستخدم متنبئاً صغيراً متخصصاً يحلل الكلمة الحالية ويتوقع بدقة أي مسارات جديدة ستكون مطلوبة للكلمة التالية. ولأنه يعرف ما هو آتٍ، يمكنه جلب القطع المفقودة المحددة فقط من وحدة التخزين بينما يكون الكمبيوتر مشغولاً بحساب الكلمة الحالية. وهذا يحول العملية الفوضوية المتقطعة إلى تدفق سلس ومستمر. يقوم النظام أساساً بتحميل الجزء الضئيل فقط من المعلومات الجديدة المطلوبة، متجاهلاً الكتلة الضخمة من البيانات الموجودة بالفعل في الذاكرة.
لاختبار هذه الفكرة، بنى الفريق نظاماً كاملاً وشغله على جهاز حافة قوي يُعرف باسم "Jetson AGX Orin"، والذي يتميز بهندسة ذاكرة موحدة مشتركة بين معالجه ووحدة الرسومات الخاصة به. واختبروا النظام مع نماذج لغوية كبيرة مثل "Mistral-7B" و"Llama-3-8B" تحت قيود ذاكرة صارمة، مما يحاكي الظروف التي يكون فيها النموذج أكبر بكثير من الذاكرة المتاحة. وفي هذه الظروف الصعبة، كان الأسلوب القياسي لتشغيل هذه النماذج، والذي يعتمد على نظام التشغيل لإدارة تبديل البيانات، ضعيف الأداء، وغالباً ما تسبب في توقف الجهاز. وفي المقابل، حافظ "NeuroPrefetcher" على حركة الجهاز، محققاً تسريعاً يقرب من ثمانية إلى اثني عشر ضعفاً مقارنة بالطريقة القياسية. فقد تمكن النظام من توليد الكلمات بمعدل أكثر من ثلاث كلمات في الثانية، بينما كان النهج القياسي يكافح لإنتاج حتى كلمة واحدة في الثانية.
كما فحص الباحثون كيف يتصرف النظام مع تغير الذاكرة المتاحة، ووجدوا أن النظام يمكنه التكيف عبر نقل المزيد من عمل النموذج إلى وحدة التخزين عندما تكون الذاكرة ضيقة، ونقل المزيد من العمل إلى الذاكرة السريعة عندما تتوفر مساحة أكبر. وحتى في أكثر ظروف الذاكرة ضيقاً، حافظ النظام على أداء عالٍ لأنه تجنب عمليات نقل البيانات الضخمة التي تبطئ عادةً هذه العمليات. فبدلاً من نقل طبقات كاملة من "دماغ" النموذج ذهاباً وإياباً، قام بنقل الشرائح الصغيرة والمتغيرة من البيانات فقط. وقد أثبت هذا النهج فعاليته الكبيرة، حيث ظل النظام الخيار الأسرع حتى عند مقارنته بأدوات متقدمة أخرى، والتي فشل الكثير منها في العمل أصلاً تحت هذه القيود المحددة.
كان جزء حاسم من هذا العمل هو التأكد من أن مكاسب السرعة لا تأتي على حساب الذكاء. فقد قاس الباحثون جودة النص الذي ينتجه النظام ووجدوا أنها تظل قريبة جداً من جودة النموذج الكامل غير المضغوط. لقد حافظ النظام على دقة تنبؤات النموذج، محتفظاً بأكثر من 90 بالمائة من الأداء الأصلي حتى عند استخدام أكثر إعدادات توفير الذاكرة صرامة. وقد أكد هذا أن استراتيجية نقل البيانات الضرورية فقط لم تؤدِ إلى تدهور قدرة النموذج على فهم وتوليد اللغة. لقد تعلم النظام بفعالية تجاهل البيانات التي لم تكن مطلوبة للخطوة التالية مباشرة، مركزاً موارده فقط على ما يهم.
تسلط هذه الدراسة الضوء على تحول في كيفية تفكيرنا في تشغيل الذكاء الاصطناعي على الأجهزة اليومية. لسنوات، كان الحل لتشغيل النماذج الكبيرة على أجهزة صغيرة هو جعل النماذج أصغر أو ضغطها، وهو ما قد يقلل من قدراتها. يقترح "NeuroPrefetcher" مساراً مختلفاً: أبقِ النموذج الكامل كما هو، وأدر حركة بياناته بدقة متناهية. ومن خلال التنبؤ بما يحتاجه النموذج تالياً وجلب هذا التغيير المحدد فقط، يحول النظام وحدة التخزين من عائق إلى شريك مفيد. يتيح هذا النهج للذكاء القوي العمل على أجهزة كانت في السابق أصغر من أن تستوعبه، مما يفتح الباب أمام تشغيل الذكاء الاصطناعي المتقدم محلياً دون الحاجة إلى اتصال بخادم بعيد. وتظهر النتائج أنه مع الإدارة الصحيحة لتدفق البيانات، يمكن التغلب على الحدود الفيزيائية للذاكرة دون التضحية بقوة النموذج نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.