Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack
تقدم هذه الورقة تنفيذاً أصلياً لـ SmoothQuant باستخدام PyTorch من أجل استنتاج INT8 لنماذج معالجة اللغات الطبيعية الصغيرة على معالجات الخوادم (CPUs)، محققةً تسريعاً في معدل الإنتاجية يصل إلى 5.8 ضعفاً مع فقدان ضئيل في الدقة من خلال دمج مستوى الرسم البياني (graph-level fusion) واختيار النواة الأمثل، مع دمج هذا الحل الآن في PyTorch وTorchAO.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تحدث ثورة هادئة جنباً إلى جنب مع العناوين الصاخبة حول روبوتات الدردشة الضخمة كليّة المعرفة. وبينما تنصب أعين الجمهور على النماذج الهائلة التي يمكنها كتابة الشعر أو حل الألغاز المنطقية المعقدة، فإن المحركات التي تشغل حركة المرور اليومية على الإنترنت — مثل نتائج البحث، وتوصيات المنتجات، وفلاتر البريد العشوائي — تعتمد على برامج أصغر وأكثر تخصصاً. هذه البرامج، التي غالباً ما تستند إلى عائلة من التصميمات تُعرف باسم BERT، هي خيول العمل في الاقتصاد الرقمي. وهي تعمل على خوادم كمبيوتر قياسية، من النوع الموجود في مراكز البيانات حول العالم، بدلاً من الاعتماد على بطاقات رسوميات متخصصة وباهظة الثمن. بالنسبة لهذه الأنظمة، تهم السرعة والتكلفة أكثر من الحجم الخام. لقد كان التحدي الذي يواجه المهندسين لفترة طويلة هو كيفية جعل هذه النماذج تعمل بشكل أسرع دون التضحية بالدقة التي تجعلها مفيدة. وأحد الطرق القوية للقيام بذلك هو تبسيط الرياضيات التي يؤديها الكمبيوتر، عبر مقايضة قدر ضئيل من الدقة مقابل مكسب هائل في السرعة، وهي تقنية تُعرف باسم "التكميم" (quantization).
قام فريق من الباحثين في شركة إنتل (Intel Corporation) الآن ببناء جسر يسمح لهذه النماذج اللغوية الأصغر بالعمل باستخدام هذه الرياضيات المبسطة مباشرة داخل أكثر الأدوات البرمجية شيوعاً واستخداماً من قبل المطورين اليوم. يركز عملهم على طريقة محددة تُسمى SmoothQuant، والتي تهيئ النموذج للتعامل مع الرياضيات المبسطة دون فقدان قدرته على فهم اللغة. ومن خلال دمج هذه الطريقة في حزمة برمجيات PyTorch القياسية، نجحوا في إنشاء مسار لا يتطلب أدوات خارجية خاصة أو إعادة كتابة معقدة للكود. والنتيجة هي نظام يمكنه أخذ نموذج لغوي قياسي وجعله يعمل بسرعة أكبر بكثير على معالجات الخوادم الحديثة، كل ذلك مع الحفاظ على دقة الإجابات التي يقدمها كما كانت تماماً.
بدأ الباحثون بمشكلة شائعة: على الرغم من أن معالجات الكمبيوتر الحديثة تحتوي على تعليمات مدمجة للتعامل مع الرياضيات المبلسطة بسرعة، إلا أن الأدوات البرمجية المستخدمة لبناء هذه النماذج غالباً ما لم تكن تعرف كيفية استخدامها بكفاءة. فعندما كان يتم تجهيز النموذج من أجل السرعة، كان البرنامج غالباً ما يتعثر في الخطوات اللازمة لتحويل البيانات أو إدارة الحسابات المبسطة، مما يهدر السرعة التي وعد بها العتاد (Hardware). ولحل هذه المشكلة، دمج الفريق ثلاث قطع تقنية متميزة في سير عمل واحد سلس. أولاً، استخدموا أداة تُسمى TorchAO لتهيئة النموذج، حيث تعمل على "تنعيم" البيانات بحيث يمكن تبسيطها بأمان. بعد ذلك، استخدموا مترجماً يُسمى TorchInductor للنظر في تدفق حسابات النموذج بالكامل ودمجها معاً، مما يزيل الخطوات غير الضرورية التي تبطئ العمل عادةً. وأخيراً، علموا النظام اختيار الطريقة الأسرع لأداء العمليات الرياضية الأساسية، اعتماداً على ما إذا كان معالج الكمبيوتر طرازاً حديثاً ذا قدرات متقدمة أو طرازاً قديماً وموثوقاً لا يزال مستخدماً على نطاق واسع.
لاختبار ابتكارهم، أجرى الفريق تجارب على جيلين مختلفين من معالجات خوادم إنتل. اختبروا النظام على ثلاثة أنواع مختلفة من النماذج اللغوية، تتراوح من النسخ الكبيرة والمعقدة إلى النسخ الأصغر والأكثر دمجاً. وكانت النتائج مذهلة؛ ففي المعالجات الأحدث، عمل النظام بسرعة أكبر بمقدار يصل إلى 5.8 مرة مقارنة بالنسخة القياسية غير المحسنة. أما في المعالجات الأقدم، فقد تمكن النظام من العمل بسرعة تقارب ثلاث مرات أسرع. ولعل الأهم من ذلك هو أن السرعة لم تأتِ على حساب الجودة؛ فعندما اختبر الباحثون النماذج في مهام واقعية، مثل الإجابة على أسئلة من نص ما أو تقييم المشاعر في جملة، كانت النماذج المبسطة تعطي الإجابات الصحيحة بنفس وتيرة النسخ الأصلية الأبطأ. وفي كثير من الحالات، كان الفرق في الدقة ضئيلاً جداً لدرجة أنه لا يمكن قياسه.
نظر الفريق أيضاً عن كثب في سبب حدوث مكاسب السرعة، باستخدام طريقة ترسم خارطة لحدود سرعة نقل البيانات مقابل سرعة إجراء الحسابات. ووجدوا أنه بالنسبة للمعالجات الأحدث، كانت السرعة محدودة بمدى سرعة نقل البيانات، بينما في المعالجات الأقدم، كانت السرعة محدودة بمدى سرعة إجراء العمليات الحسابية. وقد نجح نظامهم في التعامل مع كلا الحدين بفعالية. واكتشفوا أنه من خلال تحضير البيانات مسبقاً وإزالة الحاجة إلى توقف الكمبيوتر لإعادة تنظيم المعلومات أثناء العمل، استطاعوا إطلاق العنان للإمكانات الكاملة للعتاد. حتى أنهم وجدوا حلاً ذكياً للمعالجات القديمة التي تفتقر إلى تعليمات محددة للرياضيات المبسطة، مما سمح لها باستخدام تعليمات أخرى متاحة لتحقيق نتائج مماثلة.
هذا العمل مهم لأنه يزيل عائقاً كبيراً أمام الشركات التي ترغب في نشر هذه النماذج بكفاءة. ففي السابق، كان الحصول على هذا المستوى من الأداء يتطلب غالباً استخدام أدوات متخصصة يصعب صيانتها أو يتطلب مغادرة بيئة البرمجيات القياسية. أما الآن، فيمكن للمطورين ببساطة استخدام الأدوات التي يعرفونها بالفعل للحصول على نفس الأداء العالي. وقد شارك الباحثون الكود الخاص بهم مع المجتمع التقني الأوسع، مما يعني أن أي شخص يستخدم هذه الأدوات القياسية يمكنه الآن الوصول إلى دفعة السرعة هذه فوراً. وتؤكد الدراسة أنه من الممكن جعل "خيول العمل" على الإنترنت أسرع وأكثر كفاءة دون تغيير الطبيعة الجوهرية للنماذج أو البرامج التي تشغلها. ومن خلال تحسين كيفية تعامل الكمبيوتر مع الرياضيات بعناية، أظهر الفريق أن مستقبل الذكاء الاصطناعي الفعال على الخوادم القياسية ليس مجرد احتمال، بل هو واقع جاهز للاستخدام اليوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.