Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode
تقدم هذه الورقة البحثية cflow، وهو محرك تدفق مصمم أولاً لوحدات المعالجة المركزية (CPU-first) ومصمم بالتعاون مع بنيات المحولات الأصلية لخطوط الأنابيب (pipeline-native transformer architectures) للتغلب على اختناقات عرض نطاق ذاكرة الوصول العشوائي في فك التشفير التراجعي أحادي الرمز (single-token autoregressive decoding)، محققاً خفضاً يصل إلى 2.00 ضعف في عرض نطاق الأوزان في المسار الحرج و5.94 رمز/ثانية على خادم بـ 32 وحدة معالجة مركزية افتراضية (vCPU) من خلال استخدام تقنيات تقسيم الأوزان بحجم ذاكرة المستوى الثاني (L2-sized weight tiling)، واختيار أفضل k من الخبراء (top-k expert selection)، وتداخل الإدخال/الإخراج غير المتزامن (asynchronous I/O overlap).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي، غالبًا ما تُوصف البرامج الحاسوبية الأكثر قوة بأنها تمتلك "دماغًا" مكونًا من مليارات المفاتيح الصغيرة. هذه المفاتيح، أو الأوزان، تُخزن في الذاكرة الرئيسية للكمبيوتر، مثل الكتب على رف مكتبة شاسعة. ولإجراء تنبؤ أو توليد كلمة واحدة من النص، يجب على الكمبيوتر جلب الكتب المناسبة من الرف، وقراءتها، وإجراء عملية حسابية. لسنوات، افترض المهندسون أن سرعة هذه الحسابات كانت هي العامل المحدد، معتقدين أنهم إذا استطاعوا فقط جعل المعالج يفكر بشكل أسرع، فسيعمل البرنامج بشكل أسرع. ومع ذلك، يشير خط جديد من الأبحاث إلى أن هذا الافتراض خاطئ بالنسبة للطريقة الأكثر شيوعًا لاستخدام هذه البرامج: وهي توليد كلمة تلو الأخرى. في هذا النمط المحدد، لا ينتظر المعالج دماغه ليفكر؛ بل ينتظر الذاكرة لتوصيل البيانات. المعالج سريع جدًا لدرجة أنه يقضي معظم وقته جالسًا دون عمل، يحدق في رف فارغ، منتظرًا وصول الكتاب التالي. وهذا يخلق عنق زجاجة حيث تُحدد سرعة النظام بأكها ليس بمدى سرعة قدرة الكمبيوتر على الحساب، بل بمد مدى سرعة نقل البيانات من رف الذاكرة إلى المعالج.
لقد تصدى باحث يدعى توم بوبيرسكي لهذه المشكلة بإدراكه أن الطريقة القياسية لتنظيم هذه "الكتب" على الرف صُممت لنوع مختلف تمامًا من الحواسيب. فقد بُنيت معظم نماذج الذكاء الاصطناعي الحديثة لتعمل على رقائق رسومية متخصصة، وهي ممتازة في قراءة العديد من الكتب في وقت واحد. وعند تشغيل هذه النماذج على معالجات الكمبيوتر القياسية، يتسبب التنظيم القديم في جعل المعالج يضيع الوقت في التنقل حول الرف، وجلب البيانات بترتيب فوضوي لا يمكن للأجهزة التنبؤ به. يقترح عمل بوبيرسكي حلاً جذريًا: بدلًا من محاولة إجبار النماذج القديمة على العمل بشكل أفضل على الأجهزة الجديدة، قام بإعادة تصميم كل من النموذج والبرمجيات التي تشغله ليعملا معًا من البداية. لقد ابتكر طريقة جديدة لتخزين بيانات النموذج في قطع صغيرة ومرتبة تناسب تمامًا مساحة العمل الفورية للمعالج، وأعاد كتابة التعليمات الداخلية للنموذج بحيث يمكنه قراءة هذه القطع في خط مستمر وسلس دون التوقف أبدًا للانتظار.
جوهر هذا النهج الجديد هو نظام يسمى cflow، والذي يعمل كمكتبي عالي الكفاءة للكمبيوتر. في الإعداد القياسي، عندما يحتاج الكمبيوتر إلى توليد كلمة، فإنه غالبًا ما يضطر لتحميل مجموعة التعليمات الكاملة لجزء معين من النموذج، حتى لو كان يحتاج فقط إلى جزء ضئيل منها. هذا يشبه فتح موسوعة كاملة للعثور على حقيقة واحدة. يغير نظام بوبيرسكي هذا الأمر عبر تنظيم البيانات في بلاطات صغيرة، تقارب حجم صفحة واحدة، وتخزينها بالترتيب الذي سيحتاجه الكمبيوتر بالضبط. عندما يطلب الكمبيوتر القطعة التالية من المعلومات، يقوم النظام بتمرير البلاطة التالية في مكانها فورًا، مما يبقي المعالج مشغولاً. علاوة على ذلك، بالنسبة للنماذج التي تستخدم "خليط الخبراء" (mixture of experts) —وهي تقنية حيث يختار النموذج بعض المهام الفرعية المتخصصة لكل مهمة— فإن النظام الجديد يحمل فقط المهام الفرعية المحددة المطلوبة في تلك اللحظة، تاركًا الباقي على الرف. وهذا يلغي هدر تحميل آلاف التعليمات غير المستخدمة لكل كلمة يتم توليدها.
لجعل هذا النظام يعمل، توجب على الباحث تغيير بنية النموذج نفسه. تُبنى النماذج القياسية مثل خط تجميع صارم حيث يجب أن تنتهي خطوة واحدة تمامًا قبل أن تبدأ الخطوة التالية. هذا الهيكل يجبر الكمبيوتر على الانتظار حتى ينتهي الخط بأكمله قبل أن يبدأ في قراءة المجموعة التالية من التعليمات. أعاد بوبيرسكي تصميم النموذج للسماح بـ "خط أنابيب رأسي" (vertical pipeline)، حيث يمكن للكمبيوتر البدء في قراءة تعليمات الخطوة التالية بينما لا يزال ينهي الخطوة الحالية. وهذا ممكن فقط لأن النموذج تم تدريبه ليقبل نسخة متأخرة قليلاً من المعلومات من الخطوة السابقة، وهو تغيير قد يسبب أخطاء في النموذج القياسي ولكنه يعمل بشكل مثالي في هذا التصميم الجديد. ومن خلال تدريب خمس نسخ مختلفة من هذه النماذج المعاد تصميمها، وجد الباحث أن تكوينًا محددًا يمكنه تقليل كمية البيانات التي يحتاج الكمبيوتر لنقلها بمقدار النصف. هذا التقليل في حركة البيانات يترجم مباشرة إلى السرعة، حيث يقضي الكمبيوتر وقتًا أقل في الانتظار ووقتًا أطول في العمل.
تم قياس نتائج هذا التصميم المشترك على أجهزة حقيقية، مما كشف عن ميزة واضحة مقارنة بالبرمجيات الموجودة. على جهاز خادم قياسي، ولد النظام الجديد نصوصًا بمعدل ست كلمات تقريبًا في الثانية، متفوقًا على أفضل البدائل المتاحة التي تمكنت من إنتاج حوالي أربع كلمات ونصف فقط في الثانية على نفس الجهاز. لم يكن هذا التحسن مجرد حساب نظري؛ بل كان تسارعًا حقيقيًا في العالم الواقعي تم تحقيقه من خلال تقليل عدد المرات التي يتعين فيها على ذاكرة الكمبيوتر الوصول إليها. كما اختبرت الدراسة عدة أفكار أخرى، مثل استخدام تعليمات صريحة لإخبار الكمبيوتر بمكان البحث عن البيانات بعد ذلك. ومن المثير للدهشة، أظهرت الاختبارات أن هذه التعليمات لم تساعد، بل أدت أحيانًا إلى إبطاء النظام، لأن أجهزة الكمبيوتر نفسها كانت تقوم بعمل أفضل في تخمين ما هو مطلوب تاليًا. هذا الاكتشاف أمر بالغ الأهمية، لأنه يستبعد تقنية تحسين شائعة ويؤكد أن الربح الحقيقي يأتي من إعادة التنظيم الجذري للبيانات والنموذج.
استكشف البحث أيضًا كيف ستصمد هذه التغييرات مع نمو النماذج لتصبح أكبر. يشير التحليل إلى أنه بينما يعد التسارع كبيرًا للنماذج التي تم اختبارها، فإن الفوائد المحددة تعتمد على حجم النموذج ونوع الكمبيوتر المستخدم. بالنسبة للنماذج الكبيرة جدًا، قد ينتقل عنق الزجاجة مرة أخرى، لكن المبدأ يظل قائمًا: من خلال مواءمة بنية النموذج مع الطريقة التي يقرأ بها الكمبيوتر الذاكرة، من الممكن فتح آفاق لسرعات كان يُعتقد سابقًا أنها مستحيلة على المعالجات القياسية. يوضح العمل أن قيود الذكاء الاصطناعي الحالي على أجهزة الكمبيوتر العادية ليست قوانين فيزيائية ثابتة، بل هي خيارات تصميم يمكن تغييرها. ومن خلال التعامل مع النموذج ووقت التشغيل كنظام واحد موحد بدلاً من قطعتين منفصلتين، من الممكن إنشاء نظام يحرك البيانات بكفاءة مكتبة منظمة جيدًا، مما يسمح للكمبيوتر بالتفكير بسرعة أجهزته الخاصة. يقدم هذا النهج مسارًا واضحًا لتشغيل ذكاء اصطناعي قوي على أجهزة لا تمتلك رقائق متخصصة، مما يجعل الذكاء المتقدم أكثر سهولة واستجابة في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.